Technische Samenvatting: HELIX – Hybride Encodering met Leerbaar Identiteitskenmerk en Cross-dimensionale Synthese voor Imputatie van Tijdsreeksen

1. Probleemstelling

Imputatie van multivariate tijdsreeksen staat voor aanzienlijke uitdagingen wanneer gegevens ontbreken over zowel tijdstappen als kenmerken (bijvoorbeeld door sensorstoringen of onregelmatige bemonstering). Bestaande deep learning-benaderingen, met name die gebaseerd op attention-mechanismen, hebben vaak moeite om consistente kenmerkrepresentaties te behouden bij ernstige ontbrekende waarden.

• Beperkingen van huidige methoden:
  • Attention-gebaseerde modellen: Veel modellen herontdekken relaties tussen kenmerken op elk netwerklagen, zonder "persistent ankers" om consistente semantische representaties te behouden wanneer waarden ontbreken.
  • Graf-gebaseerde methoden: Deze vertrouwen vaak op vooraf gedefinieerde ruimtelijke topologieën of veronderstellen homogene knoopstructuren. Ze falen wanneer ruimtelijke priors niet beschikbaar zijn of wanneer kenmerken semantische variabelen mengen met ruimtelijke locaties. Bovendien kunnen geleerde adjacency-matrices rekenkundig duur zijn ($O(F^2)$) en bieden ze geen data-onafhankelijk anker wanneer waarden ontbreken.
  • Informatieknelpunten: Veelvoorkomende strategieën die één as (tijd of kenmerk) verwerken voordat de andere, introduceren knelpunten. Dit verzwakt de fijnmazige $(t, i)$-alignatie die nodig is voor nauwkeurige reconstructie bij zware ontbrekende waarden.

2. Methodologie: HELIX-architectuur

Het voorgestelde HELIX-kader (Hybrid Encoding with Learnable Identity and Cross-dimensional Synthesis) adresseert deze problemen door statische kenmerkidentiteit te ontkoppelen van dynamische temporele variaties.

2.1. Feature Identity Embedding (FeatID)

De kerninnovatie is de introductie van Feature Identity Embeddings, leerbare vectoren die aan elk kenmerk worden toegewezen.

• Mechanisme: Voor elke observatie $(t, i)$ construeert het model een embedding door vier componenten te concateneren:
  1. Waarde: De waargenomen (of met nul gevulde) waarde $\tilde{x}_{t,i}$.
  2. Temporele positie: Sinusvormige positionele encoding $PE(t)$.
  3. Kenmerkidentiteit: Een leerbare vector $f_i$ specifiek voor kenmerk $i$.
  4. Masker: Een binaire indicator $m_{t,i}$ of de waarde waargenomen is.
• Soft Adjacency Bias: Dit ontwerp stelt het attention-mechanisme in staat scores te ontleden in een "Identiteitsprior" (data-onafhankelijke compatibiliteit tussen kenmerken) en "Dynamische context" (gebaseerd op waargenomen waarden). Cruciaal blijft de identiteitsprior informatief, zelfs wanneer waarden ontbreken (met nul gevuld), waardoor het instorten van cross-feature attention wordt voorkomen.

2.2. Double-Helix Hybride Encodering

HELIX maakt gebruik van een Double-Helix-architectuur die temporele en cross-feature attention op een gecoördineerde manier door elkaar haalt, wat een DNA-dubbelhelix nabootst. Elke encoderingslaag werkt in twee fasen:

1. Fase 1 (Dimensiespecifieke ontkoppeling): Parallelle toepassing van Multi-Head Temporal Attention (over tijdstappen) en Multi-Head Feature Attention (over kenmerken). Dit stelt elke dimensie in staat representaties onafhankelijk te verfijnen.
2. Fase 2 (Inter-dimensionale synthese): Seriële cross-attention waarbij de output van de temporele stream attention richt op kenmerken, en de kenmerkstream attention richt op tijdstappen. Dit maakt informatie-uitwisseling tussen dimensies mogelijk.
3. Laagsgewijze fusie: De outputs van beide fasen worden gemiddeld om de representatie van de laag te vormen.

2.3. Multi-level Fusie

In plaats van uitsluitend te vertrouwen op de laatste laag, aggregeert HELIX representaties van alle encoderingsstadia (inclusief outputs van tussenliggende takken) via eenvoudige gemiddelde. Deze aanpak, geïnspireerd op residual learning, zorgt ervoor dat informatie van alle abstractieniveaus toegankelijk blijft en verbetert de robuustheid over diverse patronen van ontbrekende waarden.

2.4. Trainingsdoel

Het model wordt getraind met een gecombineerde verliesfunctie:

• Observed Reconstruction Task (ORT): Minimaliseert de fout op waargenomen entries.
• Masked Imputation Task (MIT): Minimaliseert de fout op een subset van kunstmatig gemaskerde waargenomen entries om de imputatietaken te simuleren.
  Beide taken worden even zwaar gewogen.

3. Belangrijkste Bijdragen

1. Feature Identity Embedding: Introduceert leerbare vectoren per kenmerk die dienen als persistente semantische ankers, waardoor het model kan redeneren over relaties tussen kenmerken zelfs wanneer gegevenswaarden volledig ontbreken.
2. Double-Helix Architectuur: Stelt een hybride encoderingsschema voor dat afwisselt tussen parallelle en cross-attention mechanismen, wat gecoördineerde informatieflow over tijd- en kenmerkdimensies faciliteert.
3. State-of-the-Art Prestaties: HELIX behaalt de beste gemiddelde rangschikking over 21 experimentele instellingen op 5 publieke datasets, presterend beter dan 16 concurrerende baselines (waaronder SAITS, ImputeFormer en diverse Transformer/GNN-varianten).
4. Interpreteerbaar Gedrag: Mechanistische analyse onthult dat het model geleidelijk geleerde kenmerkidentiteiten aligneert met latente fysieke en semantische structuren (bijvoorbeeld geografische nabijheid in luchtkwaliteitsdata en klinische groeperingen in ICU-data) zonder expliciete supervisie.

4. Experimentele Resultaten

• Datasets: Evaluatie werd uitgevoerd op vijf real-world datasets: PhysioNet2012 (ICU-vitalen), BeijingAir en ItalyAir (luchtkwaliteit), ETT-h1 (elektriciteit) en PeMS (verkeer).
• Patronen van ontbrekende waarden: Experimenten bestreken Point-X% (10, 50, 90%), Block-50% en Subseq-50% patronen van ontbrekende waarden.
• Prestaties:
  • HELIX behaalde rang 1 in alle 21 instellingen.
  • Op de ETT-h1 dataset behaalde HELIX een Mean Absolute Error (MAE) van 0,128 voor Point-10% ontbrekende waarden, significant beter dan de tweede beste methode (ImputeFormer met 0,202).
  • Op PhysioNet2012 toonde HELIX een verbetering van 41% ten opzichte van lineaire interpolatie, wat de klinische relevantie benadrukt.
  • Efficiëntie: HELIX is parameter-efficiënt (bijvoorbeeld 803K parameters op ETT-h1 versus 88M voor SAITS) en biedt snellere inferentie (0,06s versus 0,05s voor SAITS, maar met aanzienlijk betere nauwkeurigheid).
• Ablatiestudies:
  • Het verwijderen van Feature Identity Embedding veroorzaakte de meest consistente en aanzienlijke degradatie over alle datasets, wat de noodzaak ervan bevestigt.
  • Het verwijderen van Hybride Encodering leidde tot catastrofale uitval in specifieke patronen (bijvoorbeeld Subseq-50% op BeijingAir).
  • Multi-level Fusie bleek de worst-case robuustheid te verbeteren, met name op grootschalige datasets zoals PeMS.

5. Betekenis en Claims

Het artikel stelt dat kwaliteit van embedding—specifiek het voorzien van elke token in een persistente, leerbare identiteitsanker—een doorslaggevende factor is voor Transformer-prestaties op multivariate tijdsreeksen.

• Structurele ontdekking: HELIX demonstreert dat leerbare identiteiten latente structuren (geografisch en klinisch) kunnen herstellen puur uit temporele co-variatie, zonder dat expliciete graf-priors of ruimtelijke coördinaten nodig zijn.
• Robuustheid: Het model vertaalt cross-feature structuur effectiever naar imputatenauwkeurigheid dan bestaande methoden, en behoudt prestaties zelfs bij ernstige ontbrekende waarden waar andere modellen falen.
• Algemeen principe: De auteurs suggereren dat principiële inductieve biases in tokenrepresentatie (zoals Feature Identity) kunnen presteren boven verhogingen in architecturale complexiteit, een bevinding die verder reikt dan imputatie naar elke taak die cross-variate redenering vereist.

Het artikel sluit af met een bescheiden noot over beperkingen: HELIX leert momenteel embeddings per dataset, en cross-dataset overdracht of schaling naar extreem hoge aantallen kenmerken ($F > 10^3$) vereist verder onderzoek.