Technische Samenvatting: TRACE – Een Temporale Conditionele Schatting voor Multimodale Tijdreeks Fundamentele Modellen

1. Probleemstelling

Tijdreeks fundamentele modellen (TS-FMs) streven ernaar om generaliseerbare temporele representaties te leren die aanpasbaar zijn aan diverse downstream-taken. Echter, real-world multimodale tijdreeksdata, met name in domeinen zoals de gezondheidszorg en affectieve computing, lijden frequent aan temporele misalignement en partiële modaliteit-missingness (het ontbreken van modaliteiten). In deze scenario's worden verschillende modaliteiten waargenomen op heterogene tijdschalen, of zijn specifieke modaliteiten gedeeltelijk afwezig door onregelmatige bemonstering of sensorfouten.

Bestaande benaderingen pakken deze problemen doorgaans aan via naïeve imputatie (bijv. zero-filling, nearest-value filling) of maskeringstrategieën voorafgaand aan fusie. De auteurs stellen dat deze methoden er niet in slagen om cross-modale afhankelijkheden mee te wegen. Door deterministisch ontbrekende waarden aan te vullen, laten bestaande modellen de conditionele onzekerheid instorten, wat de temporele dynamiek kan verstoren en de downstream-fusie kan beïnvloeden. Bovendien behandelen veel huidige TS-FMs missingness als een preprocessing-stap in plaats van een latente temporele variabele die conditioneel geschat moet worden, wat de robuustheid onder zware schaarste beperkt.

2. Methodologie: TRACE

De auteurs stellen TRACE (Temporal Conditional Estimation) voor, een paradigma dat herformuleert hoe schaarse en gebeurtenisgestuurde observaties worden afgehandeld. In plaats van deterministische voltooiing, behandelt TRACE ontbrekende modaliteitsinputs als latente variabelen die conditioneel geschat moeten worden vanuit beschikbare hulp-modaliteiten vóór fusie. De architectuur werkt als een tweestaps-pipeline:

Fase 1: Multimodale Conditionele Diffusie

Deze fase voert een probabilistische signaalniveau-schatting uit van ontbrekende componenten.

• Cross-Modale Context Constructie: Voor een doel-modaliteit $m$ aggregeert het model geobserveerde componenten van hulp-modaliteiten ($M \setminus \{m\}$) met behulp van een Mixture-of-Experts (MoE) geïnspireerd gating-mechanisme. Een gating-functie wijst belangrijkheidsscores toe aan elke hulp-modaliteit op basis van hun geobserveerde kenmerken, wat resulteert in een gewogen cross-modale context $x^{(m)}_c$.
• Conditioneel Diffusieproces: TRACE maakt gebruik van een conditioneel denoising diffusiemodel (gebaseerd op DDPM) om de niet-geobserveerde componenten $x^{(m)}_U$ te schatten.
  • Het proces conditioneert op het geobserveerde deel van de doel-modaliteit $x^{(m)}_O$ en de geaggregeerde cross-modale context $x^{(m)}_c$.
  • Een forward noising-proces voegt Gaussische ruis toe aan enkel de ontbrekende componenten, terwijl geobserveerde entries vast blijven staan.
  • Een reverse denoising-proces, geparametriseerd door een neuraal netwerk $\epsilon_\theta$, leert de ruis te voorspellen en de ontbrekende waarden probabilistisch te reconstrueren, geconditioneerd op de multimodale context.
• Training: Het diffusienetwerk wordt getraind met een zelfgesuperviseerde maskeringstrategie (geïnspireerd door CSDI), waarbij een subset van geobserveerde waarden wordt gemaskeerd en als imputatie-targets wordt behandeld, geconditioneerd op de resterende observaties en de cross-modale context.

Fase 2: Multimodale Fusie en Predictie

Zodra de ontbrekende componenten probabilistisch zijn geschat, worden de voltooide modaliteitsrepresentaties doorgegeven aan een downstream fusielaag.

• MoE Fusie: TRACE adopteert de MoE-fusielaag van FuseMoE. Deze laag gebruikt een sparse gating-mechanisme om modaliteit-specifieke representaties naar een gedeelde pool van feed-forward experts te routeren, die ze aggregeert tot een verenigde embedding voor taakspecifieke predictiekoppen.
• Regularisatie: Er wordt een entropie-gebaseerde regularisatieterm toegevoegd aan de loss om een gebalanceerd gebruik van experts aan te moedigen en expert-instorting te voorkomen.

3. Belangrijkste Bijdragen

1. Probleemidentificatie: De auteurs identificeren dat de deterministische voltooiing van ontbrekende observaties voorafgaand aan fusie een kritieke bottleneck is in TS-FM-pipelines, wat vaak leidt tot misalignede of gedegradeerde representaties.
2. TRACE Paradigma: Zij stellen TRACE voor, een paradigma voor conditionele schatting voor multimodale TS-FMs. Dit wordt geïnstantieerd via een diffusie-gebaseerd mechanisme voor probabilistische signaalniveau-schatting, waarbij expliciet gebruik wordt gemaakt van complementaire multimodale context om ontbrekende data te infereren.
3. Empirische Validatie: Door middel van uitgebreide experimenten demonstreren de auteurs dat TRACE de downstream-prestaties consistent verbetert over diverse datasets en missingness-patronen, waarmee zij vaststellen dat temporele conditionele schatting een effectief systeemniveau-hefboompunt is.

4. Experimentele Resultaten

TRACE werd geëvalueerd op drie benchmarks die variëren van sentimentanalyse tot klinische voorspelling: CMU-MOSI, CMU-MOSEI, en MIMIC-IV.

• Sentimentanalyse (CMU-MOSI/MOSEI): TRACE presteerde beter dan state-of-the-art baselines (inclusief MulT, MAG, TFN, en FuseMoE) op alle metrieken (MAE, Accuracy, Correlation, F1). Merkwaardig genoeg bereikte het een lagere voorspellingsfout en een hogere classificatienauwkeurigheid met minder variantie, wat duidt op een stabielere cross-modale schatting.
• Klinische Voorspelling (MIMIC-IV): Op taken zoals 48-uurs mortaliteit in het ziekenhuis (48-IHM), verblijfsduur (LOS), en fenotype-classificatie (25-PHE), behaalde TRACE de sterkste gemiddelde prestaties in AUROC en F1-scores, waarbij het baselines zoals FuseMoE, MISTS, en HAIM overtrof (in de meeste metrieken).
• Robuustheid tegen Missingness: In ablatie-studies en gecontroleerde missingness-experimenten demonstreerde TRACE superieure robuustheid naarmate de missing rates toenamen. Terwijl naïeve imputatie (FuseMoE) leidde tot gedegradeerde representaties onder hoge missingness (bijv. 30-50%), behield TRACE representaties die dichter bij de "oracle" (volledig geobserveerde) grondwaarheid lagen.
• Ablatie-studies:
  • Conditionele Diffusie: Het verwijderen van de cross-modale conditionering of het gebruik van onconditionele diffusie schaadde de prestaties aanzienlijk, wat de noodzaak bevestigt om hulp-modaliteiten te benutten.
  • MoE Routing: Het uitschakelen van adaptieve routing (gebruik van vaste gewichten) verminderde de prestaties, wat het belang van data-afhankelijke expertselectie benadrukt.
  • Aantal Experts: Prestaties piekten bij 5 experts in het diffusiemodule, met afnemende meeropbrengsten of degradatie bij hogere aantallen door sparse supervisie.
• Efficiëntie: TRACE vereist ongeveer 2,7M parameters. Hoewel de inferentie trager is dan bij deterministische baselines vanwege de diffusiestappen, levert het reduceren van de stappen van 50 naar 10 een versnelling van 4x op met minimaal prestatieverlies, wat werkbaar blijft voor klinische settings waar strikte real-time respons niet altijd vereist is.

5. Betekenis en Claims

Het artikel claimt dat TRACE een fundamentele beperking in huidige multimodale tijdreeksmodellering aanpakt: de behandeling van ontbrekende data als een statisch waarde-invulprobleem in plaats van een dynamische, conditionele schattingsopgave.

• Paradigmaverschuiving: Het werk verschuift de focus van "gaten vullen" naar "latente variabelen schatten", waardoor de probabilistische structuur van ontbrekende data behouden blijft en cross-modale afhankelijkheden worden benut.
• Representatiegetrouwheid: De auteurs stellen dat het primaire voordeel van TRACE niet alleen verbeterde pointwise imputatie-nauwkeurigheid is, maar de preservatie van betekenisvolle temporele representaties in de latente ruimte onder zware missingness. Dit stelt downstream-fusielagen in staat om op trouwere data te opereren, wat leidt tot betere robuustheid.
• Generaliseerbaarheid: Hoewel de huidige instantie zich richt op settings waar modaliteiten gedeeltelijk geobserveerd zijn (within-modality missingness), is het framework ontworpen als een algemeen paradigma voor TS-FMs. De auteurs merken op dat voor volledig afwezige modaliteiten het systeem vertrouwt op het vermogen van de backbone om rond ontbrekende inputs te routeren, maar de kernbijdrage ligt in het verfijnen van representaties wanneer data aanwezig maar schaars is.
• Beperkingen: De auteurs erkennen bescheiden dat voor specifieke taken die zwaar leunen op domeinspecifieke inductieve biases (bijv. HAIM op fenotype-classificatie), gespecialiseerde architecturen nog steeds kunnen presteren. Zij suggereren dat het overbruggen van deze kloof via lichtgewicht domein-priors binnen TRACE een richting is voor toekomstig werk. Daarnaast merken zij op dat de huidige scope zich richt op partiële observatie in plaats van de generatie van volledig afwezige modaliteiten.

Concluderend toont TRace aan dat expliciete temporele conditionele schatting via diffusie een superieure strategie is ten opzichte van naïeve imputatie voor het bouwen van robuuste, generaliseerbare multimodale tijdreeks fundamentele modellen.