🤖 AI

PAMF: Prior-Aware Multimodal Fusion for Incomplete Time Series Data

Het artikel introduceert PAMF, een nieuw multimodaal tijdreeksframework dat zowel ontbrekende gegevens binnen een modaliteit als op modaliteitsniveau aanpakt door ontbrekende data expliciet te schatten via prior-bewuste flow matching en imputatie te koppelen aan downstream-taken via gewichtsdeling om superieure prestaties op benchmarks in de gezondheidszorg te bereiken.

Oorspronkelijke auteurs: Ziwen Kan, Wugeng Zheng, Tianlong Chen, Song Wang

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ziwen Kan, Wugeng Zheng, Tianlong Chen, Song Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex medisch mysterie probeert op te lossen, zoals uitzoeken of een patiënt een hartaanval krijgt of hoe goed hij slaapt. Om dit te doen, kijken artsen meestal naar verschillende "stromen" informatie tegelijkertijd: een ECG voor het hart, een ademhalingsmonitor, hersengolven en spiersensoren. Dit wordt multimodale data genoemd.

Echter, in de echte wereld zijn deze sensoren slordig. Soms valt er een draadje los (een hele datastroom verdwijnt) en soms vertoont een sensor een kleine storing gedurende enkele seconden (enkele datapunten ontbreken).

Het artikel introduceert een nieuw systeem genaamd PAMF (Prior-Aware Multimodal Fusion) dat is ontworpen om deze kapotte datastromen te repareren, zodat artsen nog steeds nauwkeurige diagnoses kunnen stellen. Zo werkt het, met behulp van eenvoudige analogieën:

De twee soorten "ontbrekende" data

De auteurs realiseerden zich dat ontbrekende data in twee zeer verschillende vormen komt, en dat je ze niet met hetzelfde hulpmiddel kunt oplossen:

De "Glitch" (Binnen-modaliteit ontbrekend): Stel je voor dat je hartmonitor werkt, maar dat de lijn voor 5 seconden plat gaat omdat een draadje loszit. De rest van de data is er wel; er is alleen een klein stukje weg.
De "Blackout" (Modaliteit-niveau ontbrekend): Stel je voor dat de patiënt weigert de ademhalingssensor te dragen, of dat de machine volledig kapot gaat. Nu heb je de hele nacht nul ademhalingsdata.

De meeste oude computerprogramma's behandelden deze twee problemen op dezelfde manier, of negeerden de ontbrekende delen simpelweg. PAMF behandelt ze anders.

Hoe PAMF werkt: De "Slimme Detective"-aanpak

1. De "Prior-Aware" Starter (Weten waar je moet beginnen)

Stel je voor dat je probeert te raden wat een ontbrekende zin in een verhaal zegt.

Als een woord in het midden van een zin ontbreekt (De Glitch), kijk je naar de woorden direct vóór en na het woord om het ontbrekende woord te raden.
Als de hele paragraaf ontbreekt (De Blackout), helpt het kijken naar de vorige zin niet veel. In plaats daarvan kijk je naar de algemene stijl van het boek of wat andere personages aan het doen zijn om te raden wat er misschien in die paragraaf staat.

PAMF doet precies dit. Het gebruikt een wiskundige motor genaamd Flow Matching (denk aan dit als een zeer efficiënte "tijdreis"-machine die het verleden reconstrueert).

Voor Glitches begint het zijn gok gebruikmakend van de directe buren (de data vlak voor en na de leegte).
Voor Blackouts begint het zijn gok gebruikmakend van het gemiddelde gedrag van vergelijkbare patiënten of de andere sensoren die wel werken.

Dit "startpunt" wordt een Prior genoemd. Door het juiste startpunt te kiezen voor elk type ontbrekende data, hoeft het systeem niet blind rond te dwalen; het begint veel dichter bij de waarheid.

2. Het "Gedeelde Brein" (Gewichtsdeling)

Meestal hebben computerprogramma's twee aparte stappen:

Stap A: Fix de kapotte data.
Stap B: Gebruik de gefixte data om een diagnose te stellen.

Het probleem is dat Stap A niet weet waar Stap B om geeft. Het kan de data perfect repareren zodat een mens het kan lezen, maar niet op een manier die de computer hels bij het diagnosticeren van een hartaanval helpt.

PAMF verbindt deze twee stappen. Het gebruikt een Gedeeld Brein (Weight Sharing). Het deel van het systeem dat leert hoe het een patiënt moet diagnosticeren, helpt ook het deel dat de data repareert.

Analogie: Stel je een detective voor (het diagnosegedeelte) en een forensisch kunstenaar (het data-reparatiegedeelte). In oude systemen werkten zij in verschillende kamers. In PAMF zitten ze aan hetzelfde bureau. De detective vertelt de kunstenaar: "Ik moet de vorm van de schoenafdruk duidelijk zien om de verdachte te vangen," zodat de kunstenaar zich focust op het verscherpen van de schoenafdruk in plaats van alleen maar het hele plaatje er mooi uit te laten zien.

3. De "Driefasige Training"

Het systeem leert in drie stadia om dit goed te doen:

Opwarming: Het leert eerst te diagnosticeren met de rommelige, kapotte data. Dit dwingt het systeem om te leren hoe het met ontbrekende stukken omgaat.
Reconstructie: Het gebruikt de kennis uit de eerste stap om te leren hoe het de "lege plekken" in de ontbrekende data kan invullen, gebruikmakend van de slimme startpunten die eerder werden genoemd.
Laatste Afwerking: Het neemt de nu "gerepareerde" data en voert de diagnose nog één laatste keer uit om het best mogelijke resultaat te krijgen.

Waarom het beter is (De resultaten)

De auteurs hebben PAMF getest op vier echte medische datasets (slaaponderzoeken, hartmonitoren en draagbare activiteitstrackers). Ze vergeleken het met andere slimme systemen die proberen om te gaan met ontbrekende data.

Het resultaat: PAMF won consequent. Het was beter in het diagnosticeren van patiënten, of de data nu kleine glitches bevat of dat er zelfs hele sensoren ontbraken.
Snelheid: Omdat het "Flow Matching" gebruikt in plaats van oudere, tragere methoden (zoals Diffusion-modellen), repareert het de data veel sneller — alsof je een directe snelweg neemt in plaats van via alle zijwegen te rijden.

Samenvatting

PAMF is een nieuwe manier voor computers om met rommelige medische data om te gaan. In plaats van ontbrekende sensoren te negeren of blind te gokken, doet het het volgende:

Het weet het verschil tussen een kleine glitch en een totale sensorstoring.
Het gebruikt de juiste "aanwijzingen" (priors) om de ontbrekende data in te vullen.
Het laat het doel van de diagnose het proces van de datareparatie sturen.

Het resultaat is een systeem dat onvolledige, kapotte medische dossiers kan analyseren en nog steeds kan achterhalen wat er met de patiënt aan de hand is, alsof de data perfect was.

Technische Samenvatting: PAMF (Prior-Aware Multimodal Fusion for Incomplete Time Series Data)

Probleemdefinitie

Multimodale tijdreeksanalyse in de gezondheidszorg staat voor een kritieke uitdaging: alomtegenwoordige ontbrekende gegevens die de prestaties van downstream-voorspellingen verslechteren. Het artikel identificeert twee structureel verschillende patronen van ontbreken die bestaande methoden niet gelijktijdig aanpakken:

Binnen-modaliteit ontbreken: Individuele tijdstippen zijn afwezig binnen een verder geobserveerde modaliteit (bijv. een sensoruitval tijdens een opname).
Modaliteitsniveau ontbreken: Een volledige modaliteit is niet beschikbaar (bijv. een patiënt kan een specifieke test zoals een ECG niet ondergaan).

Bestaande benaderingen vallen doorgaans in twee categorieën, die beide beperkingen hebben:

Missing-Aware Fusion: Methoden zoals FuseMoE, FlexMoE en Maestro gaan om met ontbrekende gegevens door gebruik te maken van maskers, gating-mechanismen of geleerde placeholder-embeddings. Ze reconstrueren echter niet expliciet de ontbrekende signaalwaarden, waardoor ze ontbrekende gegevens eerder behandelen als een probleem van representatie-robuustheid dan als een probleem van signaalherstel.
Expliciete Imputatie: Methoden zoals CSDI en SSSD gebruiken generatieve modellen (bijv. diffusie) om ontbrekende waarden te reconstrueren. Ze behandelen echter alle ontbrekende gegevens uniform, waarbij ze de structurele verschillen tussen ontbrekende gegevens binnen een modaliteit en op modaliteitsniveau negeren. Bovendien is imputatie vaak ontkoppeld van de downstream-taak, wat betekent dat de geïmputeerde signalen niet zijn geoptimaliseerd voor het specifieing doel van de voorspelling.

Methodologie: PAMF-framework

De auteurs stellen PAMF voor, een verenigd framework dat beide patronen van ontbrekende gegevens expliciet afhandelt en imputatie koppelt aan downstream-voorspelling. Het framework bestaat uit vier hoofdcomponenten: een imputatie-encoder ( $h_{imp}$ ), een fusie-encoder ( $h_{fus}$ ), een flow matching-module ($ffm$) en een downstream-kop ( $f_{ds}$ ).

1. Prior-Aware Flow Matching

In plaats van het generatieve proces te starten vanuit een vaste, domein-onafhankelijke Gaussische distributie (zoals bij standaard diffusiemodellen), maakt PAMF gebruik van Flow Matching met prior-aware initialisatie. Dit maakt het mogelijk om de bronstaat ( $x_0$ ) te ontwerpen op basis van het specifieke type ontbrekende gegevens, waardoor de transportafstand naar de doel-datadistributie wordt verkleind.

Voor Binnen-modaliteit Ontbreken: De initialisatie maakt gebruik van lokale temporele continuïteit. De bronstaat wordt geconstrueerd met behulp van een convexe combinatie van de dichtstbijzijnde geobserveerde temporele buur en het gemiddelde per kanaal binnen de batch. Het gewicht neemt exponentieel af naarmate de temporele kloof groter wordt, waardoor het startpunt binnen een plausibele lokale observatiebereik blijft.
Voor Modaliteitsniveau Ontbreken: Omdat er geen bewijs binnen dezelfde modaliteit aanwezig is, vertrouwt de initialisatie op cross-modale context. De bronstaat wordt afgeleid van het batchgemiddelde of context-gelijke monsters, geconditioneerd op de representaties van de geobserveerde modaliteiten.

De flow matching-module leert een conditionele snelheidveld $v_\theta$ die deze gestructureerde bronstaat $x_0$ transporteert naar de doel-signaal $x_1$ langs rechte ODE-paden, geconditioneerd op de imputatie-context $c_{imp}$ .

2. Gewicht Delen en Driefasige Training

Om de disconnect tussen imputatie en downstream-taken aan te pakken, gebruikt PAMF een gewicht-delingsmechanisme en een driefasige trainingsstrategie:

Fase 1 (Downstream Warmup): De fusie-encoder ( $h_{fus}$ ) en de downstream-kop worden getraind op ruwe, incomplete data met behulp van een classificatieverlies. Dit dwingt de encoder om representaties te leren die robuust zijn tegen ontbrekende gegevens.
Fase 2 (Flow Matching Training): De imputatie-encoder ( $h_{imp}$ ) wordt geïnitialiseerd door de gewichten van $h_{fus}$ te kopiëren. De flow matching-module wordt vervolgens getraind om ontbrekende signalen te imputeren, geconditioneerd op $c_{imp}$ (die de taak-relevante context codeert die in Fase 1 is geleerd). Dit draagt de taak-relevante structuur over naar het imputatieproces.
Fase 3 (Joint Fine-tuning): De imputatie-tak wordt bevroren om volledige gegevens ( $x_{complete}$ ) te genereren. De fusie-encoder en de downstream-kop worden vervolgens gefinetuned op deze volledige gegevens om de uiteindelijke voorspellende prestaties te verfijnen.

Belangrijkste Bijdragen

Verenigd Framework voor Dubbele Ontbrekende Gegevens: PAMF is de eerste methode die zowel binnen-modaliteit als modaliteitsniveau ontbrekende gegevens tegelijkertijd aanpakt door ontbrekende signalen expliciet te reconstrueren met type-specifieke priors.
Prior-Aware Initialisatie: De auteurs introduceren een flow-matching-gebaseerde generatieve module waarbij de bronstaat wordt geïnitialiseerd met structurele priors (temporele buren voor lokale gaten, cross-modale statistieken voor globale gaten) in plaats van vaste ruis. Dit ontwerp vermindert de inference-overhead vergeleken met diffusie-gebaseerde alternatieven.
Taak-gestuurde Imputatie: Door middel van gewicht-deling en een driefasig trainingsschema verbindt het framework imputatie met classificatie. Voor de downstream-voorspelling relevante representaties die geleerd zijn, sturen het imputatieproces aan, waardoor wordt gegarandeerd dat de herstelde signalen informatief zijn voor de specifieke taak.

Experimentele Resultaten

De auteurs evalueerden PAMF op vier fysiologische benchmarks: Sleep-EDF (slaapstadia), PTB-XL (ECG-diagnose), PPG-DaLiA (draagbare activiteitsherkenning) en Chapman-Shaoxing (ECG-ritme).

Prestaties: PAMF behaalde de sterkste algemene downstream-prestaties over alle datasets en ontbrekende gegevens-instellingen (zowel 20% binnen-modaliteit als modaliteitsniveau ontbrekend). Het presteerde consequent beter dan sterke baselines zoals FuseMoE, FlexMoE, Maestro en MIRA in termen van Macro-F1 en AUROC.
Robuustheid: Onder gemengde ontbrekende gegevens (gelijktijdige binnen-modaliteit en modaliteitsniveau gaten) en stress-tests met een hoog percentage ontbrekende gegevens (50% ontbreken), behield PAMF een superieure prestatie, terwijl baselines zoals Maestro een significante degradatie vertoonden.
Efficiëntie: Vergeleken met diffusie-gebaseerde imputatie-baselines (CSDI, SSSD) behaalde PAMF hogere Macro-F1-scores met aanzienlijk lagere inference-latentie (minder functie-evaluaties) dankzij de efficiëntie van flow matching en de informatieve aard van de prior-aware initialisatie.
Ablatie-studies: Het verwijderen van een kerncomponent (imputatie, prior-aware initialisatie, context-conditionering of gewicht-deling) resulteerde in prestatieverlies, wat bevestigt dat de volledige pipeline noodzakelijk is voor optimale resultaten.

Betekenis en Claims

Het artikel beweert dat het primaire obstakel in multimodale tijdreeksanalyse niet alleen de aanwezigheid van ontbrekende gegevens is, maar de structurele heterogeniteit van dat ontbreken en de ontkoppeling van signaalherstel van downstream-taken.

PAMF demonstreert dat:

Expliciete reconstructie van ontbrekende signalen superieur is aan het louter tolereren van ontbrekende inputs via masking of placeholders.
Het onderscheiden van typen ontbrekende gegevens cruciaal is; het uniform behandelen van alle ontbrekende gegevens (bijv. met een enkele Gaussische prior) is suboptimaal.
Het koppelen van imputatie aan downstream-leren via gewicht-deling het model in staat stelt om representaties te leren die specifiek zijn aangepast aan de voorspellende taak, in plaats van het genereren van generieke "plausibele" signalen.

De auteurs positioneren PAMF als een onderzoeksmethode die de robuustheid verbetert in medische omgevingen waar sensorfalen of onvolledige onderzoeken gebruikelijk zijn. Ze erkennen beperkingen en merken op dat de methode voldoende trainingsdata vereist om betrouwbare temporele en cross-modale structuren te leren, en dat expliciete imputatie het risico met zich meebrengt het genereren van plausibele maar onjuiste fysiologische signalen als dit niet gevalideerd wordt.