Technische Samenvatting: Patroon-gekalibreerde Multimodale Voorspelling onder Blokwijze Ontbreken

1. Probleemstelling

In multimodale voorspellingsopdrachten (bijv. Elektronische Gezondheidsdossiers met codes, tekst en afbeeldingen) lijdt de data vaak aan blokwijze ontbreken (blockwise missingness), waarbij volledige modaliteiten niet geobserveerd zijn voor bepaalde subjecten vanwege acquisitiekosten, workflowbeperkingen of privacy.

Bestaande benaderingen behandelen dit doorgaans als een probleem van onvolledige input, met als doel alle records bruikbaar te maken voor een enkel voorspellingsmodel via imputatie, zero-filling of fusie-architecturen. De auteurs stellen echter dat deze methoden vaak falen om het fundamentele estimand-probleem aan te pakken:

• Patroonspecifieke Taken: De set geobserveerde modaliteiten definieert de beschikbare informatie voor voorspelling. Een regel die geconditioneerd is op "alleen codes" is fundamenteel verschillend van een regel geconditioneerd op "codes, aantekeningen en afbeeldingen".
• Bias door Pooling: Het trainen van een enkele gepoolde voorspeller op alle patronen (zelfs met indicatoren voor ontbrekende gegevens) dwingt afzonderlijke observeerbare voorspellingstaken om een gemeenschappelijke regel te delen. Dit induceert bias omdat de gepoolde regel een prevalentie-gewogen gemiddelde van risico's minimaliseert in plaats van het risico dat specifiek is voor een doelpatroon.
• Inefficiëntie van Lokale Fitting: Omgekeeld is het fitten van een apart model voor elk ontbrekende patroon (volledig lokale strategie) inefficiënt wanneer bepaalde patronen zeldzaam zijn (bijv. volledig geobserveerde records zijn minder gebruikelijk dan alleen code-records).

De kernuitdaging is hoe informatie kan worden geleend tussen verschillende ontbrekende patronen om de efficiëntie te verbeteren zonder de distinctieve patroonspecifieke voorspellingsregels te laten samenvallen in één vertekende regel.

2. Methodologie: MOSAIC

De auteurs stellen Multimodal Overlap-aware Shared-specific Alignment and Inter-pattern Calibration (MOSAIC) voor, een framework dat is ontworp om kracht te lenen tussen patronen terwijl patroonspecifieke regels behouden blijven. De methode werkt in drie stadia:

2.1 Gedeelde en Modaliteitsspecifieke Representatie-lering

MOSAIC leert eerst een representatieruimte van ongelabelde multimodale data (of een aparte representatie-lerende steekproef). Deze ruimte ontleedt informatie in:

• Gedeelde Representaties ($z^{(0)}$): Informatie die vergelijkbaar is over verschillende modaliteiten heen.
• Modaliteitsspecifieke Representaties ($z^{(l)}$): Informatie die uniek is voor modaliteit $l$.

De leerdoelstelling minimaliseert drie termen:

1. Alignment Loss ($L_{shared}$): Zorgt ervoor dat gedeelde representaties geëxtraheerd uit verschillende geobserveerde modaliteiten van hetzelfde subject dicht bij elkaar liggen.
2. Orthogonaliteits-/Ontkoppelingsverlies ($L_{orth}$): Voorkomt dat gedeelde en specifieke representaties dezelfde variatie dragen (door het empirische tweede moment van de geconcateneerde representatie te reguleren).
3. Reconstructie-verlies ($L_{recon}$): Zorgt ervoor dat de representaties voldoende informatie behouden om de oorspronkelijke modaliteit te reconstrueren.

2.2 Voorspelling op basis van Overlap in de Eerste Fase

Voor een doelmissingspatroon $k$ construeert MOSAIC een eerste-fase voorspeller $h^{(k)}$ door samples te lenen van alle andere patronen $j$ die overlappende representatiecoördinaten delen.

• Het behoudt coördinaten in $S_j \cap S_k$ (gedeeld en geobserveerd in beide) en vult coördinaten in $S_k \setminus S_j$ aan met nullen (zero-fill).
• Dit stelt het model in staat om een grotere effectieve steekproefomvang ($e n(k)$) te benutten, afgeleid van de overlap van bronpatronen, in plaats van beperkt te zijn tot het kleine aantal samples $n_k$ in het doelpatroon.
• Cruciaal is dat deze eerste-fase voorspeller over het algemeen niet de optimale regel is voor het doelpatroon, omdat de bronsamples de volledige doelrepresentatie missen.

2.3 Kalibratie van het Doelpatroon

Om de bias te corrigeren die wordt geïntroduceerd door de eerste-fase voorspeller, schat MOSAIC een kalibratiekloof $\Delta^{(k)} = g^{(k)} - h^{(k)}$ in, gebruikmakend van uitsluitend de gelabelde samples uit het doelpatroon $k$.

• De uiteindelijke voorspeller is $g^{(k)} = h^{(k)} + \Delta^{(k)}$.
• Deze stap is een residu-correctie die minder veeleisend is dan het vanaf nul fitten van de volledige regel, vooral wanneer de gedeelde en specifieke representaties goed gescheiden zijn.

3. Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formaliseert het probleem van "patroonspecifieke cross-patroon lening", waarbij onderscheid wordt gemaakt tussen de bias van het poolen van verschillende voorspellingsregels en de inefficiëntie van lokale fitting. Het definieert het estimand als de beste voorspellingsregel geconditioneerd op de specifieke geobserveerde set modaliteiten.
2. MOSAIC Framework: Het introduceert een twee-fasen, patroon-gekalibreerd framework dat:
   • Gedeelde en modaliteitsspecifieke representaties ontkoppelt leert.
   • Samples leent via overlap in de representatieruimte.
   • Een doelpatroon-specifieke kalibratie toepast om de geleende voorspeller te corrigeren.
3. Theoretische Garanties: De auteurs stellen niet-asymptotische foutbounds vast die de voorspellingsfout ontleden in drie componenten:
   • Overlap Effectieve Steekproefomvang: Het voordeel van het lenen van informatie van overlappende patronen.
   • Kalibratiekloof: De fout die voortvloeit uit de mismatch tussen de geleende voorspeller en de doelregel.
   • Representatie-leerfout: De fout die wordt geïntroduceerd door het schatten van de latente representaties.
   • De theorie verduidelijkt dat het lenen de lokale fitting verbetert wanneer de effectieve overlap-steekproefomvang aanzienlijk groter is dan de lokale steekproefomvang, mits de representatieleerfout en de kalibratiekloof onder controle zijn.

4. Experimentele Resultaten

4.1 Simulaties

• Representatieherstel: Experimenten tonen aan dat MOSAIC erin slaagt om gedeelde en modaliteitsspecifieke representaties te herstellen, waarbij het beter presteert dan ablatiestudies die ontbreken aan orthogonale ontkoppeling of reconstructieverliezen. Herstel verbetert met grotere hoeveelheden ongelabelde samples en hogere co-observatiekansen.
• Voorspellingsprestaties: MOSAIC bereikt de laagste gebalanceerde Mean Squared Error (MSE) over diverse ontbrekende patronen vergeleken met externe baselines (bijv. M3Care, MedFuse, IF-MMIN) en interne ablatiestudies.
  • Ablatiestudies: Het verwijderen van de kalibratiestap leidt tot prestatieverslechtering naarmate de residuele afhankelijkheid tussen modaliteiten toeneemt, wat de noodzaak van de correctiestap bevestigt. Het verwijderen van de representatie-lering (gebruikmakend van PCA) vertraagt de convergentie, wat de waarde van de geleerde gedeelde structuur benadrukt.

4.2 Real-World Toepassingen

• MIMIC (ICU Mortaliteit Voorspelling): Toegepast op de voorspelling van mortaliteit tijdens het volgende ICU-bezoek met gestructureerde codes, klinische aantekeningen en röntgenfoto's van de borstkas.
  • MOSAIC behaalde de hoogste algemene AUROC (0,861), AUPRC en F1-scores.
  • Patroonspecifieke Winsten: De methode toonde de meest uitgesproken verbeteringen in het "alleen codes"-patroon, waarbij het cross-patroon lenen van rijkere modaliteiten (via gedeelde code-representaties) het gebrek aan aantekeningen en afbeeldingen compenseerde. Het behield ook de top performance in het volledig geobserveerde patroon.
• IEMOCAP en FairDomain: Aanvullende evaluaties op emotieherkenning en glaucoomclassificatie bevestigden de voordelen van MOSAIC ten opzichte van leidende methoden onder gecontroleerde modaliteitsmaskering.

5. Betekenis en Claims

Het artikel claimt dat MOSAIC een geprincipeerde oplossing biedt voor de trade-off tussen bias (door het poolen van verschillende voorspellingstaken) en efficiëntie (door beperkte lokale samples).

• Mechanisme: Door de representatie-lering te scheiden van de doelpatroon-kalibratie, stelt MOSAIC modellen in staat om "kracht te lenen" tussen ontbrekende patronen zonder hen te dwingen een enkele, potentieel vertekende voorspellingsregel te delen.
• Theoretisch Inzicht: De decompositie van foutbounds biedt een duidelijke verklaring voor wanneer cross-patroon lening voordelig is: specifiek wanneer de effectieve overlap-steekproefomvang groot is ten opzichte van de lokale steekproefomvang, en wanneer de representatieleer- en kalibratiekloven klein zijn.
• Praktische Impact: De methode is bijzonder effectief in scenario's waar doelpatroon-samples beperkt zijn (bijv. zeldzame volledig geobserveerde records) of waar de patroonspecifieke regels aanzienlijk verschillen.

De auteurs merken op dat de huidige theoretische analyse steunt op vereenvoudigde lineaire representatiemodellen en Missing Completely at Random (MCAR) aannames. Toekomstig werk wordt gesuggereerd om deze garanties uit te breiden naar niet-lineaire encoders en algemenere missingsmechanismen (MAR/MNAR), evenals om uitdagingen aan te pakken bij zeldzame patronen met zwakke overlap.