MARIA: a Multimodal Transformer Model for Incomplete Healthcare Data

Het paper introduceert MARIA, een nieuw multimodaal transformer-model dat door het gebruik van een gemaskerd zelf-attentie-mechanisme in plaats van imputatie, robuust presteert bij het analyseren van onvolledige gezondheidsdata en hiermee bestaande methoden overtreft.

De kern

MARIA: De slimme arts die niet bang is voor lege dossiers

Stel je voor dat je een zeer ervaren arts bent die een diagnose moet stellen. Om een goede diagnose te stellen, wil je natuurlijk alle informatie hebben: de bloeddruk, de röntgenfoto's, de bloedtesten en het verhaal van de patiënt. Maar wat gebeurt er als de patiënt zijn bloedtesten vergeten is in te leveren, of als de röntgenmachine op dat moment stuk is?

In de echte wereld is dit een enorm probleem. Medische dossiers zijn vaak onvolledig. Traditionele computersystemen (de "oude manier") doen dan vaak alsof ze de ontbrekende stukjes invullen met een gok. Ze zeggen: "Oké, de bloeddruk ontbreekt, maar omdat de meeste mensen met dit probleem een hoge bloeddruk hebben, vullen we die maar in." Het probleem is dat deze goks vaak verkeerd zijn en de arts (of computer) op het verkeerde been zetten.

De oplossing: MARIA

In dit paper introduceren de auteurs MARIA (Multimodal Attention Resilient to Incomplete datA). Je kunt MARIA zien als een super-slimme, moderne arts die een heel andere aanpak heeft.

In plaats van de lege plekken in het dossier te "invullen" met gissen, kijkt MARIA gewoon naar wat er wel is.

Hoe werkt het? De "Geknipte Foto" Analogie

Stel je voor dat je een puzzel moet maken om een ziekte te diagnosticeren.

• De oude manier (Imputatie): Als een puzzelstukje ontbreekt, plakt de computer er een stukje van een andere puzzel op dat er misschien op lijkt. Soms klopt het, maar vaak zie je de puzzel er raar uit en maak je een fout.
• De MARIA-methode: MARIA kijkt naar de puzzel en zegt: "Oké, dit stukje ontbreekt. Geen probleem. Ik ga gewoon kijken naar de stukjes die er wel zijn en die slim met elkaar verbinden."

MARIA gebruikt een speciale techniek die ze een "masker" noemen. Het is alsof MARIA een bril opzet die de ontbrekende stukjes zwart maakt. Ze negeert ze volledig. Ze laat de computer niet gokken wat er zou moeten staan, maar laat de computer alleen kijken naar de feiten die er echt zijn.

De "Orkest" Vergelijking

Om te begrijpen hoe MARIA verschillende soorten data (zoals bloedwaarden en foto's) samenbrengt, kun je denken aan een orkest:

• Vroege fusie (Early Fusion): Alle muzikanten spelen tegelijkertijd in één groot ensemble. Als een viool ontbreekt, klinkt het ensemble vaak raar of stopt het.
• Late fusie (Late Fusion): Elke muzikant speelt zijn eigen solostuk apart, en aan het eind zegt een dirigent: "Oké, we tellen de scores bij elkaar op." Dit werkt, maar de muzikanten luisteren niet naar elkaar, dus ze missen de mooie harmonieën.
• MARIA (Intermediate Fusion): Dit is als een slim dirigent. Elke muzikant (elk type data) speelt eerst zijn eigen stukje. Maar de dirigent (MARIA) luistert naar wat er wel wordt gespeeld. Als de fluitist niet komt opdagen (ontbrekende data), zegt de dirigent: "Geen probleem, we laten de fluit even stil en focussen we op de klarinet en de trompet." De dirigent past de muziek dynamisch aan op basis van wat er beschikbaar is, zonder nep-instrumenten te introduceren.

Wat hebben ze ontdekt?

De auteurs hebben MARIA getest op echte medische data, zoals patiënten met de ziekte van Alzheimer en mensen met COVID-19. Ze hebben MARIA laten strijden tegen 10 andere slimme computersystemen.

Het resultaat? MARIA wint bijna altijd.

• Hoe meer data er ontbreekt, hoe beter MARIA presteert in vergelijking met de anderen.
• De andere systemen worden slomer en maken meer fouten naarmate er meer informatie ontbreekt.
• MARIA blijft stabiel en betrouwbaar, zelfs als de dossiers half leeg zijn.

Waarom is dit belangrijk?

In de echte wereld zijn medische dossiers zelden perfect. Mensen vergeten testen, apparaten zijn kapot, of privacy-wetten zorgen ervoor dat sommige data niet beschikbaar is.

MARIA is een grote stap vooruit omdat het computersystemen veerkrachtiger maakt. Het betekent dat artsen in de toekomst meer vertrouwen kunnen hebben in de diagnose van een computer, zelfs als ze niet alle informatie hebben. Het voorkomt dat we artsen dwingen om op basis van gissingen te werken.

Kortom:
MARIA is een slimme computer die leert om te werken met wat er is, in plaats van te gissen naar wat er misschien had kunnen zijn. Het is als een arts die zegt: "Ik heb niet alles, maar ik maak het beste van wat ik heb, zonder nep-feiten te verzinnen."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "MARIA: a Multimodal Transformer Model for Incomplete Healthcare Data" in het Nederlands.

Probleemstelling

In de gezondheidszorg is de integratie van multimodale data (zoals klinische beoordelingen, beeldvorming, laboratoriumtests en patiëntgeschiedenis) cruciaal voor het ontwikkelen van nauwkeurige diagnostische en voorspellende modellen. Een van de grootste uitdagingen in real-world toepassingen is echter onvolledige data. Data kan ontbreken door sensorstoringen, niet-naleving van patiënten, technische beperkingen of privacybeperkingen.

Traditionele aanpakken voor het omgaan met ontbrekende data vertrouwen vaak op imputatie (het invullen van ontbrekende waarden met geschatte waarden) of het uitsluiten van patiënten met ontbrekende gegevens. Deze methoden brengen echter risico's met zich mee:

• Imputatie kan bias introduceren en informatie verliezen.
• Het genereren van synthetische data kan de onderliggende complexiteit van de data niet correct vastleggen.
• Bestaande multimodale fusiestrategieën (early, late en intermediate fusion) hebben moeite om robuust te presteren wanneer hele modaliteiten of specifieke kenmerken ontbreken, zonder dat er eerst imputatie plaatsvindt.

Methodologie: Het MARIA-model

De auteurs stellen MARIA (Multimodal Attention Resilient to Incomplete datA) voor, een nieuw transformer-based deep learning model dat specifiek is ontworpen om onvolledige multimodale data te verwerken zonder imputatie.

Kernarchitectuur en Innovaties:

1. Intermediate Fusion Strategie: MARIA gebruikt een intermediate fusie-aanpak. Dit betekent dat modality-specifieke kenmerken eerst onafhankelijk worden verwerkt en vervolgens worden samengevoegd op een latente representatieniveau, in plaats van op het ruwe data-niveau (early fusion) of op het beslissingsniveau (late fusion).
2. Modality-Specifieke Encoders: Voor elke data-modaliteit (bijv. tabulaire data) wordt een aparte encoder gebruikt. Deze encoders zijn gebaseerd op het NAIM-model (Neural Attention Imputation Model), maar zonder de imputatielagen.
3. Gewijzigde Masked Self-Attention: Het hart van MARIA is een aangepast mechanisme voor 'masked self-attention'.
   • In plaats van ontbrekende waarden te vervangen, worden ze gemaskeerd met een matrix $M_i$.
   • Ontbrekende elementen krijgen een waarde van $-\infty$ in de attention-matrix. Na de softmax- en ReLU-operaties worden de bijbehorende gewichten effectief op nul gezet.
   • Hierdoor leert het model uitsluitend op basis van de beschikbare informatie en negeert het volledig de ontbrekende data, wat bias door imputatie elimineert.
4. Gedeelde Encoder: De latente representaties van de verschillende modaliteiten worden samengevoegd tot een gedeelde representatie ($r_{sh}$), die vervolgens door een gedeelde encoder wordt verwerkt om de uiteindelijke voorspelling te genereren. Ook hier wordt een masked attention-mechanisme toegepast om te zorgen dat ontbrekende modaliteiten de uitkomst niet negatief beïnvloeden.
5. Regularisatie tijdens Training: Om het model robuust te maken voor willekeurige ontbrekende data, wordt er tijdens het trainen gebruikgemaakt van Modality Dropout en Feature Dropout. Hierbij worden willekeurig modaliteiten of kenmerken gemaskeerd (zodat er altijd ten minste één beschikbaar blijft), zodat het model leert omgaan met verschillende gradaties van onvolledigheid.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Introductie van MARIA, een transformer-model dat onvolledige data verwerkt via intermediate fusion en masked attention, zonder synthetische data te genereren.
• Robuustheid zonder Imputatie: Het bewijs dat het volledig negeren van ontbrekende data (in plaats van het invullen ervan) leidt tot betere prestaties en minder bias in healthcare-scenario's.
• Uitgebreide Evaluatie: Een grondige vergelijking tegen 10 state-of-the-art modellen (zowel Machine Learning als Deep Learning) over 8 diagnostische en prognostische taken.
• Analyse van Fusiestrategieën: Een diepgaande analyse van hoe early, late en intermediate fusion presteren onder verschillende missing-data condities, met name voor tabulaire data.

Resultaten

De evaluatie vond plaats op twee openbare datasets: ADNI (Alzheimer's Disease Neuroimaging Initiative) en AIforCOVID (klinische data van COVID-19 patiënten). Er werden 8 taken uitgevoerd, variërend van diagnose (bijv. Alzheimer vs. normaal) tot prognose (sterfte of ziekteprogressie).

• Prestatie: MARIA presteerde consistent beter dan alle 10 concurrenten (inclusief AdaBoost, Random Forest, XGBoost, MLP, TabNet, TabTransformer, etc.) in termen van AUC (Area Under the Curve) en MCC (Matthews Correlation Coefficient).
• Resilience: Het voordeel van MARIA nam toe naarmate het percentage ontbrekende data in de trainings- en testsets toenam. Waar traditionele modellen sterk achteruitgingen bij hoge missing-rates (tot 75%), behield MARIA zijn prestaties.
• Vergelijking Fusiestrategieën:
  • In vergelijking met ML-modellen (met en zonder imputatie) was MARIA overleggen superieur.
  • In vergelijking met Deep Learning-modellen bleek dat Intermediate Fusion (zoals MARIA) over het algemeen beter presteerde dan Late Fusion, maar in de specifieke context van tabulaire data bleek Early Fusion soms concurrerend of zelfs superieur aan Intermediate Fusion voor bestaande DL-modellen.
  • Belangrijke bevinding: Hoewel MARIA (Intermediate Fusion) de beste prestaties leverde, suggereert de vergelijking met NAIM (het basismodel) dat voor gestructureerde tabulaire data Early Fusion soms voordelen biedt. Echter, MARIA slaagt erin om de voordelen van intermediate fusion (het vastleggen van cross-modal interacties) te combineren met de robuustheid van het maskeren van ontbrekende data, wat het superieur maakt aan de andere configuraties in scenario's met ernstig ontbrekende modaliteiten.
• Scenario's: De prestatieverbetering was het meest uitgesproken in het "Missing Modalities"-scenario (waar hele databronnen ontbreken) vergeleken met het "All Missing"-scenario (waar willekeurige waarden ontbreken).

Betekenis en Conclusie

Het MARIA-model biedt een cruciale oplossing voor een veelvoorkomend probleem in de medische AI: de onvolledigheid van patiëntdata. Door af te zien van imputatie en in plaats daarvan te vertrouwen op een mechanisme dat actief ontbrekende data negeert, verhoogt MARIA de betrouwbaarheid en reproduceerbaarheid van diagnostische modellen.

• Klinische Toepassing: Het model is direct toepasbaar in real-world klinische settings waar data vaak fragmentarisch is (bijv. door patiënten die niet alle tests ondergaan of door verschillende zorginstellingen).
• Toekomstperspectief: Hoewel het model momenteel is getest op tabulaire data, is de architectuur potentieel uitbreidbaar naar andere modaliteiten zoals beeldvorming of tekst. Een beperking is de hoge rekenkracht die nodig is voor de attention-mechanismen, wat een uitdaging kan zijn voor low-resource omgevingen.

Samenvattend demonstreert MARIA dat het mogelijk is om robuuste, accurate multimodale modellen te bouwen die niet afhankelijk zijn van het "opvullen" van gaten in de data, maar die juist leren om te werken met wat er daadwerkelijk beschikbaar is.