Challenges and proposed solutions in modeling multimodal medical data: A systematic review

Stel je voor dat je een enorme, complexe puzzel probeert op te lossen, maar in plaats van slechts één doos met stukjes, heb je verschillende dozen. Eén doos bevat kleurrijke afbeeldingen (zoals medische scans), een andere heeft lange lijsten met getallen (zoals genetische codes), een derde bevat dagelijkse dagboekfragmenten (zoals patiëntendossiers), en een vierde bevat gegevens van een smartwatch (zoals hartslag). In de wereld van de medische wetenschap wordt dit multimodale data genoemd. "Multi" betekent veel, en "modaal" verwijst naar de verschillende soorten of "modi" van informatie. Artsen hebben altijd al geweten dat het bekijken van slechts één type informatie — zoals alleen de röntgenfoto of alleen de bloedtest — is alsof je probeert een hele film te begrijpen door naar slechts één enkel frame te kijken. Om het volledige verhaal van de gezondheid van een patiënt te begrijpen, moet je al deze verschillende stukjes combineren.

Het mengen van deze verschillende puzzeldozen is echter ontzettend lastig. De stukjes passen niet van nature bij elkaar; ze hebben verschillende vormen, maten en kleuren. Sommige dozen missen zelfs stukjes volledig, sommige hebben duizenden piepkleine stukjes terwijl andere er slechts enkele hebben, en soms zijn de stukjes zo klein of het beeld zo wazig dat het moeilijk is om te zien wat er aan de hand is. Dit is het probleem dat wetenschappers in het veld van Kunstmatige Intelligentie (AI) proberen op te lossen. Ze bouwen computerprogramma's die kunnen leren hoe ze deze verschillende puzzeldozen bij elkaar kunnen leggen om artsen betere beslissingen te laten nemen. Maar voordat ze de perfecte robot-puzzeloplosser kunnen bouwen, moeten ze uitzoeken hoe ze met de rommeligheid van de echte wereld om moeten gaan.

Dit artikel is een enorme "rapportcijferlijst" voor de afgelopen tien jaar van het proberen op te lossen van deze puzzel. De auteurs, een team van onderzoekers van universiteiten in Duitsland, hebben niet zelf een nieuwe robot gebouwd. In plaats daarvan hebben ze gehandeld als detectives, waarbij ze 69 verschillende studies hebben opgespoord die gepubliceerd zijn tussen 2011 en eind 2023. Ze hebben elke enkele studie gelezen om te ontdekken welke problemen deze wetenschappers tegenkwamen toen ze probeerden deze medische data te mengen en, nog belangrijker, welke trucs ze gebruikten om die problemen op te lossen. Ze wilden weten: Wat zijn de grootste hoofdpijndossiers in dit veld, en gaan we er echt beter in worden het oplossen ervan?

De Vijf Grote Hoofdpijndossiers

Na het sorteren van honderden artikelen, ontdekte het team dat bijna iedereen tegen dezelfde vijf gevechten vocht.

1. Het Probleem van de Ontbrekende Stukjes
Stel je voor dat je de puzzel probeert op te lossen, maar voor sommige patiënten is de "röntgenfoto"-doos volledig leeg. Misschien was de machine kapot, kon de patiënt de test niet betalen, of is de patiënt uit de studie gestapt. In de echte wereld gebeurt dit de hele tijd. Het artikel vond dat 15 van de 69 studies (ongeveer 22%) hiermee te maken hadden.

• De Oplossing: In plaats van simpelweg te gokken of de plek leeg te laten, leren slimme computerprogramma's om het ontbrekende stukje te "hallucineren". Ze gebruiken technieken zoals Generative Adversarial Networks (GANs), wat lijkt op twee AI-kunstenaars die een spel spelen: de een probeert een nep-röntgenfoto te tekenen die echt lijkt, en de ander probeert de vervalsing te ontmaskeren. Door deze oefening leert de AI een realistische gok te maken voor de ontbrekende data. Andere methoden gebruiken knowledge distillation, waarbij een "leraar"-AI die alles weet over één type data, een "leerling"-AI leert hoe hij de rest kan raden, zelfs als hij niet alle stukjes heeft gezien.

2. Het Probleem van de Kleine Menigte
Soms heb je een puzzel, maar heb je slechts een handvol mensen om je te helpen deze op te lossen. In medisch onderzoek wordt dit een kleine dataset genoemd. Het artikel vond dat dit de meest voorkomende uitdaging was, voorkomend in 17 studies (25%). Als je een computer probeert te leren een zeldzame ziekte te herkennen met slechts vijf voorbeelden, zal de computer waarschijnlijk die vijf plaatjes gewoon uit het hoofd leren en falen wanneer hij een nieuwe ziet.

• De Oplossing: Om dit te omzeilen, gebruiken onderzoekers Transfer Learning. Dit is als het nemen van een student die al een miljoen uur heeft gestudeerd over algemene foto's (zoals katten en auto's) en hem een snelle crashcursus geven over medische afbeeldingen. Ze gebruiken ook Data Augmentation, waarbij de computer de weinige foto's die hij heeft neemt en ze kunstmatig draait, spiegelt of verheldert om "nieuwe" oefenfoto's te creëren, waardoor de kleine menigte aanvoelt als een groot stadion.

3. Het Probleem van de Grootteverschillen
Stel je voor dat je een emmer zand probeert te mengen met een enkele korrel rijst. De emmer zand vertegenwoordigt de Imaging data (die miljoenen pixels kan hebben), en de korrel rijst vertegenwoordigt de Genomic data (die misschien slechts enkele duizenden getallen heeft). Als je ze gewoon bij elkaar gooit, zal de computer de rijst negeren en alleen naar het zand kijken. Dit wordt imbalance in dimensionality genoemd, en 7 studies pakten dit aan.

• De Oplossing: De oplossing is om de emmer zand in te krimpen tot de grootte van de rijst, of om de rijst een speciaal "gewicht" te geven zodat de computer er aandacht aan besteedt. Onderzoekers gebruiken weighted loss functions, wat lijkt op een scheidsrechter die roept: "Hé, negeer de kleine data niet! Het is belangrijk!" Dit dwingt de computer om zowel de gigantische afbeeldingen als de kleine genetische lijsten evenveel aandacht te schenken.

4. Het "Black Box"-probleem
Zelfs wanneer de computer de puzzel perfect oplost, weigert hij vaak uit te leggen hoe hij dat heeft gedaan. In de geneeskunde is dit gevaarlijk. Als een computer zegt: "Deze patiënt heeft kanker", maar niet kan vertellen waarom, dan kan een arts de computer niet vertrouwen. Dit gebrek aan interpreteerbaarheid was een uitdaging in 14 studies.

• De Oplossing: Wetenschappers bouwen "zaklampen" voor de AI. Ze gebruiken tools zoals Grad-CAM en SHAP, die precies highlighten naar welke delen van een röntgenfoto of welke specifieke genen de computer keek om zijn beslissing te nemen. Het is alsof de computer een cirkel trekt rond de verdachte plek op de röntgenfoto en zegt: "Ik zag dit, dus ik maakte deze keuze."

5. Het Strategieprobleem voor het Mengen
Ten slotte is er de vraag over hoe de data te mengen. Moet je de ruwe stukjes eerst samenvoegen (Early Fusion), de stukjes mengen nadat ze gedeeltelijk zijn opgelost (Intermediate Fusion), of de stukjes apart oplossen en de antwoorden aan het einde combineren (Late Fusion)? Het artikel vond dat 39 van de 69 studies (meer dan de helft) Intermediate Fusion gebruikten.

• De Oplossing: Deze aanpak is als het hebben van een team van specialisten. De röntgenfoto-expert en de bloedtest-expert bestuderen elk hun eigen aanwijzingen eerst, en komen dan in het midden samen om hun aantekeningen te vergelijken voordat ze een definitieve beslissing nemen. Dit lijkt beter te werken dan alles aan het begin te mengen of te wachten tot het allerlaatste moment.

Wat het artikel wel (en niet) zegt

De auteurs zijn voorzichtig om geen totale overwinning te verklaren. Ze ontdekten dat hoewel er veel slimme trucs zijn, geen enkele methode de magische oplossing is die voor elke ziekte of elk type data werkt. De beste oplossing hangt volledig af van de specifieke puzzel die je probeert op te lossen.

Ze sloten ook expliciet enkele ideeën uit. Ze merkten bijvoorbeeld op dat het simpelweg aan elkaar plakken van alle data zonder rekening te houden met de verschillen (een methode genaamd "Early Fusion") vaak faalt wanneer de datatypen te verschillend zijn, zoals het mengen van een video met een spreadsheet. Ze wezen ook erop dat veel studies vertrouwen op publieke datasets (zoals de Alzheimer's Disease Neuroimaging Initiative, gebruikt in 18 studies, of de Cancer Genome Atlas, gebruikt in 8 studies). Hoewel deze geweldig zijn voor testen, suggereert het artikel dat te veel vertrouwen op deze datasets kan betekenen dat we onze ideeën niet testen op de rommelige, echte wereld die in werkelijke ziekenhuizen te vinden is.

Bovendien benadrukt het artikel een zorgwekkende kloof: slechts 19 van de 69 studies (27,5%) deelden zowel hun data als hun computercode. Dit betekent dat voor de meeste van deze slimme oplossingen, andere wetenschappers het werk niet gemakkelijk kunnen controleren of erop voort kunnen bouwen. De auteurs suggereren dat het veld transparanter moet zijn, alsover als het delen van een recept in plaats van alleen het uiteindelijke gebak.

De Kern van het Verhaal

Deze review suggeert dat we vooruitgang boeken, maar dat de weg nog steeds hobbelig is. De meest voorkomende problemen zijn ontbrekende data en het niet hebben van genoeg voorbeelden om van te leren. De meest veelbelovende instrumenten op dit moment hebben te maken met het leren van computers om ontbrekende stukjes te raden, kennis te lenen van andere taken en "zaklampen" te gebruiken om te zien hoe ze denken.

Het artikel concludeert dat de toekomst niet gaat over het vinden van één perfect algoritme. In plaats daarvan gaat het om het bouwen van flexibele systemen die kunnen omgaan met ontbrekende stukjes, kunnen werken met kleine groepen en hun redenering kunnen uitleggen. Zoals de auteurs zeggen: het doel is om te bewegen van alleen maar "modellen maken" naar het maken van modellen die robuust, betrouwbaar en klaar zijn om echte artsen in echte ziekenhuizen te helpen. Tot die tijd blijft de puzzel een werk in uitvoering, maar we worden zeker beter in het vinden van de stukjes.