Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes

Dit paper presenteert een nieuwe aanpak die multi-objectieve optimalisatie gebruikt om te bepalen wanneer, welke en hoe verschillende unimodale diepe netwerken moeten worden samengevoegd voor het voorspellen van COVID-19-uitkomsten, wat resulteert in state-of-the-art prestaties en verbeterd inzicht in de betekenis van de gebruikte modaliteiten.

De kern

Stel je voor dat je een zeer ervaren arts bent die een patiënt moet beoordelen. Je hebt twee soorten informatie: een foto van de longen (een röntgenfoto) en een lijst met medische gegevens (zoals de leeftijd, zuurstofgehalte in het bloed en of de patiënt benauwd is).

In het verleden keken artsen (en de computerprogramma's die hen helpen) vaak naar slechts één van deze twee dingen. Maar zoals in dit artikel wordt uitgelegd, is het veel slimmer om naar beide te kijken tegelijk. Het probleem is echter: hoe combineer je die twee op de beste manier?

De auteurs van dit artikel hebben een slimme nieuwe methode bedacht om precies dat te doen. Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: De "Handgemaakte" Puzzel

Stel je voor dat je een team van detectives wilt samenstellen om een misdrijf op te lossen.

• De oude manier: De chef kiest één detective voor de foto's en één voor de getuigenverklaringen, en plakt ze dan met plakband aan elkaar. Dit heet "handgemaakte" fusie. Het werkt misschien, maar het is niet gegarandeerd dat dit het beste team is. Misschien had je twee detectives voor de foto's nodig gehad, of een heel ander type detective voor de getuigen.
• De uitdaging: De wetenschappers stonden voor drie vragen:
  1. Wanneer moeten we de informatie samenvoegen? (Helemaal aan het begin, halverwege, of pas aan het einde?)
  2. Welke detectives (neuronale netwerken) moeten we kiezen?
  3. Hoe plakken we ze aan elkaar?

2. De Oplossing: De "Slimme Chef" (Multi-objective Optimisatie)

De auteurs hebben een algoritme bedacht dat fungeert als een ultra-slimme chef die een team samenstelt. Deze chef doet twee dingen tegelijk:

1. Kijken naar de prestaties: Hij zoekt naar detectives die het beste werk leveren (hoge nauwkeurigheid).
2. Kijken naar de verscheidenheid: Hij zoekt naar detectives die anders denken. Als alle detectives op precies dezelfde manier fouten maken, helpt het team niet. Als ze echter op verschillende manieren kijken naar het probleem, vullen ze elkaar aan.

De chef gebruikt een wiskundige methode (Pareto-optimalisatie) om het perfecte team te vinden. Hij probeert niet alleen de beste prestatie te krijgen, maar ook het team zo divers mogelijk te houden.

Het resultaat: Het team dat ze uiteindelijk kozen, bestond uit:

• Drie verschillende soorten "foto-experts" (diep leernetwerken voor de röntgenfoto's).
• Één "getuige-expert" (een netwerk voor de medische gegevens).

3. Hoe ze het samenvoegen: Het "Verzamelde Advies"

In plaats van de ruwe foto's en de ruwe cijfers direct door elkaar te gooien, laat de chef elke detective eerst zijn eigen oordeel vellen.

• De foto-experts zeggen: "Ik denk dat dit ernstig is."
• De getuige-expert zegt: "Ik denk ook dat dit ernstig is."

Vervolgens worden deze adviezen samengevoegd in een centraal kantoor (een laatste laag in het netwerk). Dit is als een vergadering waar iedereen zijn conclusie deelt, en een voorzitter (een simpele rekenmachine) het eindoordeel velt. Dit werkt beter dan het samenvoegen van de ruwe data, omdat de "experts" eerst hun eigen analyse hebben gedaan.

4. Waarom is dit zo goed? (De Test)

Ze hebben hun methode getest op een grote verzameling data van COVID-19-patiënten.

• Resultaat: Hun nieuwe methode deed het beter dan alle eerdere methoden die in de wereld beschikbaar waren.
• Robuustheid: Het belangrijkste is dat het systeem niet alleen goed werkt op de data waarmee het is getraind, maar ook op nieuwe, onbekende data van andere ziekenhuizen. Het is als een detective die niet alleen een specifieke zaak oplost, maar ook andere moorden kan oplossen zonder dat hij de regels moet veranderen.

5. Het "Zwarte Doos" Probleem: Waarom nam de computer deze beslissing?

Neural networks staan bekend als "zwarte dozen": je ziet het antwoord, maar niet waarom. Voor artsen is dat eng; ze willen weten of de computer kijkt naar de longen of naar een ruis in de foto.

De auteurs hebben een briljante truc bedacht om dit op te lossen:

• Omdat ze weten hoeveel "gewicht" elke detective in het team heeft (bijvoorbeeld: de foto-experts zijn samen 60% van het team, de getuige-expert 40%), kunnen ze kijken naar de belangrijkste details.
• Ze lieten zien dat de computer vooral keek naar ademnood en zuurstofgehalte in de bloedtesten, en naar specifieke vlekken op de longfoto's.
• Dit geeft artsen vertrouwen: "Oké, de computer kijkt naar dezelfde dingen als wij."

Samenvatting

Dit artikel is als een recept voor het maken van het ultieme COVID-19 voorspellingsmachine.
In plaats van te raden welke computerprogramma's je moet gebruiken, hebben de auteurs een systeem bedacht dat automatisch het beste team selecteert, zorgt voor diversiteit in het denken, en verantwoordelijk is door uit te leggen waarom het een bepaalde diagnose stelt.

Het is een stap in de richting van AI die niet alleen slim is, maar ook betrouwbaar en begrijpelijk voor artsen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes", geschreven in het Nederlands.

Probleemstelling

De COVID-19-pandemie heeft de noodzaak onderstreept om de progressie van de ziekte te voorspellen, niet alleen om het virus te detecteren. Deze taak is van nature multimodaal: het vereist de integratie van medische beeldvorming (zoals longfoto's of CXR) en klinische patiëntgegevens. Hoewel deep learning (DL) uitstekende prestaties levert op unimodale data, blijft de vraag open hoe men deze verschillende modaliteiten het beste moet combineren.

De huidige literatuur worstelt met drie fundamentele uitdagingen in multimodaal deep learning (MDL):

1. Wanneer moeten de modaliteiten worden samengevoegd? (Vroeg, laat of tussentijds).
2. Welke modellen en architecturen moeten worden gebruikt voor elke modaliteit?
3. Hoe moeten deze modellen worden gefuseerd om de beste representatie te krijgen?

Bestaande methoden vertrouwen vaak op handmatige, "handcrafted" keuzes voor de architectuur en fusie, wat niet noodzakelijk leidt tot het optimale ensemble. Daarnaast ontbreekt vaak transparantie (interpreteerbaarheid) over welke modaliteit of kenmerk het meest bijdraagt aan de voorspelling.

Methodologie

De auteurs stellen een nieuw, geautomatiseerd raamwerk voor dat een multimodaal end-to-end model optimaliseert door gebruik te maken van Pareto multi-objective optimalisatie. De methode bestaat uit vier hoofdblokken:

1. Unimodaal Leren:

   • Er worden meerdere deep learning-architecturen getraind voor elke modaliteit. Voor de beeldmodale (CXR) worden 30 verschillende CNN's gebruikt (o.a. ResNet, VGG, GoogLeNet, DenseNet). Voor de klinische data (tabellen) worden 4 verschillende MLP's (Multi-Layer Perceptrons) met variërende diepte gebruikt.
   • Dit creëert een pool van kandidaat-modellen ($\Gamma_I$).

2. Optimalisatie (Het "Welke" en "Wanneer"):

   • In plaats van handmatig de beste modellen te kiezen, lost het algoritme een multi-objectief optimalisatieprobleem op om de optimale subset $\Gamma^*$ te vinden.
   • De optimalisatie maximaliseert twee scores simultaan:
     1. Prestatie: De classificatie-accuraatheid (eval) op een validatieset.
     2. Diversiteit: Een maatstaf voor hoe verschillend de modellen de data interpreteren (diversity score), gebaseerd op de correlatie tussen de fouten van de modellen.
   • Dit wordt opgelost als een Pareto-optimum probleem, waarbij het doel is om zowel de nauwkeurigheid te maximaliseren als de diversiteit te maximaliseren (coincidente fouten minimaliseren). Modellen die niet bijdragen aan de taak worden automatisch verworpen.

3. Joint-Late Fusie (Het "Hoe"):

   • De geselecteerde modellen worden niet direct op ruwe data of features samengevoegd, maar via hun classificatievectoren (de output van de laatste laag).
   • Er wordt een "soft shared representation" gecreëerd door deze vectoren te concateneren. Dit combineert de voordelen van late fusie (onafhankelijk trainen van unimodale modellen) met joint fusie (end-to-end training van de fusie-laag).
   • Een Fully Connected (FC) neurale netwerklaag voert de daadwerkelijke integratie uit en levert de uiteindelijke voorspelling.

4. XAI (Explainable AI):

   • Om het model transparant te maken, wordt een gewogen XAI-benadering gebruikt.
   • De gewichten van de FC-laag (die aangeven hoe belangrijk elk unimodaal model is) worden gecombineerd met de output van XAI-algoritmen (zoals Grad-CAM voor beelden en Integrated Gradients voor tabulaire data).
   • Dit resulteert in een geïntegreerde visualisatie die aantoont welke modaliteit en welke specifieke kenmerken (pixels of klinische variabelen) de voorspelling het meest beïnvloeden.

Belangrijkste Bijdragen

• Geautomatiseerde Architectuurselectie: Een methode die algoritmisch bepaalt welke deep learning-architecturen per modaliteit het beste samengevoegd moeten worden, in plaats van op intuïtie te vertrouwen.
• Multi-Objective Optimalisatie: Een innovatieve aanpak die zowel prestatie als modeldiversiteit optimaliseert om robuuste en accurate ensembles te creëren.
• Joint-Late Fusie Strategie: Een bewezen effectieve fusiemethode die classificatievectoren combineert en end-to-end traint, wat superieur is aan traditionele late fusie (zoals stemming) of eenvoudige feature-concatenatie.
• Interpreteerbaarheid in MDL: Een raamwerk dat XAI toepast op multimodale systemen om een hiërarchie tussen modaliteiten en intra-modale kenmerken bloot te leggen, wat het vertrouwen in de voorspellingen vergroot.

Resultaten

De methode is getest op de AIforCOVID-dataset (820 patiënten) en gevalideerd op een externe dataset (283 patiënten).

• Prestaties: Het voorgestelde model (JLF-C-1) behaalde state-of-the-art resultaten met een accuraatheid van 79,75% in 10-voudige cross-validatie. Dit is significant beter dan de bestaande baselines (Handcrafted, Hybrid en End-to-End methoden uit eerdere studies).
• Robuustheid: Het model behield zijn prestaties goed bij externe validatie (LOCO en EV), wat aantoont dat het generaliseert naar nieuwe databronnen, in tegenstelling tot veel andere methoden die sterk in prestatie daalden.
• Statistische Significantie: De verbeteringen waren statistisch significant ten opzichte van late fusie met stemming (Majority Voting) en andere fusietechnieken (concatenatie en vermenigvuldiging van features).
• Optimale Configuratie: De optimalisatie selecteerde een combinatie van drie CNN's (GoogLeNet, VGG13-BN, ResNeXt50) en één MLP (MLP-2). De analyse toonde aan dat de beeldmodale (59%) een grotere bijdrage leverde dan de klinische data (41%), maar dat de klinische data essentieel was voor de uiteindelijke nauwkeurigheid.
• Interpretatie: De XAI-analyse bevestigde medische kennis: "moeite met ademhalen" en "lage zuurstofpercentages" waren de belangrijkste klinische factoren, en de CNN's focusten op relevante longgebieden.

Betekenis

Dit artikel biedt een cruciale stap voorwaarts in de toepassing van AI in de geneeskunde door het probleem van "hoe we multimodale data het beste combineren" te formaliseren en op te lossen.

1. Klinische Impact: Het biedt een betrouwbaar hulpmiddel voor artsen om de ernst van COVID-19 te voorspellen, wat helpt bij het triageren van patiënten.
2. Methodologische Vooruitgang: Het bewijst dat handmatige architectuurkeuzes overbodig kunnen worden gemaakt door middel van multi-objective optimalisatie, wat leidt tot betere en diversere ensembles.
3. Vertrouwen: Door de integratie van XAI wordt het "black box"-probleem van deep learning aangepakt, wat essentieel is voor de adoptie van AI in kritieke medische beslissingen.

De auteurs concluderen dat hun aanpak niet alleen de huidige state-of-the-art verbetert, maar ook een blauwdruk biedt voor het bouwen van geoptimaliseerde, interpreteerbare multimodale systemen voor andere medische toepassingen.