Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes

Diese Arbeit stellt einen neuartigen Ansatz vor, der eine Pareto-Multi-Objektiv-Optimierung nutzt, um den optimalen Zeitpunkt, die Auswahl und die Methode zur Fusion multimodaler Deep-Learning-Modelle (Röntgenbilder und klinische Daten) zur Vorhersage von COVID-19-Verläufen zu bestimmen, wodurch sowohl state-of-the-art-Ergebnisse als auch eine verbesserte Erklärbarkeit erreicht werden.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschungsarbeit auf Deutsch:

🏥 Das große Rätsel: Wie wird der Patient krank?

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden muss, wie schwer ein COVID-19-Patient erkrankt ist. Sie haben zwei verschiedene Werkzeuge:

1. Ein Foto (Röntgenbild): Es zeigt, wie die Lunge aussieht (wie ein Foto von einem verstauchten Knöchel).
2. Ein Fragebogen (Klinische Daten): Es sind Zahlen und Fakten wie Sauerstoffgehalt im Blut oder Atemnot.

Früher haben Computer-Programme (Künstliche Intelligenz) oft nur eines dieser Werkzeuge benutzt. Das war wie ein Detektiv, der nur Fotos anschaut und den Fragebogen ignoriert – oder umgekehrt. Das funktioniert nicht gut genug.

🤝 Das Problem: Das perfekte Team finden

Die Forscher stellten sich drei schwierige Fragen:

• Wann sollen wir die Informationen zusammenführen? (Gleich am Anfang oder erst am Ende?)
• Welche Computer-Programme (Neuronale Netze) sollen wir benutzen? (Es gibt hunderte verschiedene Arten von KI-Modellen).
• Wie sollen wir sie verbinden?

Bisher haben Experten das oft „aus dem Bauch heraus" entschieden (wie beim Kochen ohne Rezept). Das Ergebnis war oft nicht das Beste.

🧩 Die Lösung: Ein intelligenter Baumeister

Die Autoren dieser Studie haben einen neuen, cleveren Baumeister entwickelt. Dieser Baumeister nutzt eine Multi-Objektiv-Optimierung.

Die Analogie des Orchesters:
Stellen Sie sich vor, Sie wollen das perfekte Orchester für ein Konzert zusammenstellen.

• Sie haben viele verschiedene Geigenspieler (verschiedene KI-Modelle für Röntgenbilder).
• Sie haben viele verschiedene Cellisten (verschiedene KI-Modelle für klinische Daten).
• Die meisten Dirigenten würden einfach den besten Geiger und den besten Cellisten nehmen und hoffen, dass es klappt.

Der neue Ansatz:
Unser „Baumeister" (die neue Methode) probiert tausende Kombinationen aus. Aber er sucht nicht nur nach den besten Solisten. Er sucht nach einer Gruppe, die unterschiedlich denkt (Diversität).

• Wenn alle Geiger genau denselben Fehler machen, hilft das Orchester nicht weiter.
• Der Baumeister sucht also nach einer Mischung, bei der die Geiger und Cellisten sich gegenseitig ergänzen und unterschiedliche Fehler machen. So wird das Endergebnis robuster.

Er nutzt einen mathematischen Trick (Pareto-Optimierung), um den „Sweet Spot" zu finden: Ein Team, das sowohl sehr gut im Erkennen ist als auch sehr vielfältig in seiner Denkweise.

🚀 Das Ergebnis: Der Gewinner-Algorithmus

Was hat der Baumeister gefunden?
Er hat ein Team zusammengestellt, das aus drei verschiedenen KI-Modellen für die Bilder und einem Modell für die klinischen Daten besteht.

• Diese Modelle werden nicht einfach nebeneinander gestellt, sondern ihre „Meinungen" (die Klassifizierung) werden am Ende zusammengeführt.
• Das System lernt dabei, wie wichtig jedes einzelne Modell für das Endergebnis ist.

Das Ergebnis:
Dieses neue System ist besser als alle bisherigen Methoden. Es ist so robust, dass es auch funktioniert, wenn man es mit Daten von ganz anderen Krankenhäusern testet (die es vorher noch nie gesehen hat).

🔍 Der Lichtschalter: Warum vertrauen wir dem Computer?

Ein großes Problem bei KI ist, dass sie oft eine „Black Box" ist. Man weiß nicht, warum sie eine Entscheidung trifft.
Die Forscher haben hier einen cleveren Trick angewendet:
Da sie wissen, wie wichtig jedes einzelne Modell im Team ist (z. B. das Röntgen-Modell ist zu 60 % verantwortlich, das klinische zu 40 %), können sie auch erklären, was gesehen wurde.

• Bei den Bildern: Sie können zeigen, welche Stellen auf dem Röntgenbild (z. B. bestimmte Flecken in der Lunge) am wichtigsten waren.
• Bei den Daten: Sie können zeigen, welche klinischen Werte (z. B. Sauerstoffgehalt) am meisten zur Entscheidung beigetragen haben.

Das ist wie wenn der Detektiv nicht nur sagt: „Der Täter ist X", sondern auch zeigt: „Ich habe ihn erkannt, weil er diesen Hut trug (Bild) und weil er bei der Tatzeit im Park war (Daten)."

🎯 Fazit in einem Satz

Die Forscher haben einen intelligenten Algorithmus entwickelt, der automatisch das perfekte Team aus verschiedenen KI-Modellen zusammenstellt, um COVID-19-Patienten besser zu diagnostizieren – und dabei auch noch erklären kann, warum er zu diesem Ergebnis kommt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Multi-objective optimization determines when, which and how to fuse deep networks: an application to predict COVID-19 outcomes" auf Deutsch:

1. Problemstellung

Die Vorhersage des Verlaufs von COVID-19-Erkrankungen (Stratifizierung in mild vs. schwer) ist eine inhärent multimodale Aufgabe, die sowohl medizinische Bilddaten (hier: Röntgen-Thorax-Aufnahmen, CXR) als auch klinische Daten (tabellarische Patientendaten) erfordert.
Das Hauptproblem in der aktuellen Forschung liegt in der multimodalen Deep Learning (MDL)-Praxis:

• Die meisten Modelle betrachten nur unimodale Daten oder nutzen einfache, manuell entworfene Fusionsstrategien.
• Es gibt keine automatisierte Methode, um die drei kritischen Fragen zu beantworten:
  1. Wann sollen die Modalitäten fusioniert werden? (Frühe, späte oder intermediate Fusion).
  2. Welche Modelle und Architekturen sollten für jede Modalität ausgewählt werden?
  3. Wie sollen diese Modelle am besten kombiniert werden?
• Herkömmliche Ansätze basieren oft auf „Trial-and-Error" oder heuristischen Entscheidungen, was nicht notwendigerweise zur optimalen Ensemble-Architektur führt. Zudem fehlt oft die Interpretierbarkeit (Explainability), um zu verstehen, welche Modalität oder welche Merkmale zur Entscheidung beigetragen haben.

2. Methodik

Die Autoren stellen einen neuartigen, end-to-end multimodalen Ansatz vor, der auf Pareto-Multi-Objective-Optimierung basiert, um die optimale Kombination von neuronalen Netzen automatisch zu finden.

A. Unimodales Lernen und Suchraum

• Es werden $m$ Modalitäten (CXR und klinische Daten) und $n$ verschiedene neuronale Netzwerkarchitekturen betrachtet.
• Für CXR werden 30 verschiedene CNN-Architekturen (z. B. VGG, ResNet, GoogLeNet, DenseNet) verwendet.
• Für klinische Daten werden 4 verschiedene MLP-Architekturen (Fully Connected Networks) mit unterschiedlicher Tiefe verwendet.
• Ein Anwendungsmatrix $\Theta$ definiert, welche Modelle welche Modalitäten verarbeiten.

B. Multi-Objective-Optimierung (Die Kerninnovation)

Anstatt manuell die besten Modelle auszuwählen, wird ein Optimierungsproblem gelöst, um die beste Teilmenge $\Gamma^*$ von Modellen zu finden. Das Ziel ist die Maximierung zweier Metriken auf einem Validierungsdatensatz:

1. Leistungsmetrik ($eval(\Gamma_I)$): Basierend auf der Konfusionsmatrix (hier: Genauigkeit/Accuracy).
2. Diversitätsmetrik ($div(\Gamma_I)$): Misst die Vielfalt der Vorhersagen der einzelnen unimodalen Modelle (basierend auf dem Korrelationskoeffizienten $\rho$ zwischen den Klassifizierern).

• Ziel: Ein Pareto-Optimum finden, das sowohl hohe Klassifikationsleistung als auch hohe Diversität (Vermeidung korrelierter Fehler) gewährleistet.
• Falls eine Modalität für die Aufgabe nutzlos ist, werden die entsprechenden Netzwerke durch den Optimierungsprozess automatisch verworfen.

C. Joint-Late Fusion (Fusionsstrategie)

Sobald die optimale Menge $\Gamma^*$ gefunden ist, werden die Modelle fusioniert:

• Joint-Late Fusion: Die Klassifikationsvektoren (Softmax-Ausgaben) der ausgewählten unimodalen Modelle werden zu einem gemeinsamen Vektor konkateniert.
• Dieser Vektor wird in einen Fully Connected (FC) Layer eingespeist, der die endgültige Klassifizierung durchführt.
• Das gesamte System wird end-to-end trainiert (Backpropagation durch alle Komponenten), was eine Optimierung der Fusionsebene ermöglicht.
• Es werden zwei Varianten der Repräsentation getestet: „Soft" (Wahrscheinlichkeiten) und „Crisp" (binäre Labels).

D. Explainable AI (XAI)

Um das „Black-Box"-Problem zu lösen, wird eine gewichtete XAI-Methode vorgeschlagen:

• Die Gewichte der FC-Schicht, die von den Klassifikationsvektoren kommen, geben Aufschluss über die relative Wichtigkeit jedes Modells und jeder Modalität.
• Diese Gewichte werden genutzt, um die Erklärungen einzelner XAI-Algorithmen (z. B. Grad-CAM für Bilder, Integrated Gradients für tabellarische Daten) zu gewichten und zu aggregieren.
• Dies ermöglicht eine hierarchische Darstellung der Wichtigkeit sowohl zwischen den Modalitäten als auch innerhalb einer Modalität (z. B. welches CNN ist am wichtigsten?).

3. Experimentelles Setup

• Datensatz: Der öffentlich zugängliche AIforCOVID-Datensatz (820 Patienten, 6 Zentren) mit CXR-Scans und 34 klinischen Parametern. Ein externer Validierungsdatensatz (283 Patienten aus 2 neuen Zentren) wurde für die Robustheitsprüfung verwendet.
• Validierung: 10-fache stratifizierte Kreuzvalidierung (CV), Leave-One-Center-Out (LOCO) und externe Validierung (EV).
• Vergleichspartner: Baseline-Modelle aus der Literatur (Handcrafted, Hybrid, End-to-End nach Soda et al.), einfache Mehrheitsabstimmung (Late Fusion), sowie klassische Fusionsmethoden (Konkatenation, Multiplikation).

4. Ergebnisse

• Optimale Architektur: Der Algorithmus wählte automatisch eine Kombination aus 3 CNNs (GoogLeNet, VGG13-BN, ResNeXt50) und 1 MLP (MLP-2) als optimale Menge $\Gamma^*$.
• Leistung:
  • Der vorgeschlagene Ansatz (JLF-C-1) erreichte eine Genauigkeit von 79,75 % (CV), 77,86 % (LOCO) und 77,61 % (EV).
  • Dies übertrifft signifikant alle Baseline-Modelle (Soda et al.) und andere Fusionsmethoden (Late Fusion, einfache Konkatenation).
  • Die Methode ist robust gegenüber externen Daten (geringer Leistungsabfall bei LOCO und EV im Vergleich zu anderen Modellen).
• Fusionszeitpunkt: Die Ergebnisse zeigen, dass die End-to-End-Optimierung der Fusionsebene (Joint-Late) besser ist als eine reine späte Fusion (Nur FC-Layer-Training auf festen Klassifikationen).
• Interpretierbarkeit:
  • Die XAI-Analyse ergab, dass die Bildmodalität (59 %) insgesamt wichtiger ist als die klinischen Daten (41 %), obwohl das einzelne klinische Modell (MLP-2) eine hohe individuelle Wichtigkeit hatte.
  • Innerhalb der Bildmodelle zeigte VGG13-BN die höchste relative Wichtigkeit (44 %).
  • Die wichtigsten klinischen Merkmale waren „Atemnot" und „Sauerstoffsättigung im Blut", was medizinisch plausibel ist.

5. Bedeutung und Beiträge

• Automatisierte Architektursuche: Der Paper liefert einen algorithmischen Weg, um nicht nur ob, sondern welche und wie viele Modelle pro Modalität fusioniert werden sollen, anstatt auf manuelle Auswahl angewiesen zu sein.
• Diversitätsbasierte Optimierung: Die Einbeziehung der Diversität als Zielfunktion stellt sicher, dass das Ensemble robust gegen gemeinsame Fehler ist.
• State-of-the-Art Ergebnisse: Die Methode erzielt neue Bestwerte für die COVID-19-Prognose auf dem AIforCOVID-Datensatz und ist robust gegenüber externen Validierungen.
• Transparenz: Durch die Integration von gewichteter XAI wird das Vertrauen in die Vorhersagen erhöht, indem die Entscheidungsfindung auf Ebene der Modalitäten und Merkmale nachvollziehbar gemacht wird.
• Allgemeine Anwendbarkeit: Der Ansatz ist nicht auf COVID-19 beschränkt, sondern stellt ein Framework für jedes multimodale medizinische Klassifikationsproblem dar.

Zusammenfassend adressiert das Paper die offenen Fragen des „Wann, Welche und Wie" der multimodalen Fusion durch eine Pareto-Optimierung und demonstriert, dass eine automatisierte, diversitätsbewusste Kombination heterogener Deep-Learning-Modelle zu robusteren und interpretierbareren Ergebnissen führt als herkömmliche Ansätze.