Challenges and proposed solutions in modeling multimodal medical data: A systematic review

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen, aber anstatt nur eines Kartons mit Teilen haben Sie mehrere Kartons. Ein Karton enthält farbenfrohe Bilder (wie medizinische Scans), ein anderer enthält lange Listen von Zahlen (wie genetische Codes), ein dritter hält tägliche Tagebucheinträge (wie Patientenakten) und ein vierter enthält Daten von einer Smartwatch (wie die Herzfrequenz). In der Welt der medizinischen Wissenschaft nennt man das multimodale Daten. „Multi“ bedeutet viele, und „modal“ bezieht sich auf die verschiedenen Arten oder „Modi“ der Informationen. Ärzte haben schon immer gewusst, dass es so ist, als würde man versuchen, einen ganzen Film zu verstehen, indem man nur ein einzelnes Bild betrachtet, wenn man nur eine Art von Information nutzt – wie etwa nur das Röntgenbild oder nur den Bluttest. Um die ganze Geschichte der Gesundheit eines Patienten zu verstehen, muss man all diese verschiedenen Teile kombinieren.

Das Zusammenmischen dieser verschiedenen Puzzle-Kartons ist jedoch unglaublich schwierig. Die Teile passen nicht natürlich zusammen; sie haben unterschiedliche Formen, Größen und Farben. Einige Kartons fehlen Teile vollständig, manche haben tausende winzige Teile, während andere nur wenige haben, und manchmal sind die Teile so klein oder das Bild so verschwommen, dass es schwer ist zu erkennen, was vor sich geht. Dies ist das Problem, das Wissenschaftler im Bereich der Künstlichen Intelligenz (KI) zu lösen versuchen. Sie bauen Computerprogramme, die lernen können, diese verschiedenen Puzzle-Kartons zusammenzusetzen, um Ärzten helfen zu können, bessere Entscheidungen zu treffen. Aber bevor sie den perfekten Roboter-Puzzle-Löser bauen können, müssen sie herausfinden, wie sie mit dem Chaos der realen Welt umgehen.

Dieser Artikel ist ein riesiges „Zeugnis“ für das letzte Jahrzehnt des Versuchs, dieses Puzzle zu lösen. Die Autoren, ein Team von Forschern aus Universitäten in Deutschland, haben nicht selbst einen neuen Roboter gebaut. Stattdessen handelten sie wie Detektive, die 69 verschiedene Studien jagten, die zwischen 2011 und Ende 2023 veröffentlicht wurden. Sie haben jede einzelne gelesen, um herauszufinden, mit welchen Problemen diese Wissenschaftler konfrontiert waren, wenn sie versuchten, medizinische Daten zu mischen, und vor allem, welche Tricks sie anwandten, um diese Probleme zu lösen. Sie wollten wissen: Was sind die größten Kopfschmerzen in diesem Bereich, und werden wir besser darin, sie zu lösen?

Die fünf großen Kopfschmerzen

Nachdem sie hunderte von Papieren sortiert hatten, stellten die Forscher fest, dass fast alle gegen dieselben fünf Schlachten kämpften.

1. Das Problem der fehlenden Teile
Stellen Sie sich vor, Sie versuchen das Puzzle zu lösen, aber für einige Patienten ist der „Röntgen“-Karton komplett leer. Vielleicht war die Maschine kaputt, der Patient konnte sich den Test nicht leisten oder er ist aus der Studie ausgestiegen. In der realen Welt passiert das ständig. Die Arbeit fand heraus, dass 15 von den 69 Studien (etwa 22 %) mit diesem Problem konfrontiert waren.

• Die Lösung: Anstatt einfach nur zu raten oder die Stelle leer zu lassen, lernen intelligente Computerprogramme, das fehlende Teil zu „halluzinieren“. Sie nutzen Techniken wie Generative Adversarial Networks (GANs), was wie zwei KI-Künstler ist, die ein Spiel spielen: Einer versucht, ein gefälschtes Röntgenbild zu zeichnen, das echt aussieht, und der andere versucht, das Gefälschte zu entlarven. Durch diese Praxis lernt die KI, eine realistische Vermutung für die fehlenden Daten zu erstellen. Andere Methoden nutzen Knowledge Distillation (Wissensdestillation), bei der eine „Lehrer“-KI, die alles über eine Art von Daten weiß, einer „Schüler“-KI beibringt, wie sie den Rest errät, selbst wenn sie nicht alle Teile gesehen hat.

2. Das Problem der winzigen Menge
Manchmal haben Sie ein Puzzle, aber Sie haben nur eine Handvoll Menschen, die Ihnen helfen. In der medizinischen Forschung nennt man das einen kleinen Datensatz. Die Arbeit fand heraus, dass dies die häufigste Herausforderung war, die in 17 Studien (25 %) auftauchte. Wenn Sie versuchen, einem Computer beizubringen, eine seltene Krankheit anhand von nur fünf Beispielen zu erkennen, wird er wahrscheinlich einfach diese fünf Bilder auswendig lernen und scheitern, wenn er ein neues sieht.

• Die Lösung: Um dies zu umgehen, nutzen Forscher Transfer Learning (Transferlernen). Dies ist so, als würde man einen Studenten nehmen, der bereits eine Million Stunden über allgemeine Bilder (wie Katzen und Autos) studiert hat, und ihm einen kurzen Crashkurs zu medizinischen Bildern geben. Sie verwenden auch Data Augmentation (Datenaugmentation), wobei der Computer die wenigen Bilder, die er hat, künstlich dreht, spiegelt oder aufhellt, um „neue“ Übungsbilder zu erstellen, wodurch sich die winzige Menge wie ein riesiges Stadion anfühlt.

3. Das Problem der Größenunterschiede
Stellen Sie sich vor, Sie versuchen, einen Eimer Sand mit einem einzelnen Reiskorn zu mischen. Der Eimer Sand repräsentiert die Bildgebungsdaten (die Millionen von Pixeln haben können), und das Reiskorn repräsentiert die Genomdaten (die vielleicht nur ein paar tausend Zahlen haben). Wenn Sie sie einfach zusammenkippen, wird der Computer den Reis ignorieren und nur den Sand betrachten. Dies nennt man Imbalance in Dimensionality (Ungleichgewicht in der Dimensionalität), und 7 Studien befassten sich damit.

• Die Lösung: Die Lösung besteht darin, den Eimer Sand auf die Größe des Reises zu schrumpfen oder dem Reis ein spezielles „Gewicht“ zu geben, damit der Computer auf ihn achtet. Forscher verwenden Weighted Loss Functions (gewichtete Verlustfunktionen), was wie ein Schiedsrichter ist, der ruft: „Hey, ignoriere die kleinen Daten nicht! Sie sind wichtig!“ Dies zwingt den Computer, sowohl die riesigen Bilder als als auch die winzigen genetischen Listen gleichermaßen zu beachten.

4. Das „Black Box“-Problem
Selbst wenn der Computer das Puzzle perfekt löst, weigert er sich oft zu erklären, wie er es gemacht hat. In der Medizin ist das gefährlich. Wenn ein Computer sagt: „Dieser Patient hat Krebs“, aber dem Arzt nicht sagen kann, warum, kann der Arzt ihm nicht vertrauen. Dieser Mangel an Interpretierbarkeit war eine Herausforderung in 14 Studien.

• Die Lösung: Wissenschaftler bauen „Taschenlampen“ für die KI. Sie verwenden Werkzeuge wie Grad-CAM und SHAP, die genau hervorheben, auf welche Teile eines Röntgenbildes oder auf welche spezifischen Gene die KI geschaut hat, um ihre Entscheidung zu treffen. Es ist, als würde der Computer einen Kreis um die verdächtige Stelle auf dem Röntgenbild ziehen und sagen: „Ich habe das gesehen, deshalb habe ich mich so entschieden.“

5. Das Problem der Mischstrategie
Schließlich stellt sich die Frage, wie die Daten gemischt werden sollen. Soll man die Rohdaten zuerst zusammenmischen (Early Fusion), die Daten mischen, nachdem sie teilweise gelöst wurden (Intermediate Fusion), oder die Antworten separat lösen und am Ende kombinieren (Late Fusion)? Die Arbeit fand heraus, dass 39 von 69 Studien (mehr als die Hälfte) Intermediate Fusion verwendeten.

• Die Lösung: Dieser Ansatz ist wie ein Team von Spezialisten. Der Röntgen-Experte und der Bluttest-Experte studieren jeweils zuerst ihre eigenen Hinweise, und dann treffen sie sich in der Mitte, um ihre Notizen zu vergleichen, bevor sie eine endgültige Entscheidung treffen. Dies scheint besser zu funktionieren, als alles am Anfang zu mischen oder erst ganz am Ende zu kombinieren.

Was die Arbeit sagt (und was sie nicht sagt)

Die Autoren sind vorsichtig damit, einen totalen Sieg zu erklären. Sie fanden heraus, dass es zwar viele kluge Tricks gibt, aber keine einzelne Methode das „Wundermittel“ ist, das für jede Krankheit oder jede Art von Daten funktioniert. Die beste Lösung hängt völlig von dem spezifischen Puzzle ab, das man lösen möchte.

Sie schlossen auch einige Ideen explizit aus. Sie merkten zum Beispiel an, dass das einfache Aneinanderfügen aller Daten ohne Berücksichtigung der Unterschiede (eine Methode namens „Early Fusion“) oft scheitert, wenn die Datentypen zu verschieden sind, wie etwa das Mischen eines Videos mit einer Tabellenkalkulation. Sie wiesen auch darauf hin, dass viele Studien auf öffentliche Datensätze zurückgreifen (wie die Alzheimer's Disease Neuroimaging Initiative, die in 18 Studien verwendet wurde, oder die Cancer Genome Atlas, die in 8 Studien verwendet wurde). Obwohl diese großartig zum Testen sind, legt die Arbeit nahe, dass eine zu starke Abhängigkeit von ihnen bedeuten könnte, dass wir unsere Ideen nicht an den unordentlichen, realen Daten in tatsächlichen Krankenhäusern testen.

Darüber hinaus hebt die Arbeit eine besorgniserregende Lücke hervor: Nur 19 von 69 Studien (27,5 %) teilten sowohl ihre Daten als auch ihren Computercode. Das bedeutet, dass für die meisten dieser klugen Lösungen andere Wissenschaftler die Arbeit nicht einfach überprüfen oder darauf aufbauen können. Die Autoren schlagen vor, dass das Feld offener sein muss, etwa indem man ein Rezept teilt, anstatt nur den fertigen Kuchen.

Das Fazit

Dieser Review deutet darauf hin, dass wir Fortschritte machen, aber der Weg ist noch holprig. Die häufigsten Probleme sind fehlende Daten und nicht genügend Beispiele, um daraus zu lernen. Die vielversprechendsten Werkzeuge derzeit beinhalten das Beibringen an Computer, fehlende Teile zu erraten, Wissen aus anderen Aufgaben zu entlehnen und „Taschenlampen“ zu verwenden, um zu sehen, wie sie denken.

Die Arbeit kommt zu dem Schluss, dass es in der Zukunft nicht darum geht, einen perfekten Algorithmus zu finden. Stattdessen geht es darum, flexible Systeme zu bauen, die mit fehlenden Teilen umgehen können, mit kleinen Gruppen arbeiten können und ihre Argumentation erklären können. Wie die Autoren sagen, ist das Ziel, von bloßem „Modelle bauen“ zu Modellen zu gelangen, die robust, vertrauenswürdig und bereit sind, echten Ärzten in echten Krankenhäusern zu helfen. Bis dahin bleibt das Puzzle eine laufende Arbeit, aber wir werden definitiv besser darin, die Teile zu finden.