$\Delta$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

In der stillen Untermalung einer radiologischen Abteilung eines Krankenhauses studiert ein Arzt eine CT-Aufnahme und sucht nach dem subtilen Unterschied zwischen einer gesunden Lunge und einer kranken. Für das menschliche Auge beruht diese Aufgabe auf jahrelanger Ausbildung, um zu erkennen, wie eine spezifische Krankheit das Aussehen von normalem Gewebe verändert. In den letzten Jahren haben Computer begonnen, dieselbe Fähigkeit durch KI-Systeme zu erlernen, die als Vision-Language-Modelle bekannt sind. Diese Systeme werden darauf trainiert, medizinische Bilder zu betrachten und klinische Texte zu lesen, wobei sie lernen, das Gesehene mit dem Geschriebenen zu verknüpfen. Das Ziel ist es, einen digitalen Assistenten zu schaffen, der Ärzte bei der Interpretation von Scans, dem Aufspüren von Anomalien und der Erstellung von Berichten unterstützen kann. Eine erhebliche Hürde bleibt jedoch bestehen: Diese Computermodelle haben oft Schwierigkeiten zu verstehen, dass eine Krankheit kein separates Objekt ist, das im Körper schwebt, sondern vielmehr eine Veränderung, die am normalen Körper stattfindet. Sie sehen das Bild als Ganzes, haben aber Schwierigkeiten, genau zu isolieren, wie sich eine Läsion oder ein geschädigter Bereich vom gesunden Gewebe unterscheidet, das sie umgibt. Ohne dieses präzise Verständnis erkennt der Computer zwar vielleicht, dass etwas nicht stimmt, kann aber nicht zuverlässig erklären, was genau falsch ist oder wo es mit der Präzision liegt, die ein Arzt benötigt.

Ein Forschungsteam hat einen neuen Weg vorgeschlagen, wie man diese Computermodelle lehren kann – ein Weg, der sich auf das Konzept der Veränderung konzentriert, anstatt nur auf das fertige Bild. Sie nennen ihren Ansatz eine Methode zum Erlernen visueller Repräsentationen durch kontrafaktisches Denken. Vereinfacht ausgedrückt: Anstatt dem Computer nur ein Bild einer kranken Lunge zu zeigen und ihn nach der Krankheit zu fragen, bringen die Forscher dem Computer bei, sich vorzustellen, wie dieser spezifische Fleck aussehen würde, wenn er gesund wäre. Das System lernt zuerst eine detaillierte Karte darüber, wie gesunde Körperteile im Raum angeordnet sind, und versteht, dass das Herz in einer bestimmten Beziehung zu den Lungen steht und dass Blutgefäße einem kontinuierlichen Pfad folgen. Sobald diese Karte der normalen Anatomie etabliert ist, betrachtet der Computer einen erkrankten Bereich und stellt eine hypothetische Frage: „Wenn dieser Fleck normal wäre, wie sähe er dann aus?“ Durch den Vergleich des tatsächlichen Bildes des kranken Gewebes mit dieser vorgestellten gesunden Version berechnet das System die spezifische Differenz. Diese Differenz, oder das „Inkrement“ der Veränderung, wird zum Schlüssel zur Identifizierung der Krankheit. Die Forscher fanden heraus, dass der Computer durch die Konzentration auf diese Lücke zwischen dem realen und dem vorgestellten gesunden Zustand viel besser darin wird, genau zu bestimmen, wo ein Problem liegt und exakt zu beschreiben, um welche Art von Problem es sich handelt.

Die Methode baut auf zwei unterschiedlichen Schritten auf. Zuerst durchläuft das System eine Trainingsphase, in der es die Geometrie des menschlichen Körpers ohne Vorhandensein von Krankheiten lernt. Es wird mit tausenden Bildern gesunder Anatomie konfrontiert und darauf trainiert, sein internes Verständnis dieser Strukturen so anzuordnen, dass die räumlichen Beziehungen der Realität entsprechen. Wenn das Modell weiß, wo die linke Lunge im Verhältnis zur rechten Lunge liegen sollte und wie das Gewebe innerhalb eines einzelnen Organs kontinuierlich fließt, baut es einen stabilen Referenzpunkt auf. Dies ist entscheidend, da es dem Computer eine zuverlässige Basis gibt. Im zweiten Schritt stößt das System auf Bilder, die Läsionen enthalten, wie etwa Knoten oder Bereiche von Entzündungen. Für jedes Stück erkranktes Gewebe nutzt das System sein Wissen über die gesunde Anatomie, um abzuschätzen, wie dieses Stück aussehen würde, wenn es nicht erkrankt wäre. Es subtrahiert dann diese geschätzte gesunde Version vom tatsächlichen kranken Bild. Das Ergebnis ist ein klares Signal, das nur die pathologische Veränderung hervorhebt und das Hintergrundrauschen der normalen Anatomie entfernt. Dies ermöglicht es dem Modell zu lernen, dass ein „pulmonaler Knoten“ nicht einfach eine zufällige Form ist, sondern eine spezifische Art visueller Veränderung im Verhältnis zum normalen Lungengewebe.

Um diese Idee zu testen, wandten die Forscher ihre Methode auf mehrere bestehende medizinische KI-Modelle an und evaluierten sie anhand von zwei großen öffentlichen Datensätzen, die Brust-CT-Scans enthielten. Ein Datensatz umfasste über zweitausend Bilder mit detaillierten Notizen zu vier spezifischen Arten von Lungenerkrankungen, während der andere hunderte Scans mit Expertenannotationen für Lungenknoten enthielt. Die Ergebnisse zeigten eine dramatische Verbesserung der Fähigkeit der Modelle, zwei kritische Aufgaben auszuführen: die genaue Position einer Läsion auf dem Scan zu lokalisieren und den Typ der Erkrankung korrekt zu identifizieren. Beispielsweise sprang bei einem der getesteten Modelle die Genauigkeit, den genauen Ort eines Problems zu bestimmen, von etwa zehn Prozent auf über fünfzig Prozent. Ähnlich verhielt es sich bei der Genauigkeit der Identifizierung des spezifischen Krankheitstyps, die in einigen Fällen um mehr als das Dreifache stieg. Die Forscher beobachteten, dass die Fähigkeit des Systems, zwischen verschiedenen Arten von Zuständen zu unterscheiden, immer schärfer wurde, je mehr Beispiele von erkranktem Gewebe es erhielt – ganz ähnlich wie ein Student, der lernt, den Unterschied zwischen ähnlich aussehenden Vögeln zu erkennen, nachdem er viele weitere Exemplare gesehen hat.

Die Studie zeigte auch, dass dieser Ansatz gut funktioniert, selbst wenn der Computer gebeten wird, vollständige schriftliche Berichte über die Scans zu erstellen, eine Aufgabe, die als radiologische Berichtserstellung bekannt ist. In diesen Tests waren die mit der neuen Methode ausgestatteten Modelle in der Lage, Berichte zu erstellen, die nicht nur in ihrer Beschreibung genauer waren, sondern auch besser in der Lage waren, diese Beschreibungen mit den korrekten Teilen des Bildes zu verknüpfen. In einer spezifischen Fallstudie versäumte es ein Standardmodell, eine Milchglasoptik – eine subtile Trübung der Lunge – zu bemerken, und berichtete, dass der Scan normal sei. Das Modell, welches die neue Methode nutzte, identifizierte die Anomalie jedoch korrekt, beschrieb ihre Textur und Form und vermerkte deren Lage im unteren Teil der Lunge. Dieser Erfolg deutet darauf an, dass das System durch die Lehre des normalen Körperlayouts und die anschließende Messung der Abweichung von diesem Layout ein tieferes, zuverlässigeres Verständnis von Krankheiten gewinnt. Die Forscher kamen zu dem Schluss, dass diese Lernweise, die das Normale vom Abnormalen durch einen Vergleichsprozess trennt, ein mächtiges Werkzeug zur Verbesserung der Interpretation medizinischer Bilder durch künstliche Intelligenz darstellt, was in Zukunft zu genaueren Diagnosen und besserer Unterstützung für Ärzte führen kann.