RadPRISM: Schema-stratified radiology-report supervision for concept-disentangled image representations and visual grounding

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, die Welt zu verstehen, indem Sie ihm Bilder zeigen und Geschichten über sie lesen. Dies ist das Herzstück des „Vision-Language“-Lernens, eines Zweigs der künstlichen Intelligenz, bei dem Maschinen versuchen, das, was sie sehen, mit dem zu verknüpfen, was sie lesen. Lange Zeit haben Wissenschaftler diese Computer mit einem „Einheitsansatz“ unterrichtet: Sie zeigten dem Computer das Bild einer Thorax-Röntgenaufnahme und den gesamten Text des ärztlichen Berichts und baten den Computer, zu lernen, wie diese beiden als ein einziger, riesiger Informationsblock zusammenpassen. Es ist, als würde man versuchen, eine neue Sprache zu lernen, indem man gleichzeitig einen ganzen Roman hört und ein Bild einer einzelnen Szene sieht, in der Hoffnung, dass der Computer magisch herausfindet, welches Wort zu welchem Teil des Bildes gehört. Während dies für allgemeine Aufgaben ganz gut funktioniert, ist es unordentlich, wenn man spezifische Details finden muss. Wenn ein Arzt schreibt: „Das Herz ist groß, aber die Lungen sind klar“, könnte der Computer verwirrt darüber werden, welcher Teil des Bildes zum Herzen und welcher zu den Lungen gehört. Dieser Mangel an Präzision macht es schwierig für Ärzte, der KI zu vertrauen, da sie nicht einfach sehen können, warum der Computer eine bestimmte Entscheidung getroffen hat oder auf genau die Stelle hinweisen kann, an der er ein Problem gesehen hat.

Hier kommt das neue Paper, RadPRISM, ins Spiel. Die Forscher wollten einen smarteren Weg entwickeln, um Computern beizubringen, medizinische Berichte zu lesen und Röntgenbilder zu betrachten. Anstatt den gesamten Bericht als einen großen Textklumpen zu behandeln, entschieden sie sich dafür, ihn in winzige, spezifische Stücke zu zerlegen, so als würde man einen unordentlichen Werkzeugkasten in separate Schubladen für Hämmer, Schraubendreher und Schlüssel trennt. Sie entwickelten ein System, das den Freitext-Bericht eines Arztes nimmt, ein leistungsstarkes KI-Sprachwerkzeug nutzt, um die spezifischen Sätze zu finden, die bestimmte Dinge beschreiben (wie „ein gebrochener Knochen“ oder „Flüssigkeit in der Lunge“), und dann den Computer lehrt, nur nach genau dieser spezifischen Sache im Bild zu suchen. Stellen Sie sich das wie das Geben einer Lupe für jedes spezifische medizinische Konzept vor, anstatt eines Weitwinkelobjektivs für das gesamte Bild. Das Ergebnis ist ein Computer, der nicht nur sagt „irgendetwas ist falsch“; er kann genau auf die Stelle zeigen, an der das Problem liegt, und es mit derselben beschreibenden Sprache erklären, die ein menschlicher Arzt verwenden würde – und das alles, ohne dass ein Mensch während des Trainings jedes einzelne Problem mit Kästchen umranden muss.

Die große Idee: Den Werkzeugkasten sortieren

Das Team unter der Leitung von Fabian Drexel und Kollegen von der Technischen Universität München erkannte, dass bisherige KI-Modelle wie Studenten waren, die versuchten, eine ganze Bibliothek auf einmal auswendig zu lernen. Sie lernten zwar, dass „Pneumonie“ und „Flüssigkeit“ beide schlechte Dinge in der Lunge sind, aber sie hatten Schwierigkeiten, die Details sauber zu trennen. Wenn ein Bericht sagte: „Es befindet sich Flüssigkeit auf der linken Seite, aber nicht auf der rechten“, lernte ein Standardmodell vielleicht nur „Flüssigkeit = schlecht“ und vergaß, auf welcher Seite sie sich befand.

Um dies zu beheben, erfanden die Forscher RadPRISM. Sie begannen mit einem riesigen Archiv von über 323.562 Thorax-Röntgenaufnahmen und den dazugehörigen Freitext-Berichten aus einem Krankenhaus in München. Anstatt den gesamten Bericht in den Computer einzuspeisen, nutzten sie ein spezielles KI-Werkzeug (ein Large Language Model), das als superschneller Bibliothekar fungiert. Dieser Bibliothekar las jeden Bericht und extrahierte spezifische Sätze für 19 verschiedene medizinische Konzepte, wie zum Beispiel „Pneumonie“, „Knochenbrüche“ oder „Herzgröße“.

Stellen Sie sich das Gehirn des Computers als ein riesiges Zimmer mit 19 verschiedenen „Unterräumen“ vor. Wenn der Bibliothekar einen Satz über „Pneumonie“ findet, schickt er diesen Satz in den „Pneumonie-Raum“. Wenn er einen Satz über „Knochenbrüche“ findet, schickt er diesen in den „Knochenbrüche-Raum“. Der Computer lernt dann, das Röntgenbild zu betrachten und die visuellen Hinweise zu finden, die nur zum Pneumonie-Raum oder nur zum Knochenbrüche-Raum passen. Dies wird als „konzept-stratifiziertes“ Lernen bezeichnet. Es zwingt den Computer, seine Ideen getrennt und organisiert zu halten, anstatt sie in einem großen, verwirrenden Haufen zu vermischen.

Was sie fanden: Schärfere Augen und besseres Gedächtnis

Die Ergebnisse dieser neuen Methode waren beeindruckend. Als die Forscher den Computer mit neuen Röntgenaufnahmen testeten, die er noch nie zuvor gesehen hatte (eine Aufgabe namens „Zero-Shot-Klassifizierung“), lag der RadPRISM-Modell in 0,868 der Fälle richtig (gemessen an einem Score namens Makro-AUROC). Vergleichen Sie das mit der alten „Einheitsansatz“-Methode, die nur in 0,717 der Fälle richtig lag. Das ist ein gewaltiger Sprung in der Genauigkeit, was darauf hindeutet, dass das Organisieren der Informationen in separate „Räume“ dem Computer wirklich hilft, die Details zu verstehen.

Aber die wahre Magie geschah, als sie den Computer baten, auf das Problem im Röntgenbild zu zeigen, eine Aufgabe namens „Visual Grounding“. Dies ist vergleichbar mit der Aufforderung an den Computer, einen Punkt auf die exakte Stelle zu setzen, an der sich die Pneumonie befindet. In einem Test mit einem öffentlichen Datensatz namens CheXlocalize war RadPRISM eine massive Verbesserung gegenüber dem bisher besten Modell, CARZero.

• Für Atelektase (kollabierte Lunge) war RadPRISM 4,3-mal besser darin, die richtige Stelle zu markieren.
• Für Pleuraerguss (Flüssigkeit um die Lunge) war es 2,8-mal besser.
• Für Lungenläsionen war es 1,5-mal besser.

Noch aufregender war, dass der Computer dies alles tat, ohne jemals ein einziges Beispiel gesehen zu haben, bei dem ein Arzt einen Kreis um eine Krankheit gezeichnet hat. Er lernte, allein durch das Lesen der Textbeschreibungen und das Betrachten der Bilder auf die Stelle zu zeigen.

Der Humantest: Vertraut ein Arzt ihm?

Um sicherzustellen, dass dies nicht nur ein Computertrick war, holten die Forscher menschliche Ärzte hinzu. Sie ließen sechs Assistenzärzte der Radiologie 200 Röntgenaufnahmen begutachten und die Arbeit des Computers bewerten. Sie stellten drei Fragen:

1. Hat der Computer korrekt erraten, ob eine Krankheit vorhanden war? (Er lag in 0,83 der Fälle richtig).
2. Passte die „Attention Map“ (der hervorgehobene Bereich) des Computers zu dem Ort, an dem die Krankheit tatsächlich war? (Er lag in 0,85 der Fälle richtig).
3. Konnte der Computer einen Satz aus seiner Datenbank finden, der die Krankheit im Bild beschrieb? (Er lag in 0,78 der Fälle richtig).

Die Ärzte waren besonders beeindruckt von dem dritten Punkt. Da der Computer gelernt hatte, die Konzepte zu trennen, konnte er spezifische, beschreibende Sätze wie „Große Raumforderung unveränderten Ausmaßes (ca. 6 cm) im rechten Oberlappen“ abrufen, die perfekt zum Bild passten. Dies ist etwas, das ältere Modelle nicht leisten konnten, da sie auf festen Listen von Labels (wie nur „Ja/Nein“) trainiert wurden und nicht über die reichhaltige, beschreibende Sprache verfügten, um daraus zu zitieren.

Warum das wichtig ist

Das Paper legt nahe, dass wir, indem wir die ungeordnete, freie Sprache der Ärzte in organisierte, spezifische Konzepte zerlegen, eine KI bauen können, die nicht nur klüger, sondern auch transparenter ist. Ärzte können die Arbeit des Computers überprüfen, sehen, welchen „Raum“ er für eine Entscheidung genutzt hat, und den spezifischen Satz lesen, der zum Bild passt. Dies macht die KI weniger zu einer „Black Box“ und mehr zu einem hilfreichen Partner, der die gleiche Sprache wie das medizinische Team spricht.

Die Autoren weisen jedoch vorsichtig darauf hin, dass dies ein Proof-of-Concept ist. Obwohl die Ergebnisse stark sind, wurden sie hauptsächlich an Thorax-Röntgenaufnahmen eines einzelnen Krankenhauses und einem öffentlichen Datensatz getestet. Sie stellten auch fest, dass das System noch nicht perfekt ist; bei sehr schwer zu sehenden Dingen wie winzigen Frakturen oder dünnen Luftlinien in der Lunge (Pneumothorax) hatte der Computer manchmal Schwierigkeiten, die exakte Stelle zu markieren, was wahrscheinlich daran liegt, dass die Bilder nicht hochauflösend genug waren. Aber die Kernidee – dass die Organisation von Informationen nach Konzepten die KI intelligenter und vertrauenswürdiger macht – scheint ein solider Schritt nach vorne für die Medizintechnik zu sein.