Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

Das Paper stellt Gaze2Report vor, ein Framework, das durch die Vorhersage von Blickbewegungen und die Verwendung von Graph Neural Networks visuelle und gaze-basierte Tokens erzeugt, um Large Language Models mittels LoRA zu fine-tunen und so qualitativ hochwertige radiologische Berichte zu generieren, ohne dass während der Inferenz echte Augenbewegungsdaten benötigt werden.

Das Wesentliche

Gaze2Report: Wie ein KI-Assistent lernt, genau hinzusehen, wie ein Arzt

Stellen Sie sich vor, Sie sind ein Radiologe. Sie schauen sich ein Röntgenbild an. Ihr Gehirn tut nicht nur eines: Es scannt das Bild einfach nur ab. Nein, Ihr Auge wandert gezielt von einem Bereich zum anderen. Sie schauen zuerst auf die Lunge, dann auf das Herz, und wenn Sie etwas Verdächtiges sehen, verweilt Ihr Blick dort länger. Diese Blickbewegungen (Eye Gaze) sind wie eine unsichtbare Landkarte, die zeigt, worauf ein Experte seine Aufmerksamkeit richtet.

Das Problem bei bisherigen KI-Systemen war: Sie schauten sich das Bild zwar an, aber sie wussten nicht, wohin ein echter Arzt schauen würde. Sie waren wie ein Schüler, der versucht, einen Text zu schreiben, ohne zu wissen, welche Wörter im Buch wichtig sind. Das Ergebnis war oft technisch korrekt, aber klinisch ungenau oder zu oberflächlich.

Hier kommt Gaze2Report ins Spiel. Es ist eine neue Methode, die KI-Systemen beibringt, genau so zu „schauen" wie ein Mensch.

Die drei genialen Tricks von Gaze2Report

Um das zu verstehen, nutzen wir drei einfache Analogien:

1. Der „Augen-Tracker" als Lehrer (Visuelle-Gaze-Tokens)

Stellen Sie sich vor, Sie wollen einem Roboter beibringen, einen Krimi zu lesen. Wenn Sie ihm nur das Buch geben, liest er vielleicht alles, aber er versteht nicht, welche Zeilen die Spannung aufbauen.
Gaze2Report macht etwas Ähnliches: Es nutzt Daten von echten Ärzten, die aufgezeichnet haben, wohin sie beim Betrachten von Röntgenbildern geschaut haben.

• Die Analogie: Die KI bekommt nicht nur das Bild, sondern auch eine „Wärmekarte" der Aufmerksamkeit. Sie lernt: „Aha, hier hat der Arzt lange geschaut, hier ist etwas Wichtiges!"
• Der Clou: Die KI verbindet diese Blickdaten mit den Bildinformationen zu einem einzigen, starken Signal. Das ist wie wenn Sie einem Übersetzer nicht nur den Text geben, sondern ihm auch sagen: „Betone diese Wörter besonders!"

2. Der „Soziale Netzwerker" unter den Bildteilen (Graph Neural Network)

Ein Röntgenbild besteht aus vielen kleinen Teilen (wie ein Puzzle). Früher haben KIs diese Teile oft isoliert betrachtet. Gaze2Report nutzt ein Graph Neural Network (GNN).

• Die Analogie: Stellen Sie sich vor, jeder Puzzleteil ist eine Person auf einer Party. Ein normales System würde jede Person einzeln fragen: „Was siehst du?". Das GNN hingegen lässt die Personen miteinander reden. Wenn ein Puzzleteil (z. B. der linke Lungenflügel) einen Blickkontakt hat und sagt: „Ich sehe hier etwas Seltsames", und der Nachbar (das Herz) antwortet: „Ja, das passt zu meinem Verdacht", dann entsteht ein gemeinsames Verständnis.
• Die KI lernt also nicht nur, was sie sieht, sondern wie die verschiedenen Teile des Bildes zusammenhängen, genau wie ein Arzt, der das Gesamtbild im Kopf hat.

3. Der „Zukunfts-Prophet" (Scanpath-Vorhersage)

Das größte Problem: In der echten Welt hat eine KI beim Patienten keine Daten darüber, wohin der Arzt während der Untersuchung schaut. Die Blickdaten fehlen also oft.

• Die Analogie: Stellen Sie sich vor, Sie müssen einen Bericht schreiben, aber Sie können den Arzt nicht beobachten. Gaze2Report hat einen genialen Trick: Es hat einen „Propheten" (eine Vorhersage-Module) eingebaut. Dieser Prophet sagt voraus: „Wenn ein Arzt jetzt auf dieses Bild schaut, wird er wahrscheinlich zuerst hierhin und dann dorthin schauen."
• Die KI nutzt diese Vorhersage, um den Bericht zu schreiben, als hätte sie die echten Blickdaten. So funktioniert das System auch in der Praxis, wo keine teuren Augen-Tracker am Patienten hängen.

Was bringt das Ergebnis?

Wenn man Gaze2Report mit anderen Systemen vergleicht, ist das Ergebnis wie der Unterschied zwischen einem Anfänger und einem erfahrenen Meister:

• Präzision: Die KI schreibt Berichte, die medizinisch korrekter sind. Sie benutzt Begriffe wie „kleine Pleuraergüsse" statt nur „Flüssigkeit", weil sie genau weiß, worauf sie achten muss.
• Verständlichkeit: Die Berichte sind besser strukturiert und enthalten weniger „Halluzinationen" (falsche Erfindungen).
• Effizienz: Da die KI die Blickdaten vorhersagen kann, muss man keine teure Hardware installieren, um sie im Krankenhaus einzusetzen.

Zusammenfassung

Gaze2Report ist wie ein junger Assistenzarzt, der nicht nur die Bilder sieht, sondern auch die Blickbewegungen eines erfahrenen Chefarztes imitiert. Durch eine spezielle Art des „Zusammenspiels" (GNN) und einen klugen Trick, um fehlende Daten vorherzusagen, schreibt er Berichte, die so gut sind, als hätte er selbst die Augen des Experten gehabt. Es ist ein großer Schritt hin zu KI, die nicht nur rechnet, sondern wirklich „versteht", was ein Arzt sieht.

Technische Zusammenfassung

1. Problemstellung

Die automatische Generierung von Radiologieberichten mittels Deep-Learning-Methoden hat zwar die diagnostische Effizienz verbessert, leidet jedoch oft unter einer suboptimalen Ausrichtung zwischen den strukturierten Erklärungen und den tatsächlichen Krankheitsmanifestationen. Herkömmliche Ansätze basieren meist auf der Bildunterschrift-Generierung (Image Captioning), die rein visuelle Merkmale extrahiert und dabei wichtige, vom Arzt gewonnene medizinische Vorwissen (Medical Priors) ignoriert.

Ein vielversprechender Ansatz zur Verbesserung der Genauigkeit und Interpretierbarkeit ist die Nutzung von Eye-Gaze-Daten (Blickverfolgung), die Aufschluss über die visuelle Aufmerksamkeit eines Radiologen geben. Die Integration dieser Daten in KI-Systeme ist jedoch durch zwei Hauptprobleme erschwert:

1. Komplexität der multimodalen Fusion: Die effektive Kombination von Bild-, Blick- und Textdaten ist technisch anspruchsvoll.
2. Fehlende Daten beim Inferenzschritt: In realen klinischen Szenarien liegen während der Diagnose (Inferenz) keine Eye-Gaze-Daten vor, da diese nur während der manuellen Analyse durch einen Radiologen erfasst werden. Dies schränkt die praktische Anwendbarkeit bisheriger Modelle ein.

2. Methodik: Gaze2Report Framework

Das vorgestellte Framework Gaze2Report adressiert diese Herausforderungen durch eine neuartige Architektur, die Eye-Gaze-Informationen in die Generierung von Radiologieberichten integriert, ohne dass diese Daten zwingend während der Inferenz vorhanden sein müssen.

Hauptkomponenten:

• Visuelle und Gaze-Token-Generierung:
  • Visuelle Features: Eingabebilder (z. B. Thorax-Röntgen) werden in Patches unterteilt und mittels eines Vision Transformer (ViT) verarbeitet, um räumliche Merkmale zu extrahieren.
  • Gaze-Features: Ein Scanpath-Vorhersagemodell (basierend auf MedGaze) simuliert Fixationspunkte (Koordinaten und Dauer). Die Fixationsdauer innerhalb jedes Bildpatches wird aggregiert, um ein Gaze-Embedding zu erstellen, das die Aufmerksamkeit des Radiologen widerspiegelt.
• Multimodale Interaktion via Graph Neural Network (GNN):
  • Ein Graph wird konstruiert, wobei jeder Knoten einen Bildpatch repräsentiert, der mit visuellen Tokens, Gaze-Tokens und Positionscodierungen versehen ist.
  • Ein GNN aktualisiert die Knoten-Embeddings iterativ, indem es Nachbarn basierend auf ihrer relativen Position verbindet. Dies ermöglicht eine tiefgreifende Interaktion zwischen visuellen und Blickmerkmalen.
  • Die resultierenden Graph-Embeddings werden in den hochdimensionalen Merkmalsraum des Large Language Model (LLM) projiziert.
• Prompt-Tuning von LLMs (LoRA):
  • Die projizierten Visual-Gaze-Tokens werden mit Instruktions-Tokens (z. B. „Erstelle einen detaillierten Bericht") und den Ground-Truth-Bericht-Tokens zu einem multimodalen Prompt verkettet.
  • Statt das gesamte LLM (Llama2-7B) neu zu trainieren, werden nur LoRA-Schichten (Low-Rank Adaptation) feinabgestimmt. Dies ist recheneffizient und effektiv.
• Lösung des Inferenz-Problems (Scanpath-Vorhersage):
  • Um das Fehlen von Eye-Gaze-Daten während der Inferenz zu kompensieren, wird ein zusätzliches Modul zur Scanpath-Vorhersage integriert. Das Modell lernt also nicht nur, Berichte zu generieren, sondern auch vorherzusagen, wo ein Radiologe hinschauen würde. Diese vorhergesagten Pfade werden dann als visuelle-gaze-Tokens in den Prompt eingespeist.

3. Wichtige Beiträge

1. GNN-basierte Visual-Gaze-Interaktion: Die Autoren nutzen Graph Neural Networks, um die Beziehung zwischen Bildbereichen und der Radiologen-Aufmerksamkeit zu modellieren. Dies verbessert die Fähigkeit des LLMs, die Relevanz der Modalitäten zu bewerten.
2. Überlegene Leistung ohne reale Gaze-Daten: Das Framework zeigt, dass die Kombination aus Bild und vorhergesagtem Gaze (während der Inferenz) bessere Ergebnisse liefert als die reine Bildverarbeitung. Dies wird durch ein Hilfsmodul zur Scanpath-Vorhersage ermöglicht, was die praktische Anwendbarkeit in der Klinik sichert.
3. Umfassende Evaluation: Die Leistung wird sowohl durch linguistische Metriken (NLG) als auch durch klinische Effizienzmessungen (CE) auf mehreren Datensätzen validiert.

4. Ergebnisse

Die Evaluation erfolgte auf drei Datensätzen: REFLACX, IU-XRAY und MIMIC-CXR.

• Natürliche Sprachgenerierung (NLG): Gaze2Report übertrifft State-of-the-Art-Modelle (wie R2GenGPT, MET, EGGCA-Net) sowie verschiedene Baselines (nur visuelle Embeddings oder einfache Fusion) konsistent in Metriken wie BLEU, ROUGE-L und METEOR. Auf dem MIMIC-CXR-Datensatz wurden Verbesserungen von bis zu 0,08 Punkten bei BLEU-1 und 0,07 bei METEOR gegenüber den zweitbesten Methoden erzielt.
• Klinische Effizienz (CE): Das Modell generiert klinisch korrektere Berichte. Es erzielt höhere Werte in Accuracy, Precision, Recall und F1-Score für die Erkennung thorakaler Pathologien (z. B. Pneumonie, Pleuraerguss) im Vergleich zu R2GenGPT.
• Qualitative Analyse: Generierte Berichte enthalten spezifischere medizinische Begriffe (z. B. „kleine bilaterale Pleuraergüsse" statt vager Beschreibungen) und zeigen eine höhere klinische Präzision.
• Ablationsstudie: Selbst ohne echte Eye-Gaze-Daten beim Testen (nur mit Vorhersage) performt Gaze2Report besser als Baseline-Modelle, die echte Gaze-Daten nutzen, aber keine GNN-Interaktion oder Vorhersagemodul haben.

5. Bedeutung und Fazit

GAZE2REPORT stellt einen signifikanten Fortschritt in der automatisierten Radiologieberichterstattung dar. Es löst das kritische Problem der fehlenden Eye-Gaze-Daten in der klinischen Praxis, indem es ein Scanpath-Vorhersagemodul integriert. Durch die Nutzung von GNNs zur Fusion von visuellen und Blickdaten wird die semantische Kohärenz und die klinische Genauigkeit der Berichte erheblich gesteigert.

Das Framework demonstriert, dass die Nachahmung der menschlichen visuellen Aufmerksamkeit (durch Eye-Gaze-Daten oder deren Vorhersage) entscheidend ist, um die Lücke zwischen reinen Bildmerkmalen und fundierten medizinischen Diagnosen zu schließen. Dies ebnet den Weg für KI-Systeme, die nicht nur effizienter, sondern auch klinisch verlässlicher und interpretierbarer sind.