AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

Das Paper stellt AnatomiX vor, ein anatomiewissendes multimodales Großsprachmodell für die Interpretation von Thorax-Röntgenbildern, das durch einen zweistufigen Ansatz zur strukturellen Merkmalsextraktion und nachfolgenden Aufgabenverarbeitung signifikante Verbesserungen bei räumlichem Verständnis und diagnostischen Aufgaben im Vergleich zu bestehenden Methoden erzielt.

Das Wesentliche

AnatomiX: Der radiologische „Zweischritt"-Assistent für Röntgenbilder

Stellen Sie sich vor, ein Radiologe schaut auf ein Röntgenbild der Brust. Was macht er? Er scannt das Bild nicht einfach nur als Ganzes. Er geht systematisch vor: „Wo ist das Herz? Wo sind die Lungenflügel? Ist das linke oder das rechte?" Erst wenn er diese anatomischen Landmarken sicher verortet hat, sucht er nach Krankheiten wie einer Lungenentzündung oder einem Bruch.

Bisherige künstliche Intelligenz-Modelle (KI) haben dabei oft einen Haken: Sie sind wie ein sehr kluger Student, der viel auswendig gelernt hat, aber die Orientierung im Raum verliert. Wenn man das Röntgenbild im Computer spiegelt (links wird rechts), geraten diese KIs in Panik. Sie denken plötzlich, das Herz sei auf der falschen Seite, weil sie nur nach Mustern suchen, nicht nach echter Anatomie.

Das neue Modell AnatomiX (entwickelt von Forschern in Deutschland und den VAE) löst dieses Problem mit einem cleveren Trick, der sich an den menschlichen Arbeitsablauf anlehnt.

Die Idee: Erst die Landkarte, dann die Entdeckung

Stellen Sie sich AnatomiX wie einen zweistufigen Detektiv vor:

1. Schritt 1: Der Kartograph (Die Anatomie-Erkennung)
   Bevor der Detektiv überhaupt nach einem Verbrechen sucht, zeichnet er erst eine genaue Landkarte. AnatomiX schaut sich das Röntgenbild an und sagt: „Okay, hier ist die linke Lunge, hier die rechte, hier das Herz, hier das Schlüsselbein." Es erstellt eine Art „Anatomie-Checkliste" mit genauen Koordinaten für 36 verschiedene Körperteile.

   • Die Analogie: Es ist wie ein Architekt, der erst die Wände und Türen eines Hauses markiert, bevor er nach dem Dieb sucht.

2. Schritt 2: Der Experte (Die Diagnose)
   Erst wenn die Landkarte steht, übergibt AnatomiX diese Informationen an einen großen Sprach-Assistenten (eine Art „Super-Chatbot", der Medizin versteht). Dieser Assistent sieht nun nicht mehr nur ein verschwommenes Graubild, sondern hat eine klare Anleitung: „Schau genau in den Bereich der linken Lunge, dort ist etwas Schattiges."

   • Das Ergebnis: Der Assistent kann viel präziser sagen: „Hier ist eine Lungenentzündung im linken unteren Bereich", statt nur zu raten.

Warum ist das so wichtig?

In der Medizin ist die Richtung (links vs. rechts) alles. Ein Fehler hier kann fatale Folgen haben.

• Das Problem der alten KIs: Sie haben gelernt, dass „Herz" oft auf der linken Seite des Bildes steht. Wenn Sie das Bild spiegeln, denken sie: „Aha, das Herz ist jetzt rechts! Das ist falsch!" Sie verlassen sich auf die Position im Bild, nicht auf das, was das Objekt ist.
• Die Stärke von AnatomiX: Weil es erst die einzelnen Körperteile identifiziert („Das ist das Schlüsselbein"), weiß es auch in einem gespiegelten Bild sofort: „Das ist immer noch das linke Schlüsselbein, auch wenn es jetzt rechts im Bild aussieht." Es versteht die Anatomie, nicht nur das Bild.

Was kann AnatomiX alles?

Das Modell ist ein Alleskönner, der wie ein erfahrener Arzt agiert:

• Zeigen und Erklären: „Zeig mir, wo die Lungenentzündung ist" (und malt einen Rahmen darum).
• Berichte schreiben: Es kann den kompletten Arztbrief für das Röntgenbild verfassen.
• Fragen beantworten: „Ist das Herz vergrößert?" oder „Wo genau ist der Rippenbruch?"
• Fehler finden: Es erkennt Krankheiten, die andere KIs übersehen, weil sie den Kontext der Anatomie nicht verstehen.

Das Fazit

AnatomiX ist wie ein junger Assistenzarzt, der erst die Anatomie auswendig gelernt hat, bevor er Diagnosen stellt. Durch diesen zweistufigen Ansatz („Zuerst Landkarte, dann Diagnose") macht er deutlich weniger Fehler als die bisherigen Systeme, besonders wenn es um die Unterscheidung von links und rechts geht. Es ist ein großer Schritt hin zu KI, die nicht nur Bilder „rät", sondern sie wirklich versteht.

Die Forscher hoffen, dass solche Modelle in Zukunft Radiologen unterstützen, damit diese noch schneller und sicherer Patienten behandeln können.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben zwar Fortschritte bei der Interpretation von Thorax-Röntgenaufnahmen (CXR) gemacht, leiden jedoch unter erheblichen Mängeln in der räumlichen Reasoning-Fähigkeit und dem anatomischen Verständnis.

• Herausforderung: Bestehende Grounding-Techniken (Verknüpfung von Text mit Bildregionen) verbessern zwar die Gesamtleistung, versagen jedoch oft darin, eine echte anatomische Korrespondenz herzustellen. Modelle neigen dazu, räumliche Korrelationen zu lernen, anstatt anatomische Strukturen zu erkennen.
• Beispiel: Wenn ein Bild vertikal gespiegelt wird (links ↔ rechts), erkennen State-of-the-Art-Modelle (wie RadVLM) oft die falschen anatomischen Objekte oder verwechseln linke und rechte Seiten, da sie sich zu stark auf Orientierungshinweise (z. B. Radiologie-Marker) oder statistische Muster statt auf strukturelles Verständnis verlassen.
• Lücke: Es fehlt ein Ansatz, der dem Workflow von Radiologen folgt, bei dem anatomische Strukturen iterativ identifiziert, lokalisiert und bewertet werden, bevor eine Diagnose gestellt wird.

2. Methodik: AnatomiX

AnatomiX ist ein anatomiebewusstes, multimodales Large Language Model, das einen zweistufigen Ansatz verfolgt, um die Lücke zwischen visuellem Grounding und medizinischem Verständnis zu schließen.

A. Architektur-Komponenten

Das System besteht aus zwei Hauptmodulen: dem Anatomy Perception Module (APM) und einem Large Language Model (LLM).

1. Anatomy Perception Module (APM):

   • Ziel: Extraktion globaler Bildmerkmale sowie feingranularer Merkmale für $N$ thorakale anatomische Objekte (z. B. 36 spezifische Organe/Regionen).
   • Prozess:
     • Ein Image Encoder ($E$) erzeugt Bild-Embeddings.
     • Ein Decoder ($D$, inspiriert von DETR) nutzt lernbare Objekt-Token, um Bounding-Boxen für anatomische Strukturen vorherzusagen.
     • Ein Feature Extraction Module ($M$) extrahiert feingranulare visuelle Merkmale für jedes spezifische anatomische Objekt basierend auf den vorhergesagten Bounding-Boxen.
     • Contrastive Alignment: Während des Trainings werden diese visuellen Merkmale mit Textbeschreibungen (Radiologie-Befunde) mittels eines frozen Sentence Encoders (BiomedBERT) und einer selbstähnlichen Kontrastverlust-Funktion (Self-Similarity Loss) abgeglichen. Dies erlaubt es dem Modell, Überlappungen und Korrelationen zwischen anatomischen Befunden zu lernen (im Gegensatz zu strikten 1-zu-1-Verhältnissen).
   • Inferenz: Der Sentence Encoder wird durch eine Vector Database (VDB) ersetzt, die vorab berechnete Embeddings für alle möglichen anatomischen Beschreibungen speichert. Das Modell sucht die semantisch ähnlichste Textbeschreibung für jedes erkannte anatomische Objekt.

2. Large Language Model (LLM):

   • Basis: MedGemma-4b-it (ohne Vision-Encoder).
   • Erweiterung: Das Vokabular wird um spezielle Token erweitert:
     • $N$ anatomische Objekt-Token (<obj_i>), die die visuellen Merkmale der erkannten Organe repräsentieren.
     • 4 Grounding-Token (<box>, </box>, <ref>, </ref>) für räumliche Referenzen.
   • Eingabe: Das LLM erhält einen strukturierten Prompt, der Bild-Embeddings, die extrahierten anatomischen Merkmale, die Bounding-Boxen und die aus der VDB abgerufenen Textbeschreibungen integriert.
   • Training: Feinabstimmung mittels LoRA (Low-Rank Adaptation) für Next-Token-Prediction.

B. Trainingsstrategie

Das Training erfolgt in drei Schritten:

1. APM-Training: End-to-End-Training des APM für Objekterkennung und kontrastives Alignment (45 Epochen).
2. Alignment: Ausrichten der Embedding-Räume von APM und LLM durch Entfrosten der Projektoren.
3. Instruction Tuning: Feinabstimmung des gesamten Systems auf neun verschiedene Radiologie-Aufgaben unter Verwendung von LoRA.

3. Wichtige Beiträge

• Neue Architektur: Einführung von AnatomiX, das anatomische Strukturen explizit vor der Ausführung von Downstream-Aufgaben identifiziert, im Gegensatz zu impliziten Single-Step-Verfahren.
• Robustheit: Demonstration einer überlegenen räumlichen Konsistenz, insbesondere bei gespiegelten Bildern und ohne radiologische Marker.
• Leistung: State-of-the-Art (SOTA) Ergebnisse auf vier Grounding-Aufgaben und gleichwertige oder bessere Leistung bei Report-Generierung, VQA (Visual Question Answering) und Bildverständnis.
• Öffentlichkeit: Bereitstellung von Code und vortrainiertem Modell.

4. Ergebnisse

Die Evaluation erfolgte auf mehreren Benchmarks (MIMIC-CXR, VinDr-CXR, Chest-ImaGenome, etc.) über neun Aufgabenkategorien.

• Grounding-Aufgaben:

  • AnatomiX erzielt eine Überlegenheit von über 25% bei anatomischem Grounding und Phrase-Grounding im Vergleich zu SOTA-Modellen wie RadVLM und CheXagent.
  • Robustheitstest (Spiegelung): Während RadVLM bei horizontal gespiegelten Bildern fast vollständig versagt (IoU/MAP von ~0.10), behält AnatomiX eine hohe Genauigkeit (IoU/MAP von ~0.71/0.60) bei. Dies beweist, dass das Modell echte Anatomie und nicht nur Orientierungsmuster lernt.
  • Auch bei Entfernung von radiologischen Markern (Text-Labels) bleibt die Leistung stabil.

• Report-Generierung & VQA:

  • AnatomiX erreicht SOTA-Ergebnisse bei der Generierung klinisch korrekter Berichte und VQA-Aufgaben, oft mit weniger Parametern als vergleichbare Modelle (z. B. im Vergleich zu Radialog oder MAIRA-2).
  • Es zeigt eine hohe Balance zwischen linguistischer Kohärenz und klinischer Genauigkeit (gemessen an RadGraph-F1 und CheXbert-14-F1).

• Ablationsstudien:

  • Die Entfernung der anatomischen Token (<obj_i>), der Bounding-Boxen oder der abgerufenen Textbeschreibungen führt zu signifikanten Leistungseinbußen, was die Notwendigkeit des zweistufigen, anatomiebewussten Ansatzes unterstreicht.

5. Bedeutung und Ausblick

AnatomiX markiert einen wichtigen Schritt weg von der reinen Anpassung allgemeiner MLLMs auf medizinische Daten hin zu domänenspezifischen Architekturen.

• Klinische Relevanz: Durch die explizite Modellierung anatomischer Strukturen reduziert das Modell das Risiko von Fehlinterpretationen aufgrund räumlicher Verwechslungen (z. B. links/rechts), was für die patientensichere Diagnose entscheidend ist.
• Zukunft: Die Autoren planen, diesen Ansatz auf andere Modalitäten (z. B. MRT) zu erweitern, die Architektur zu optimieren (Reduktion von Redundanz) und die Interaktion auf Multi-Turn-Gespräche auszuweiten.

Zusammenfassend beweist AnatomiX, dass ein bewusster, workflow-orientierter Entwurf (zuerst Anatomie verstehen, dann diagnostizieren) die Grenzen aktueller multimodaler Modelle in der medizinischen Bildgebung überwinden kann.