Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study

Diese Studie demonstriert die Machbarkeit und das Potenzial eines feinabgestimmten Vision-Language-Modells (InternVL2-4B) zur automatisierten Analyse von Koronarangiogrammen, einschließlich der Erkennung von Stenosen, der anatomischen Kennzeichnung und der Generierung klinischer Berichte, um die Diagnoseeffizienz zu steigern und die Versorgung in ressourcenarmen Settings zu unterstützen.

Das Wesentliche

Herz-Kranzgefäße im Fokus: Wie eine künstliche Intelligenz lernt, Herzbilder zu lesen und Berichte zu schreiben

Stellen Sie sich vor, ein Herz-Kranzgefäß-Bild (ein Koronarangiogramm) ist wie ein sehr komplexer, verschlungener Flusslauf auf einer Landkarte, der mit Kontrastmittel gefüllt wurde. Für einen erfahrenen Kardiologen ist es wie das Lesen einer Landkarte: Man muss erkennen, wo der Fluss fließt, wo er verengt ist (wie ein Staudamm) und wie stark die Engstelle ist. Aber diese Karten sind oft unübersichtlich, und das Lesen dauert lange.

In dieser Studie haben Forscher versucht, eine künstliche Intelligenz (KI) zu bauen, die diese Karten nicht nur sieht, sondern auch versteht und sogar einen schriftlichen Bericht darüber schreibt. Hier ist die Geschichte, wie sie das gemacht haben – einfach erklärt:

1. Der Star der Show: Ein „Sehen-und-Sprechen"-Roboter

Die Forscher haben einen speziellen KI-Typ namens Vision-Language Model (VLM) genommen. Man kann sich das wie einen sehr klugen Assistenten vorstellen, der zwei Superkräfte hat:

• Super-Auge: Er kann Bilder analysieren.
• Super-Sprachrohr: Er kann fließend Deutsch (oder medizinisches Englisch) sprechen und Texte schreiben.

Der Name des Modells ist InternVL2-4B. Aber wie ein Student, der gerade erst angefangen hat, Medizin zu studieren, kannte er die feinen Unterschiede in den Herzgefäßen noch nicht. Er wusste zwar, dass es ein Herzbild war, verwechselte aber oft das linke mit dem rechten Gefäß. Deshalb mussten die Forscher ihn „nachschulen" (fine-tuning).

2. Der Trainingsplan: Von der Auswahl bis zum Bericht

Das Training wurde in drei schwierige Stufen unterteilt, wie beim Lernen eines neuen Sports:

• Stufe 1: Der Türsteher (Keyframe-Auswahl)
  Ein Herzvideo besteht aus hunderten von Bildern. Die meisten zeigen nur leere Röhren oder das Kontrastmittel, das gerade erst hineinfließt. Nur wenige Bilder zeigen das Herz perfekt.

  • Die Analogie: Stellen Sie sich vor, Sie schauen sich ein 10-minütiges Video an, aber nur 5 Sekunden sind wirklich wichtig. Der KI-Türsteher (ein kleinerer Algorithmus) lernte, diese 5 Sekunden herauszufiltern und den Rest wegzuwerfen. Er wurde sehr gut darin (93 % Trefferquote).

• Stufe 2: Der Detektiv (Engstellen finden)
  Jetzt bekam der große Assistent (InternVL) die besten Bilder. Seine Aufgabe: Finden Sie die Engstellen!

  • Die Herausforderung: Die KI musste nicht nur sagen „Hier ist etwas", sondern genau markieren, wo.
  • Das Ergebnis: Der KI-Detektiv wurde ziemlich gut. Er fand etwa 6 von 10 Engstellen und markierte sie korrekt. Er war fast so gut wie spezialisierte KI-Modelle, die nur für diese eine Aufgabe gebaut wurden.

• Stufe 3: Der Autor (Bericht schreiben)
  Das war der schwierigste Teil. Der Assistent sollte nun alle gefundenen Engstellen und Gefäße in einen fließenden medizinischen Bericht verwandeln.

  • Das Problem: Hier stolperte der Assistent. Er verwechselte oft die Schweregrade („mild" statt „schwer") oder er „halluzinierte". Das bedeutet, er schrieb Dinge in den Bericht, die gar nicht da waren (z. B. „es gibt eine Abzweigung", obwohl es keine gab).
  • Warum? Die Forscher gaben ihm ein ganzes Video (viele Bilder) und nur einen einzigen Bericht am Ende. Das ist wie wenn man einem Schüler 20 Seiten Text gibt und nur eine zusammenfassende Antwort erwartet, ohne zu sagen, welcher Satz zu welchem Bild gehört. Der Assistent war überfordert.

3. Was haben wir gelernt? (Die wichtigsten Erkenntnisse)

• Die KI ist ein guter Helfer, aber noch kein Arzt: Sie kann Bilder gut scannen und Engstellen finden. Aber einen vollständigen, fehlerfreien Bericht zu schreiben, ist für sie noch zu schwer.
• Die Maßeinheit ist trügerisch: In der KI-Welt misst man oft mit einem Lineal (IoU-Score), wie genau ein markiertes Rechteck über dem Bild passt. Aber in der Medizin zählt oft mehr die Logik. Wenn die KI die Engstelle an der richtigen Stelle markiert, aber das Rechteck ein bisschen zu klein ist, zählt es in der Statistik als Fehler, obwohl der Arzt sagen würde: „Gute Arbeit, du hast es gefunden!"
• Daten sind der Schlüssel: Die KI lernte am besten bei großen, wichtigen Gefäßen (wie der Hauptstraße). Bei kleinen, abgelegenen Seitenstraßen (kleine Gefäße) war sie unsicher, weil sie in den Trainingsdaten zu wenig davon gesehen hatte.

4. Warum ist das wichtig?

Stellen Sie sich vor, Sie arbeiten in einem Land, wo es nur wenige Spezialisten für das Herz gibt. Diese KI könnte wie ein digitaler Assistent fungieren:

• Sie könnte dem Arzt sofort sagen: „Achtung, hier ist eine starke Verengung!"
• Sie könnte die langweilige Arbeit des Berichtschreibens übernehmen, damit der Arzt mehr Zeit für den Patienten hat.
• Sie könnte helfen, unnötige Eingriffe zu vermeiden, indem sie genau prüft, ob eine Verengung wirklich behandlungsbedürftig ist.

Fazit

Diese Studie ist wie der erste erfolgreiche Testflug eines neuen Flugzeugs. Der Motor (die Bilderkennung) läuft hervorragend, aber das Autopilot-System (das Schreiben des Berichts) muss noch besser kalibriert werden. Die Forscher haben bewiesen, dass es möglich ist, eine KI zu trainieren, die Herzbilder „liest". Mit mehr Daten und besseren Trainingsmethoden könnte diese KI in Zukunft ein unverzichtbarer Partner für Kardiologen auf der ganzen Welt werden.

Technische Zusammenfassung

Titel

Vision-Language Model für die Analyse von Koronarangiogrammen und die Generierung von Befunden: Entwicklungs- und Evaluationsstudie

1. Problemstellung

Die koronare Herzkrankheit (KHK) ist eine der häufigsten Todesursachen weltweit. Der Goldstandard zur Diagnose ist die invasive Koronarangiographie. Die Interpretation dieser komplexen Bilder und die Erstellung klinischer Berichte erfordern jedoch spezialisiertes Fachwissen und sind zeitaufwendig.

• Herausforderung: Bestehende KI-Lösungen (z. B. auf Basis von CNNs oder Transformern wie CathAI oder DeepCoro) können zwar Stenosen klassifizieren oder segmentieren, liefern jedoch oft nur strukturierte numerische Daten. Ihnen fehlt die Fähigkeit, natürliche Sprache zu generieren, um detaillierte, narrative Befunde zu erstellen (z. B. Beschreibung von anatomischen Anomalien, Kollateralen oder dem genauen Befall von Gefäßostien).
• Ziel: Es soll untersucht werden, ob ein Vision-Language Model (VLM) in der Lage ist, nicht nur Stenosen zu erkennen und Anatomie zu labeln, sondern auch aus mehreren Projektionsansichten einen vollständigen, strukturierten klinischen Bericht zu generieren.

2. Methodik

Datenbasis:
Die Studie nutzte vier Datensätze (insgesamt 20.000 Schlüsselbilder von 1.987 Patienten):

• CADICA, ADSD, ARCADE: Open-Source-Datensätze mit Experten-Annotationen (Bounding Boxes für Stenosen und Gefäßsegmente).
• AIMx (Proprietary): Ein Datensatz des National Heart Centre Singapore (345 Patienten) mit Rohvideos und zugehörigen diagnostischen Textberichten.

Pipeline und Modellarchitektur:
Das Forschungsdesign umfasste vier aufeinanderfolgende Aufgaben, die zunehmend schwieriger werden:

1. Schlüsselbildauswahl (Keyframe Selection):

   • Ein ViT-Modell (Google vit-large-patch32-384), vortrainiert auf ImageNet, wurde feinabgestimmt (Fine-Tuning), um diagnostisch relevante Frames aus den Videosequenzen zu identifizieren und nicht-diagnostische Frames (z. B. vor der Kontrastmittelinjektion) auszuschließen.
   • Ziel: Reduktion des Rechenaufwands und Vermeidung von Rauschen in den Trainingsdaten.

2. Stenose-Detektion & Anatomie-Labeling:

   • Modell: InternVL2-4B, ein Open-Source Vision-Language Model.
   • Methode: Fine-Tuning mittels LoRA (Low-Rank Adaptor) auf zwei NVIDIA RTX 4090 GPUs.
   • Aufgabe:
     • Stenose-Detektion: Erkennung und Lokalisierung von Verengungen (Bounding Boxes).
     • Anatomie-Labeling: Identifikation von Gefäßsegmenten gemäß der SYNTAX-Definition.
   • Besonderheit: Im Gegensatz zu reinen Segmentierungsmodellen (wie YOLOv8x) wurde hier ein VLM verwendet, das Bild und Text gemeinsam verarbeitet.

3. Berichtsgenerierung (Report Generation):

   • Das feinabgestimmte InternVL2-4B erhielt mehrere Schlüsselbilder pro Patient als Eingabe und sollte einen konsolidierten Textbericht generieren.
   • Die Bewertung erfolgte durch manuellen Abgleich mit den Ground-Truth-Berichten, unterteilt in Kategorien: keine/milde, moderate und schwere Stenosen (>70%).

Evaluationsmetriken:

• Für Detektion und Segmentierung: Precision, Recall, F1-Score und Intersection-over-Union (IoU).
• Für die Berichtsgenerierung: Accuracy, Spezifität, Negativprädiktivwert (NPV) und False-Positive-Raten.

3. Wichtige Ergebnisse

• Schlüsselbildauswahl: Das ViT-Modell zeigte sehr robuste Leistung mit einer Genauigkeit von 0,86, einem Recall von 0,93 und einem F1-Score von 0,91. Es konnte diagnostisch unbrauchbare Frames zuverlässig filtern.
• Stenose-Detektion: Das VLM erreichte einen Precision von 0,56, Recall von 0,64 und F1-Score von 0,60.
  • Vergleich: Obwohl die Metriken (IoU-basiert) nicht direkt mit pixelbasierten Modellen wie YOLOv8x vergleichbar sind, zeigte das VLM eine Leistung, die mit spezialisierten neuronalen Netzwerken vergleichbar ist.
• Anatomie-Labeling: Das Modell erzielte gewichtete Scores von Precision 0,50, Recall 0,43 und F1 0,46.
  • Die Leistung war bei großen Gefäßen (z. B. linker Hauptstamm, proximaler RCA) deutlich besser (F1 > 0,7) als bei kleinen Ästen (z. B. diagonale Äste), was auf die Verteilung der Trainingsdaten zurückzuführen ist.
• Berichtsgenerierung: Dies war der schwächste Bereich.
  • Die Genauigkeit lag bei 0,42, die Spezifität bei 0,52.
  • Das Modell zeigte eine hohe Rate an Halluzinationen (z. B. Erfinden von Kollateralen oder anatomischen Variationen, die nicht existierten) und verpasste klinisch signifikante Stenosen (z. B. im linken Hauptstamm).
  • Die Präzision (0,19) und der Recall (0,23) waren niedrig, was auf Schwierigkeiten beim Lernen aus den mehrbildigen Eingaben ohne explizite Zuordnung von Befunden zu einzelnen Bildern hindeutet.

4. Hauptbeiträge und Innovationen

1. Erster Ansatz mit VLMs: Dies ist die erste Studie, die ein Vision-Language Model (InternVL2-4B) für die umfassende Analyse von Koronarangiogrammen und die Generierung von Textberichten einsetzt.
2. Multitask-Fähigkeit: Demonstration, dass ein einziges Modell sowohl Detektionsaufgaben (Stenosen) als auch semantische Aufgaben (Anatomie-Labeling) und Textgenerierung bewältigen kann.
3. Kritische Analyse von Metriken: Die Studie hebt hervor, dass herkömmliche Metriken wie IoU die klinische Genauigkeit bei der Stenose-Detektion unterschätzen können (z. B. wenn ein Bounding Box korrekt lokalisiert ist, aber die Fläche nicht perfekt überlappt).
4. Proof of Concept: Nachweis der Machbarkeit, KI-gestützte Berichte zu generieren, auch wenn die aktuelle Leistung noch nicht expertenniveau erreicht.

5. Bedeutung und Ausblick

• Klinische Relevanz: Ein solches System könnte Kardiologen als Entscheidungsunterstützung dienen, die Effizienz bei der Berichterstellung steigern und die SYNTAX-Score-Berechnung automatisieren. Es könnte besonders in ressourcenarmen Settings oder bei weniger spezialisierten Ärzten die Diagnosequalität verbessern.
• Limitationen: Die schlechte Leistung bei der Berichtsgenerierung wird auf das "Weakly-Supervised Learning"-Problem zurückgeführt. Da mehrere Bilder einem einzigen Bericht zugeordnet waren, ohne dass explizit geklärt wurde, welcher Befund zu welchem Bild gehört, litt das Modell unter Informationsüberlastung. Zudem fehlten Annotationen für normale (gesunde) Gefäße, was zu einer Verzerrung hin zu falsch-positiven Ergebnissen führte.
• Zukünftige Richtungen:
  • Feinabstimmung mit expliziten Bild-zu-Befund-Zuordnungen (statt aggregierter Berichte).
  • Einbeziehung von Metadaten (Projektionswinkel) zur besseren räumlichen Orientierung des Modells.
  • Nutzung größerer Modelle (z. B. InternVL2-26B) für pixelgenaue Segmentierung, falls Rechenressourcen verfügbar sind.

Fazit: Die Studie demonstriert das große Potenzial von VLMs in der Kardiologie, insbesondere für die Automatisierung von Stenose-Erkennung und Anatomie-Labeling. Obwohl die automatische Berichtsgenerierung noch verbessert werden muss, legt die Arbeit einen wichtigen Grundstein für die zukünftige Integration von generativer KI in den klinischen Workflow der interventionellen Kardiologie.