Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study

Deze studie toont aan dat het fine-tunen van het Vision-Language Model InternVL2-4B op een dataset van 20.000 angiogrammen haalbaar is voor het detecteren van stenoses, het labelen van anatomie en het genereren van rapporten, wat potentieel biedt om cardiologen te ondersteunen en de rapportage-efficiëntie te verbeteren, hoewel de huidige prestaties nog niet op het niveau van een expert liggen.

De kern

De Digitale Hartspecialist: Een Proef met een AI die Hartfoto's Leest

Stel je voor dat je een hartkwaal hebt. Om te zien wat er mis is, maken artsen een soort "röntgenfilm" van je hartslagaders. Dit noemen ze een coronaire angiografie. Het is de gouden standaard, maar het is ook ingewikkeld. De beelden zijn vaak wazig, vol met beweging, en een arts moet er uren naar kijken om te zien waar de blokkades zitten en een verslag te schrijven.

De auteurs van dit onderzoek wilden weten: Kan een slimme computer (kunstmatige intelligentie) dit werk sneller en net zo goed doen? Ze hebben een nieuw type AI getest, een "Visueel-Taal Model" (VLM).

Hier is hoe het werkt, vertaald in simpele taal:

1. De AI als een leerling die moet leren kijken

Stel je voor dat je een zeer intelligente student hebt die alles over de wereld weet (zoals een universitair professor), maar die nog nooit een hartfoto heeft gezien. Als je hem een hartfoto toont, zegt hij misschien: "Oh, dit is een foto van iets dat op een boom lijkt," maar hij weet niet dat het een slagader is, of waar de linkerkant van het hart zit.

De onderzoekers hebben deze "student" (een model genaamd InternVL2-4B) speciaal getraind met duizenden hartfoto's. Ze hebben hem geleerd:

• Welke foto's belangrijk zijn: Een hartvideo duurt lang, maar slechts een paar seconden zijn echt scherp en bruikbaar. De AI moest leren welke momenten de "beste foto's" zijn (zoals het kiezen van het perfecte moment om een foto te maken op een bruiloft, in plaats van een wazige foto van een bewegend gezicht).
• Waar de blokkades zitten: Hij moest leren zien waar de aders versmald zijn (stenose).
• Hoe het eruitziet: Hij moest de verschillende takken van de aders herkennen.
• Het verslag schrijven: Het moeilijkste deel: op basis van al die foto's een begrijpelijk verslag schrijven voor de arts.

2. De resultaten: Een gemengd pakket

De onderzoekers hebben de AI getest en de resultaten waren een beetje zoals een student die heel goed wiskunde kan, maar moeite heeft met het schrijven van een proefschrift.

• Het zoeken naar blokkades (De "Spion"):
  De AI was best goed in het vinden van de versmallingen. Hij kon ongeveer 6 op de 10 blokkades vinden. Dat is beter dan niets, maar nog niet perfect. Het is alsof hij een schatkaart heeft, maar soms mist hij een klein stukje van de schat.
• Het herkennen van de aders (De "Kaartlezer"):
  Hij kon de grote, belangrijke aders (de "snelwegen" van het hart) goed herkennen. Maar bij de heel kleine, dunne takjes (de "straatjes") werd hij een beetje verdwaald. Dat is logisch, want die zijn lastiger te zien en er waren minder voorbeelden van in zijn training.
• Het schrijven van het verslag (De "Schrijver"):
  Hier liep het een beetje mis. De AI kon wel een verslag genereren, maar het was vaak niet helemaal accuraat. Soms verzon hij dingen die er niet waren (zoals een takje dat er niet is), en soms miste hij belangrijke blokkades. Het was alsof hij probeerde een verhaal te vertellen, maar soms de feiten door elkaar haalde.

3. Waarom ging het mis bij het schrijven?

De onderzoekers leggen uit dat het schrijven van het verslag heel lastig is. De AI kreeg een heleboel foto's en één groot verslag, maar kreeg geen duidelijke instructie welke foto bij welk stukje tekst hoorde.

Stel je voor dat je iemand een doos met 50 losse puzzelstukjes geeft en vraagt: "Schrijf een verhaal over dit plaatje." De persoon moet dan zelf raden welk stukje bij welk verhaal hoort. Dat is heel moeilijk. De AI had liever gehad dat ze zeiden: "Foto A hoort bij dit stukje tekst, Foto B bij dat stukje."

4. Wat betekent dit voor de toekomst?

Hoewel de AI nog niet klaar is om de arts volledig te vervangen, is dit een belangrijke stap.

• Hulp in plaats van vervanging: De AI kan de arts helpen als een "tweede paar ogen". Hij kan snel de grote blokkades markeren en de arts waarschuwen: "Kijk hier even goed!"
• Tijdwinst: Artsen hoeven niet meer uren te zoeken naar de beste foto's; de AI doet dat in een seconde.
• Hulp in armere landen: In landen waar er niet genoeg gespecialiseerde hartartsen zijn, zou zo'n systeem kunnen helpen om de diagnose sneller te stellen.

Conclusie:
Deze studie is als het bouwen van de eerste motor voor een nieuwe auto. De motor (de AI) kan al redelijk rijden (blokkades vinden), maar de bestuurder (de arts) moet nog wel het stuur vasthouden en de route plannen. Met meer training en betere instructies (meer en betere data) kan deze "digitale hartspecialist" in de toekomst een onmisbare hulp worden in de operatiekamer.

Technische samenvatting

Technische Samenvatting: Visueel-Taalmodel voor Analyse van Coronaire Angiogrammen en Rapportage

1. Het Probleem
Coronaire arteriële ziekte (CAD) is een leidende oorzaak van sterfte wereldwijd. De gouden standaard voor diagnose is invasieve coronaire angiografie. Het interpreteren van deze complexe beelden en het opstellen van klinische rapporten vereist echter aanzienlijke expertise en tijd. Bestaande AI-oplossingen, vaak gebaseerd op diepe neurale netwerken (zoals CathAI of DeepCoro), zijn succesvol in classificatie en segmentatie, maar hebben beperkingen:

• Ze genereren vaak alleen gestructureerde numerieke data en missen de natuurlijke taalinterpretatie die nodig is voor uitgebreide klinische rapporten.
• Ze kunnen subtiele beschrijvende nuances (zoals anatomische afwijkingen of collaterale circulatie) niet vastleggen.
• Er is een behoefte aan systemen die niet alleen stenosen (vernauwingen) detecteren, maar ook volledige, gestructureerde tekstuele rapporten kunnen genereren op basis van meerdere projectiehoeken.

2. Methodologie
De studie ontwikkelde en evalueerde een Vision-Language Model (VLM), specifiek het open-source model InternVL2-4B, dat is fijngefineerd (fine-tuned) met Low-Rank Adaptor (LoRA) weights. De aanpak omvatte een gefaseerde pipeline:

• Datasets: Er werden vier datasets gebruikt: drie open-source (CADICA, ADSD, ARCADE) en één proprietaire dataset (AIMx) van het National Heart Centre Singapore. In totaal werden 20.000 sleutelframes van 1987 patiënten gebruikt.
• Stap 1: Selectie van Sleutelframes (Keyframe Selection):
  • Omdat angiografie-video's veel niet-diagnostische frames bevatten (bijv. voor contrastinjectie), werd eerst een Vision Transformer (ViT) (Google vit-large-patch32-384) getraind om diagnostische sleutelframes te selecteren.
  • Dit model onderscheidt frames met duidelijke vullingen van de bloedvaten van ruis of niet-diagnostische frames.
• Stap 2: Fijnafstemming van het VLM (InternVL2-4B):
  • Het InternVL2-4B model werd getraind op drie kerntaken:
    1. Stenosedetectie: Het lokaliseren en classificeren van vernauwingen.
    2. Anatomie-labeling: Het identificeren van specifieke coronaire vaatsegmenten volgens de SYNTAX-definitie.
    3. Rapportgeneratie: Het genereren van een volledig gestructureerd tekstverslag op basis van meerdere sleutelframes (uit verschillende projectiehoeken) en de bijbehorende diagnose.
• Evaluatiemetrics:
  • Voor detectie en segmentatie werden metrics zoals Precision, Recall, F1-score en Intersection-over-Union (IoU) gebruikt.
  • Voor rapportgeneratie werd de output handmatig vergeleken met grondwahrheid (ground truth) rapporten, waarbij stenose-zwaarte werd gecategoriseerd (niet/mild, matig, ernstig).
  • Een uniek aspect was de evaluatie van IoU: een drempel van 60% overlap werd geaccepteerd voor stenosedetectie (in plaats van de standaard 50%), omdat de locatie van de stenose klinisch belangrijker is dan de exacte pixel-overlap.

3. Belangrijkste Bijdragen

• Eerste toepassing van VLMs: Dit is een van de eerste studies die een Vision-Language Model toepast op coronaire angiogrammen voor zowel detectie als volledige rapportgeneratie.
• Multi-task Learning: Het model is getraind om meerdere taken uit te voeren: van het selecteren van de juiste videoframes tot het genereren van een samenvattend medisch verslag.
• Kritische analyse van metrics: De auteurs benadrukken dat traditionele AI-metrics (zoals IoU) de klinische nauwkeurigheid niet altijd volledig weergeven. Ze tonen aan dat een model een stenose correct kan lokaliseren maar een lage IoU-score kan krijgen door annotatievariaties in de grondwahrheid.
• Open-source benadering: Het gebruik van een open-source model (InternVL2-4B) met LoRA maakt het mogelijk om krachtige modellen te trainen op beperkte hardware (2x NVIDIA RTX 4090).

4. Resultaten

• Sleutelframe-selectie: Het ViT-model presteerde uitstekend met een nauwkeurigheid van 0,86, precisie van 0,89 en recall van 0,93.
• Stenosedetectie: Het VLM behaalde een F1-score van 0,60 (precisie 0,56, recall 0,64). Dit staat in lijn met of beter dan gespecialiseerde neurale netwerken zoals YOLOv8x, hoewel de evaluatiemethoden verschillen.
• Anatomie-labeling: Het model behaalde een gewichtete F1-score van 0,46. De prestaties waren beter voor grote vaatsegmenten (zoals de linkermain en proximale delen) en slechter voor kleinere takken (zoals diagonale arteriën), wat te wijten is aan onbalans in de trainingsdata.
• Rapportgeneratie: Dit was het zwakste punt. Het model behaalde een nauwkeurigheid van 0,42 met een lage precisie (0,19) en recall (0,23).
  • Het model neigde tot "hallucinaties" (bijv. het beschrijven van collaterale circulatie die niet aanwezig was).
  • Het faalde vaak bij het herkennen van ernstige stenosen in specifieke segmenten (zoals de linkermain).
  • De oorzaak wordt gezocht in de "weakly-supervised" aard van de training: meerdere beelden werden gekoppeld aan één samenvattend rapport zonder expliciete koppeling tussen specifiek beeld en specifieke bevinding.

5. Betekenis en Toekomstperspectief

• Potentieel: Ondanks de beperkingen in rapportgeneratie, toont de studie aan dat VLMs potentieel hebben om de workflow te stroomlijnen, de SYNTAX-score te automatiseren en ondersteuning te bieden in hulpbronnen-arme settings.
• Klinische Impact: Een dergelijk systeem kan cardiologen helpen bij het sneller identificeren van over het hoofd geziene laesies en het auditen van medische beslissingen.
• Aanbevelingen voor toekomstig onderzoek:
  • Verbeterde annotatie: In plaats van meerdere beelden te koppelen aan één rapport, moeten individuele beelden worden gelabeld met de bijbehorende specifieke bevindingen.
  • Metadata-integratie: Het toevoegen van projectiehoeken (bijv. cranial-caudal) aan de input kan het model helpen de juiste anatomie te "redeneren".
  • Data-balans: Het trainingsset moet meer gezonde (niet-zieke) angiogrammen bevatten om de vals-positieve rate te verlagen.
  • Modelgrootte: Grotere modellen (zoals InternVL2-26B) zouden kunnen worden getest voor pixel-niveau segmentatie.

Conclusie
De studie biedt een proof-of-concept voor het gebruik van generatieve AI in de interventiecardiologie. Hoewel het model nog niet het niveau van een expert bereikt voor volledige rapportage, is het een veelbelovende stap richting geautomatiseerde, interpreteerbare en actie-informatie leverende systemen voor coronaire angiografie.