Vision Language Model for Coronary Angiogram Analysis and Report Generation: Development and Evaluation Study

Cette étude évalue la capacité d'un modèle de vision-langage (InternVL2-4B) finement ajusté à analyser des angiogrammes coronariens et à générer des rapports cliniques, démontrant son potentiel pour optimiser l'interprétation et le soutien aux décisions médicales malgré des performances actuelles inférieures à l'expertise humaine.

L'essentiel

🩺 Le Problème : L'Enquêteur Fatigué

Imaginez que le cœur d'un patient est une ville complexe avec de nombreuses routes (les artères). Parfois, ces routes sont bouchées par des embouteillages (ce qu'on appelle des sténoses ou rétrécissements). Pour voir ces bouchons, les médecins utilisent une caméra spéciale qui prend des milliers de photos en vidéo pendant une opération appelée coronarographie.

Le problème ? Un cardiologue doit regarder cette vidéo, qui peut durer plusieurs minutes, pour trouver les bouchons, les décrire et écrire un rapport médical détaillé. C'est comme demander à un détective de lire un roman de 500 pages en une heure, tout en notant chaque détail. C'est épuisant, long, et parfois, sous la fatigue, on peut rater un petit détail.

🤖 La Solution : Un "Super-Assistant" IA

Les chercheurs de Singapour ont voulu créer un assistant intelligent (une Intelligence Artificielle) capable de regarder ces vidéos, de repérer les bouchons, de nommer les routes et d'écrire le rapport à la place du médecin.

Mais attention, ils ne voulaient pas juste un robot qui dit "Oui/Non" (bouché ou pas). Ils voulaient un robot qui parle et écrit comme un médecin. C'est là qu'intervient la technologie de l'article : un Modèle de Vision et de Langage (VLM).

🛠️ Comment ont-ils construit ce robot ? (L'Analogie de l'Apprenti)

Imaginez que vous voulez apprendre à un enfant à reconnaître les voitures.

1. Le modèle de base : Ils ont pris un cerveau d'IA très intelligent (appelé InternVL2-4B) qui a déjà vu des millions d'images de chats, de chiens et de voitures. C'est comme un enfant qui sait ce qu'est une "voiture" en général.
2. Le problème : Si vous montrez une photo d'une artère du cœur à ce modèle, il sait que c'est une image, mais il ne sait pas distinguer la "route principale" de la "petite ruelle", ni voir un bouchon caché. Il est trop généraliste.
3. La formation (Fine-tuning) : Les chercheurs ont donc donné à ce modèle un "cours intensif" spécial. Ils lui ont montré 20 000 photos de vraies artères cardiaques, accompagnées de la réponse correcte (où est le bouchon ? quelle est la route ?).
   • Ils ont aussi créé un petit filtre (un trieur) pour ne garder que les photos nettes et utiles de la vidéo, en jetant celles qui sont floues ou inutiles.

📊 Les Résultats : Ce qui fonctionne et ce qui échoue

Voici le bilan de l'élève après son examen :

✅ Ce qu'il fait très bien (Le Détective Visuel) :

• Repérer les bouchons : Il arrive à trouver les zones rétrécies avec une bonne précision. C'est comme s'il avait un bon œil pour repérer les embouteillages.
• Nommer les routes : Il sait dire "C'est la route principale (Artère Coronaire Gauche)" ou "C'est la petite branche". Sur les grosses routes, il est excellent. Sur les très petites ruelles, il se trompe un peu plus souvent, car il y en a moins dans son manuel d'apprentissage.

❌ Ce qui est difficile (L'Écrivain) :

• Écrire le rapport final : C'est là que ça coince. Le modèle arrive à voir les bouchons, mais quand il doit écrire un résumé complet en langage naturel (comme un médecin), il fait des erreurs.
  • Parfois, il invente des choses (hallucinations) : il dit "il y a une route détournée" alors qu'il n'y en a pas.
  • Parfois, il manque des détails importants.
  • Pourquoi ? Imaginez que vous lui montrez 5 photos d'une maison et que vous lui dites : "Écris un rapport sur cette maison". Il a du mal à savoir quelle photo correspond à quelle phrase du rapport. Il a besoin d'un lien plus direct entre chaque image et chaque phrase.

💡 Pourquoi est-ce important ?

Même si le robot n'est pas encore parfait pour écrire le rapport final, cette étude est une révolution pour deux raisons :

1. L'avenir de la médecine : Ce genre d'IA pourrait aider les médecins dans les pays où il y a peu de spécialistes. Un médecin généraliste pourrait utiliser l'IA pour s'assurer qu'il ne rate rien avant de décider d'une opération.
2. Gain de temps : Imaginez un assistant qui prépare le brouillon du rapport. Le médecin n'aurait plus qu'à vérifier et signer. Cela libérerait du temps pour s'occuper des patients.

🚀 Conclusion en une phrase

Les chercheurs ont prouvé qu'on peut enseigner à une intelligence artificielle à "voir" et à "comprendre" les artères cardiaques presque aussi bien qu'un humain, mais il reste encore du travail pour lui apprendre à "raconter" l'histoire de manière parfaite. C'est un premier pas énorme vers un futur où l'IA est le partenaire de confiance du cardiologue.

Résumé technique

Titre : Modèle Vision-Language pour l'Analyse et la Génération de Rapports d'Angiogrammes Coronariens : Étude de Développement et d'Évaluation

1. Problématique

La maladie coronarienne (MC) est une cause majeure de morbidité et de mortalité mondiale. L'angiographie coronaire invasive reste l'étalon-or pour son diagnostic. Cependant, l'interprétation de ces images complexes et la production de rapports cliniques détaillés exigent une expertise spécialisée et sont chronophages.
Bien que plusieurs études aient tenté d'utiliser l'intelligence artificielle (IA) pour automatiser cette tâche, la plupart des modèles existants (basés sur des réseaux de neurones convolutifs ou des transformers) se limitent à la classification ou à la segmentation. Ils échouent souvent à générer des rapports textuels naturels et complets contenant des nuances descriptives cliniques (anomalies anatomiques, présence de collatérales, implication des ostiums). Il existe donc un besoin critique de systèmes capables non seulement de détecter des sténoses, mais aussi de comprendre le contexte anatomique et de générer un rapport structuré en langage naturel.

2. Méthodologie

L'étude propose un pipeline complet basé sur un Modèle Vision-Language (VLM) open-source, InternVL2-4B, finetuné pour quatre tâches croissantes en complexité :

• Données :
  • Utilisation de quatre jeux de données : trois publics (CADICA, ADSD, ARCADE) et un jeu de données propriétaire (AIMx) du National Heart Centre de Singapour (345 patients, vidéos brutes et rapports textuels).
  • Total de 20 000 images clés extraites de 1987 patients.
• Sélection d'images clés (Keyframe Selection) :
  • Un modèle ViT (Google vit-large-patch32-384) a été finetuné pour distinguer les images diagnostiques (remplies de contraste) des images non diagnostiques (pré-injection ou post-dissipation).
  • Objectif : Réduire la charge computationnelle et le bruit pour les étapes suivantes.
• Détection de sténoses et Étiquetage anatomique :
  • Le modèle InternVL2-4B a été finetuné avec des poids LoRA (Low-Rank Adaptor) sur deux GPU NVIDIA RTX 4090.
  • Détection de sténoses : Évaluation basée sur des boîtes englobantes (bounding boxes). Une tolérance spécifique a été appliquée : une prédiction est considérée comme un Vrai Positif (TP) si elle a un IoU > 0,5 ou si 60 % de sa surface chevauche la vérité terrain (pour éviter les faux négatifs sur les localisations correctes mais petites).
  • Étiquetage anatomique : Segmentation des segments artériels selon la nomenclature SYNTAX.
• Génération de rapports :
  • Le VLM reçoit plusieurs images clés (une par vue angiographique) et doit générer un rapport textuel consolidé.
  • La sévérité des sténoses est classée en trois catégories : Nulle/Légère (0-49 %), Modérée (50-70 %), Sévère (>70 %).
  • L'évaluation est manuelle, comparant les affirmations du modèle au rapport de vérité terrain.

3. Contributions Clés

• Première application d'un VLM : C'est la première étude à explorer l'utilisation d'un modèle Vision-Language pour l'interprétation complète d'angiogrammes coronariens, incluant la génération de rapports textuels à partir de multiples projections.
• Approche hybride de fine-tuning : Utilisation de LoRA pour adapter un modèle fondationnel (InternVL2-4B) à des tâches médicales complexes avec des ressources de calcul limitées.
• Analyse critique des métriques : L'étude met en lumière les limites des métriques standard (comme l'IoU) dans le contexte médical, démontrant qu'elles peuvent sous-estimer la performance clinique réelle (ex: une localisation correcte mais une boîte plus petite peut être pénalisée injustement).
• Comparaison avec l'état de l'art : Le modèle VLM a été comparé à un modèle de segmentation spécialisé (YOLOv8x), montrant des performances comparables pour la détection de sténoses.

4. Résultats

• Sélection d'images clés : Le modèle ViT a atteint une excellente performance avec une précision de 0,89, un rappel de 0,93 et une F1-score de 0,91.
• Détection de sténoses : Le VLM finetuné a obtenu une précision de 0,56, un rappel de 0,64 et un F1-score de 0,60. Ces résultats sont comparables, voire supérieurs, aux modèles de segmentation traditionnels (YOLOv8x) sur les mêmes données, bien que les métriques ne soient pas directement comparables en raison de différences de définition (boîtes vs pixels).
• Étiquetage anatomique : Performance pondérée de 0,50 (précision), 0,43 (rappel) et 0,46 (F1). Le modèle excelle sur les gros vaisseaux (tronc commun, artère circonflexe proximale) mais échoue sur les branches distales et fines, en raison d'un déséquilibre dans les données d'entraînement.
• Génération de rapports : C'est le point faible du système.
  • Précision : 0,19 et Rappel : 0,23.
  • Le modèle a tendance à halluciner (décrire des collatérales inexistantes) et à manquer des sténoses cliniquement significatives (ex: aucune détection de sténose sur le tronc commun alors qu'il y en avait 5 cas).
  • La cause principale identifiée est le manque de supervision explicite : le modèle reçoit plusieurs images pour un seul rapport global, sans indication précise de quelle image correspond à quelle phrase du rapport (problème d'apprentissage faiblement supervisé).

5. Signification et Perspectives

• Potentiel Clinique : Bien que le modèle ne soit pas encore prêt pour une utilisation clinique autonome en génération de rapports, il démontre la faisabilité d'automatiser l'analyse des angiogrammes. Un tel système pourrait assister les cardiologues en :
  • Réduisant le temps de rédaction des rapports.
  • Servant d'outil de vérification pour éviter les omissions de lésions.
  • Facilitant le calcul automatique de scores complexes comme le score SYNTAX.
  • Améliorant l'accès aux soins dans les régions à ressources limitées.
• Limitations et Futur : Les principaux obstacles sont le manque de données annotées image-par-image (nécessaire pour guider le raisonnement du modèle) et le déséquilibre des classes (trop de cas pathologiques, peu de cas normaux).
• Conclusion : Cette étude pose les bases d'une nouvelle approche pour l'IA en cardiologie interventionnelle. Elle suggère que l'avenir réside dans l'annotation fine (couplage image-rapport spécifique) et l'intégration des métadonnées (angles de projection) pour améliorer la capacité de raisonnement des VLMs.