Merlin: A Computed Tomography Vision-Language Foundation Model and Dataset

Le papier présente Merlin, un modèle fondationnel vision-langage 3D entraîné sur un vaste ensemble de données cliniques pour l'analyse automatisée des scanners abdominaux, surpassant les modèles existants sur une large gamme de tâches diagnostiques, pronostiques et de qualité tout en garantissant une forte généralisation inter-sites.

L'essentiel

🧙‍♂️ Merlin : Le Super-Héros de l'Intelligence Artificielle Médicale

Imaginez que vous êtes un radiologue. Votre travail consiste à examiner des centaines de coupes d'images (comme des tranches de pain) d'un scanner abdominal pour trouver des maladies. C'est un travail épuisant, qui demande une concentration de fer, et il y a une pénurie mondiale de médecins capables de faire cela.

Les chercheurs de Stanford ont créé Merlin, une nouvelle intelligence artificielle (IA) conçue pour être le "super-assistant" de ces médecins. Voici comment ça marche, sans jargon technique compliqué.

1. Le Problème : Regarder une image, c'est bien ; comprendre le contexte, c'est mieux

Avant Merlin, les IA médicales étaient un peu comme des enfants qui apprennent à lire en regardant seulement des images, sans jamais lire les livres qui les accompagnent.

• L'ancienne méthode : On montrait à l'IA une image de foie et on lui disait "c'est sain" ou "c'est malade". Mais l'IA ne comprenait pas pourquoi.
• Le problème du 3D : Les scanners médicaux sont en 3D (des volumes), mais la plupart des IA ne regardaient que des images plates en 2D (comme feuilleter un livre page par page au lieu de le lire en entier). C'est lent et ça manque de détails.

2. La Solution : Merlin, l'élève qui lit tout

Merlin est différent. C'est un modèle "Fondation" (un peu comme un génie qui a lu toute la bibliothèque de la médecine avant même de commencer ses études).

• Il voit en 3D : Au lieu de regarder une tranche à la fois, Merlin regarde tout le volume du scanner d'un coup, comme si vous regardiez un objet en 3D avec vos yeux, et non pas en feuilletant des pages.
• Il lit les rapports : Merlin ne se contente pas de regarder l'image. Il lit aussi les rapports écrits par les radiologues humains et les dossiers médicaux (EHR). Il associe l'image à la description textuelle.
  • L'analogie : Imaginez un détective qui regarde une photo de crime ET qui lit le témoignage du témoin en même temps. Il comprend beaucoup mieux la scène que celui qui ne regarde que la photo.

3. Comment l'a-t-on entraîné ? (La recette secrète)

Pour entraîner Merlin, les chercheurs n'ont pas eu besoin de payer des médecins pour annoter chaque image (ce qui coûte très cher et prend du temps).

• Ils ont utilisé des données "brutes" : des millions de scanners abdominaux couplés aux rapports que les médecins écrivaient déjà pour les patients.
• L'astuce : Merlin a appris à faire le lien entre "ce qu'il voit sur l'image" et "ce que le médecin a écrit". C'est comme apprendre une langue étrangère en regardant des films avec les sous-titres : on comprend le sens sans avoir besoin d'un professeur à chaque mot.
• Le résultat : Merlin a été entraîné sur une seule carte graphique (un composant d'ordinateur), ce qui prouve que n'importe quel hôpital peut créer son propre assistant IA sans avoir besoin de super-ordinateurs coûteux.

4. Que sait faire Merlin ? (Ses super-pouvoirs)

Les chercheurs ont testé Merlin sur 752 tâches différentes. Voici ce qu'il sait faire :

• Le Détective (Classification "Zero-shot") : Vous pouvez lui demander : "Y a-t-il un anévrisme ?" même s'il n'a jamais été spécifiquement entraîné sur cette question précise. Il devine grâce à sa compréhension générale. C'est comme si vous lui demandiez de trouver un chat dans une photo, même s'il n'a jamais vu de chat, mais qu'il connaît le concept de "petit animal poilu".
• Le Prévoyant (Prédiction de maladie) : Il peut regarder un scanner d'un patient en bonne santé aujourd'hui et prédire s'il risque de développer une maladie (comme le diabète ou des problèmes cardiaques) dans les 5 prochaines années. C'est comme voir les premières fissures dans un mur avant que la maison ne s'effondre.
• Le Secrétaire (Génération de rapports) : Il peut rédiger un brouillon de rapport médical en décrivant ce qu'il voit. Cela aide le radiologue à gagner du temps.
• Le Peintre (Segmentation 3D) : Il peut colorier automatiquement chaque organe (foie, reins, rate) sur l'image en 3D, comme un coloriage magique ultra-précis.

5. Pourquoi est-ce une révolution ?

• Généralisation : Merlin a été entraîné sur des scanners abdominaux, mais il fonctionne aussi très bien sur des scanners du thorax (poumons) et sur des données venant d'autres hôpitaux, même avec des machines différentes. C'est comme un cuisinier qui sait cuisiner avec des ingrédients locaux, mais qui s'adapte aussi aux épices d'un autre pays.
• Moins de données, plus de résultats : Merlin bat les anciennes IA même avec très peu d'exemples pour apprendre une nouvelle tâche.
• Accessibilité : Comme il a été entraîné sur un seul ordinateur, cela ouvre la porte à des hôpitaux plus petits pour créer leurs propres IA, sans attendre que les géants de la tech le fassent pour eux.

En résumé

Merlin, c'est comme donner à un radiologue un assistant qui a lu tous les livres de médecine, qui voit en 3D, qui comprend le langage humain, et qui ne se fatigue jamais. Son but n'est pas de remplacer le médecin, mais de le soulager de la fatigue et de l'aider à ne rien manquer, pour que les patients soient soignés plus vite et mieux.

Les chercheurs ont même rendu tout cela gratuit (code et données) pour que tout le monde puisse l'utiliser et l'améliorer ! 🚀

Résumé technique

1. Problématique

Le domaine de l'imagerie médicale fait face à une crise de capacité : plus de 85 millions de scanners (CT) sont réalisés annuellement aux États-Unis, dont environ un quart concerne l'abdomen. Ces examens sont complexes, souvent composés de plus de 300 tranches par série, nécessitant jusqu'à 20 minutes d'interprétation par radiologue. Parallèlement, le nombre de résidents en radiologie reste stable, créant une pénurie de personnel projetée à plus de 19 000 d'ici 2036.

Les approches d'intelligence artificielle actuelles présentent plusieurs limites :

• Modèles 2D : La plupart des modèles d'IA médicaux actuels traitent les images en 2D (slice par slice), ce qui est inefficace pour capturer les corrélations 3D volumiques des structures anatomiques.
• Données étiquetées : L'entraînement supervisé traditionnel nécessite des annotations manuelles coûteuses et longues à produire.
• Modèles unimodaux : Les modèles existants ignorent souvent les données structurées des dossiers de santé électroniques (DSE/EHR) et se concentrent uniquement sur l'image.
• Manque de généralisation : Il existe un manque de modèles "fondation" (Foundation Models) capables de traiter nativement des volumes 3D entiers tout en s'appuyant sur des rapports textuels non structurés et des codes de diagnostic structurés pour l'entraînement.

2. Méthodologie : Le Modèle Merlin

Les auteurs proposent Merlin, un modèle fondation Vision-Language (VLM) conçu spécifiquement pour les scanners abdominaux 3D.

A. Données d'entraînement

Merlin est entraîné sur un jeu de données clinique de haute qualité, dérivé de 15 331 scanners CT abdominaux (soit plus de 6,3 millions d'images 2D), couplés à :

• Rapports de radiologie non structurés : Plus de 6 millions de tokens (sections "constatations" ou findings).
• Codes de diagnostic structurés (EHR) : Plus de 1,8 million de codes ICD (ICD-9 et ICD-10) regroupés en phénotypes via la cartographie PheWAS.
• Prétraitement : Les volumes CT sont reformatés, rééchantillonnés (1,5 mm in-plane, 3 mm out-of-plane) et normalisés. Les rapports sont divisés par sections anatomiques pour un apprentissage contrastif plus fin.

B. Architecture

• Encodeur d'images (Vision) : Utilise un ResNet-152 3D "inflé" (I3D). Les poids pré-entraînés en 2D (ImageNet) sont réutilisés et étendus à la troisième dimension. Cette architecture permet de traiter le volume 3D entier simultanément, contrairement aux approches 2D empilées.
• Encodeur de texte (Language) : Utilise Clinical Longformer, capable de gérer des séquences longues (jusqu'à 4096 tokens), essentiel pour les rapports médicaux complets qui dépassent souvent les limites des modèles CLIP standards (77 ou 256 tokens).
• Objectif d'apprentissage :
  • Apprentissage contrastif (InfoNCE Loss) : Alignement entre les embeddings d'images CT et les rapports de radiologie.
  • Classification multi-tâche (Binary Cross-Entropy) : Prédiction des phénotypes à partir des codes ICD/EHR.
  • Stratégie d'entraînement : Le modèle utilise un apprentissage multi-tâche simultané (EHR + Rapports) plutôt qu'un entraînement par étapes, ce qui s'est avéré supérieur.

C. Efficacité computationnelle

Un point clé de la méthodologie est la capacité d'entraîner ce modèle fondation sur une seule carte graphique NVIDIA A6000 (48 Go), rendant la technologie accessible aux hôpitaux et institutions de recherche aux ressources limitées.

3. Contributions Clés

1. Premier VLM 3D natif pour l'abdomen : Merlin traite les volumes CT 3D complets en une seule passe, capturant les dépendances spatiales complexes que les modèles 2D ou 2D-à-3D (slice-aggregation) manquent.
2. Fusion de données hétérogènes : Intégration simultanée de données non structurées (rapports) et structurées (codes EHR) pour l'entraînement, sans nécessiter d'annotations manuelles supplémentaires.
3. Évaluation exhaustive : Le modèle est évalué sur 6 types de tâches et 752 tâches individuelles, couvrant à la fois des scénarios "zero-shot" (sans adaptation) et des tâches adaptées (fine-tuning).
4. Législation des données (Data Scaling Laws) : Les auteurs dérivent des lois d'échelle empiriques montrant comment la performance augmente avec la taille du jeu de données, offrant des directives pour les futurs entraînements.
5. Ressources ouvertes : Publication du modèle, du code et du jeu de données (Merlin Abdominal CT dataset) pour la communauté.

4. Résultats

Merlin a été validé sur un ensemble de test interne (5 137 CT) et externe (44 098 CT provenant de trois sites différents et de deux jeux de données publics : VerSe et TotalSegmentator).

A. Tâches "Zero-Shot" (Sans adaptation)

• Classification de constats (Findings) : Merlin atteint un score F1 moyen de 0,741 en interne et 0,647 en externe, surpassant significativement les modèles 2D (OpenCLIP, BioMedCLIP) même après fine-tuning.
• Classification de phénotypes : Prédiction de 692 phénotypes avec un AUROC moyen de 0,812.
• Récupération croisée (Cross-modal Retrieval) : Merlin excelle dans la recherche de rapports à partir d'images et vice-versa, démontrant une forte capacité de généralisation même sur des textes "hors distribution" (sections impressions non vues à l'entraînement).

B. Tâches Adaptées (Fine-tuning)

• Prédiction de maladies chroniques (5 ans) : Prédiction de l'apparition de 6 maladies (ex: diabète, maladie rénale) avec un AUROC de 0,757, surpassant les modèles basés uniquement sur l'image.
• Génération de rapports : Merlin génère des rapports structurés par section anatomique, surpassant le modèle de référence RadFM sur les métriques RadGraph-F1 et BERT Score, bien qu'il tende encore à sous-déclarer certains constats positifs.
• Segmentation sémantique 3D : Sur 20 organes, Merlin (initialisé avec ses poids pré-entraînés) surpasse le modèle standard nnUNet, particulièrement en régime de données rares (10% des données), avec une amélioration de Dice de 4,7% en moyenne.

C. Comparaison avec les architectures alternatives

Merlin surpasse systématiquement :

• Les VLM 2D finetunés (OpenCLIP, BioMedCLIP).
• Les modèles 2D-à-3D "lifted" (aggrégation de tranches).
• Les modèles 3D vision-only (SwinUNETR, I3D ResNet sans supervision textuelle).
• Les modèles fondation récents (MedImageInsight, Google CT Foundation).

L'analyse d'ablation confirme que l'initialisation I3D, l'apprentissage multi-tâche (EHR + Rapports) et le fractionnement des rapports anatomiques sont des facteurs critiques de performance.

5. Signification et Impact

• Réduction de la charge des radiologues : Merlin peut servir d'assistant pour générer des ébauches de rapports, identifier des constats manqués, et accélérer le flux de travail.
• Découverte de biomarqueurs : La capacité du modèle à extraire des informations physiologiques à partir de scanners existants permet une analyse opportuniste pour la stratification des risques de maladies futures.
• Accessibilité : La démonstration qu'un modèle fondation 3D performant peut être entraîné sur un seul GPU démocratise le développement de l'IA médicale, permettant aux hôpitaux de créer leurs propres modèles adaptés à leurs populations locales.
• Robustesse : La performance maintenue sur des données externes provenant de différents fabricants de scanners et de différentes pratiques de rapportage démontre une forte capacité de généralisation, essentielle pour le déploiement clinique réel.

En conclusion, Merlin représente une avancée majeure vers des modèles d'IA médicaux véritablement fondationnels, capables de comprendre la complexité 3D des examens CT tout en exploitant la richesse sémantique des données cliniques associées.