AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

Each language version is independently generated for its own context, not a direct translation.

🩺 AnatomiX : Le Radiologue qui a vraiment "les yeux" pour l'anatomie

Imaginez que vous essayez d'enseigner à un robot comment lire une radio de thorax (un cliché X-ray). Le problème, c'est que les robots actuels sont comme des étudiants en médecine très forts en théorie, mais qui se perdent dès qu'on leur tourne la feuille de papier dans le sens inverse.

Si vous leur montrez une radio normale, ils disent : "Ah, le cœur est à gauche, les poumons sont bien". Mais si vous retournez l'image (comme dans un miroir), ils paniquent : "Attendez, le cœur est maintenant à droite ? C'est impossible !" Ils confondent la gauche et la droite parce qu'ils ont appris par cœur des motifs visuels plutôt que de vraiment comprendre l'anatomie humaine.

C'est là qu'intervient AnatomiX.

🧠 L'idée géniale : Deux étapes au lieu d'une

Les modèles actuels essaient de tout faire d'un coup : regarder l'image et donner un diagnostic. C'est comme demander à quelqu'un de cuisiner un gâteau complexe sans jamais avoir appris à couper les ingrédients.

AnatomiX, lui, suit la méthode des vrais radiologues humains en deux étapes distinctes :

L'Étape "Détective" (Le Module de Perception Anatomique) :
Avant même de chercher la maladie, AnatomiX prend une grande respiration et dit : "Attends, je dois d'abord trouver les pièces du puzzle."
Il scanne l'image pour localiser précisément chaque organe : le cœur, les deux poumons, les clavicules, le diaphragme, etc. Il dessine mentalement des cadres autour de chaque partie, comme un architecte qui repère les murs d'une maison avant de dire si elle est en bon état.
- L'analogie : C'est comme si vous appreniez à un enfant à reconnaître les pièces d'un Lego. Avant de construire la tour, il doit savoir où est la pièce rouge, où est la pièce bleue, et où est la pièce jaune.
L'Étape "Médecin" (Le Grand Modèle de Langage) :
Une fois que le robot sait exactement où se trouve chaque organe, il passe le relais à son cerveau "médecin". Ce cerveau utilise les informations précises de l'étape précédente pour répondre aux questions : "Y a-t-il une pneumonie dans le poumon gauche ?", "Peux-tu décrire ce que tu vois ici ?" ou "Où se trouve exactement cette tache ?".

🔄 Pourquoi c'est révolutionnaire ? (L'expérience du miroir)

Les auteurs ont fait un test génial pour prouver leur méthode. Ils ont pris des radios et les ont retournées horizontalement (gauche devient droite).

Les anciens robots (comme RadVLM) : Ils se trompent complètement. Ils disent que le cœur est à droite, ou qu'une maladie est dans le mauvais poumon. Ils sont comme des gens qui lisent un texte à l'envers et ne comprennent plus rien.
AnatomiX : Il reste calme. Il dit : "Ah, l'image est retournée, mais je sais que le cœur est toujours l'organe central et que le poumon gauche est toujours à la place du poumon gauche, même si l'image est inversée." Il comprend la structure du corps, pas juste l'apparence de l'image.

🛠️ Comment ça marche concrètement ?

Imaginez que AnatomiX est un chef d'orchestre très organisé :

Le Chef d'orchestre (Le Modèle) : Il ne joue pas de musique lui-même, il dirige.
Les Musiciens (Les Organes) : Avant que la musique ne commence, le chef demande à chaque musicien (cœur, poumons, etc.) de se lever et de dire : "Je suis ici !"
Le Livret de partition (La Base de données) : Le chef a un petit livre qui lui dit : "Si le poumon gauche dit 'Je suis là', alors il faut vérifier s'il y a de la fièvre ou de l'eau dedans."
La Performance : Grâce à cette organisation, quand on lui demande "Où est la maladie ?", il ne devine pas au hasard. Il regarde le musicien concerné et donne la réponse exacte.

🏆 Les Résultats

Grâce à cette approche, AnatomiX bat tous les autres robots sur des tâches difficiles :

Localisation précise : Il peut pointer du doigt (avec un cadre rouge sur l'image) exactement où se trouve une maladie, avec une précision de plus de 25% supérieure aux autres.
Compréhension vraie : Il ne se trompe plus quand on inverse l'image.
Rapports clairs : Il écrit des comptes-rendus médicaux qui sont à la fois précis et faciles à lire.

En résumé

AnatomiX est un nouveau type d'intelligence artificielle pour les radios thoraciques qui a appris à ne pas se fier uniquement à l'apparence de l'image, mais à comprendre la géographie du corps humain.

C'est la différence entre quelqu'un qui mémorise une photo d'une ville et quelqu'un qui possède une carte mentale de cette ville. Si vous retournez la photo, le premier est perdu, mais le second sait toujours où se trouve la mairie, même si l'image est inversée !

C'est un grand pas en avant pour aider les médecins à poser des diagnostics plus sûrs et plus rapides. 🚀🩺

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

Les modèles de langage multimodaux (MLLM) ont montré des progrès significatifs dans l'interprétation des radiographies thoraciques (CXR). Cependant, ils souffrent de limitations majeures dans le raisonnement spatial et la compréhension anatomique.

Le problème de l'ancrage (Grounding) : Bien que les techniques d'ancrage existantes améliorent les performances globales, elles échouent souvent à établir une correspondance anatomique réelle. Les modèles tendent à se fier à des corrélations spatiales superficielles (par exemple, la position des marqueurs radiographiques ou l'orientation standard de l'image) plutôt qu'à reconnaître les structures anatomiques elles-mêmes.
Échec sur les images inversées : Comme illustré dans le papier, les modèles de l'état de l'art (SOTA) comme RadVLM échouent complètement à identifier les bons objets anatomiques lorsque l'image est inversée horizontalement (gauche ↔ droite), révélant une dépendance excessive aux indices d'orientation plutôt qu'à une compréhension sémantique de l'anatomie.
Processus unique insuffisant : Les approches actuelles tentent d'accomplir la tâche finale (diagnostic, rapport) en une seule étape, sans explicitement modéliser et localiser les structures thoraciques au préalable, contrairement au flux de travail itératif des radiologues.

2. Méthodologie : AnatomiX

Pour combler ce fossé, les auteurs proposent AnatomiX, un modèle MLLM conscient de l'anatomie, conçu selon une approche en deux étapes inspirée du flux de travail radiologique.

A. Module de Perception Anatomique (APM)

L'APM est le cœur de l'innovation. Il ne se contente pas de coder l'image globalement, mais extrait des caractéristiques fines pour $N$ objets anatomiques thoraciques (36 structures définies).

Architecture : Il comprend un encodeur d'image ( $E$ ), un décodeur ( $D$ ), un module d'extraction de caractéristiques ( $M$ ) et un encodeur de phrases ( $S$ ).
Détection et Localisation : Le décodeur, inspiré de DETR, utilise des tokens d'objets apprenables pour prédire les boîtes englobantes ( $\hat{y}_{box}$ ) de chaque structure anatomique.
Extraction de caractéristiques fines : Le module $M$ utilise une attention croisée pour extraire des représentations vectorielles spécifiques ( $\hat{O}_A$ ) pour chaque objet anatomique localisé.
Alignement Contrastif Adapté :
- Le modèle aligne les tokens visuels des objets avec des descriptions textuelles radiologiques ( $S_t$ ).
- Innovation clé : Au lieu d'une perte contrastive standard (type CLIP) qui suppose une seule paire image-texte positive, AnatomiX utilise une matrice de similarité auto-similaire et une divergence KL. Cela permet de gérer la co-occurrence naturelle des pathologies (ex: une image peut montrer à la fois un épanchement et une atelectasie) sans introduire de faux négatifs.
Inférence : Lors de l'inférence, l'encodeur de phrases est remplacé par une base de données vectorielle (VDB) contenant des phrases pré-calculées pour chaque région anatomique, permettant une récupération rapide des descriptions contextuelles les plus pertinentes.

B. Grand Modèle de Langage (LLM)

Base : Le modèle utilise l'architecture MedGemma-4b-it.
Intégration : Les sorties de l'APM (embeddings d'image, tokens d'objets anatomiques $\hat{O}_A$ , boîtes $\hat{y}_{box}$ , et phrases récupérées $\hat{S}_t$ ) sont projetées dans l'espace d'embedding du LLM via des projecteurs fully-connected.
Tokens Spéciaux : Le vocabulaire est étendu avec des tokens spéciaux pour les objets anatomiques (<obj_i>) et l'ancrage spatial (<box>, <ref>). Cela permet au LLM de raisonner directement sur les caractéristiques visuelles de chaque organe plutôt que sur une représentation globale floue.
Entraînement : Utilisation de l'adaptation à faible rang (LoRA) pour le fine-tuning sur neuf tâches radiologiques.

3. Contributions Clés

Architecture AnatomiX : Introduction d'un pipeline en deux étapes qui sépare explicitement la perception anatomique (localisation et extraction de caractéristiques) de la génération de réponse, imitant le processus cognitif du radiologue.
Alignement Contrastif Doux : Développement d'une fonction de perte basée sur la similarité auto-similaire et la divergence KL pour gérer les chevauchements de pathologies, évitant les limitations des pertes contrastives binaires classiques.
Robustesse Anatomique : Démonstration que le modèle ne dépend pas des marqueurs d'orientation ou des corrélations spatiales superficielles, mais comprend véritablement la sémantique anatomique.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (MIMIC-CXR, VinDr, Chest-ImaGenome, etc.) couvrant quatre catégories de tâches : ancrage, génération de rapports, VQA et compréhension d'image.

Ancrage Anatomique et Phrasé : AnatomiX surpasse les modèles SOTA (RadVLM, CheXagent, MAIRA-2) avec une amélioration de plus de 25 % sur les tâches d'ancrage anatomique et de plus de 15 % sur l'ancrage phrasé.
Robustesse aux Inversions : Sur des images inversées horizontalement (sans marqueurs), RadVLM voit ses performances chuter drastiquement (IoU moyen de 0.108), tandis qu'AnatomiX maintient des performances élevées (IoU moyen de 0.712), prouvant sa capacité à distinguer la gauche de la droite par la structure anatomique et non par des indices visuels.
Génération de Rapports et VQA : Le modèle atteint des performances SOTA ou équivalentes sur la génération de rapports cliniques et les questions-réponses visuelles, tout en étant plus efficace en termes de paramètres que certains concurrents (ex: Radialog, MAIRA-2).
Ablations : Les expériences d'ablation confirment que chaque composant (tokens anatomiques $\hat{O}_A$ , boîtes $\hat{y}_{box}$ , phrases récupérées $\hat{S}_t$ ) est crucial. La combinaison de tous les éléments offre les meilleurs résultats.

5. Signification et Impact

Ce travail marque une étape importante vers la conception de modèles multimodaux spécifiques au domaine médical.

Il démontre que le simple fine-tuning de modèles généraux sur des données médicales ne suffit pas pour résoudre les problèmes de raisonnement spatial fin.
En intégrant une conscience anatomique explicite, AnatomiX améliore la fiabilité clinique, permettant aux médecins de vérifier visuellement les prédictions du modèle (via les boîtes et les descriptions localisées).
La méthode ouvre la voie à l'application de ces principes d'architecture "consciente de l'anatomie" à d'autres modalités d'imagerie médicale (IRM, TDM) et à des interactions multi-tours plus complexes.

En résumé, AnatomiX résout le problème critique de l'illusion de compréhension spatiale dans les MLLM médicaux en forçant le modèle à modéliser explicitement les structures anatomiques avant de générer un diagnostic ou un rapport.