AnatomiX, an Anatomy-Aware Grounded Multimodal Large Language Model for Chest X-Ray Interpretation

Il paper presenta AnatomiX, un modello multimodale di grandi dimensioni consapevole dell'anatomia che, attraverso un approccio a due stadi ispirato al flusso di lavoro radiologico, supera le limitazioni delle tecniche di grounding esistenti migliorando significativamente le capacità di ragionamento spaziale e le prestazioni in compiti di interpretazione delle radiografie toraciche.

L'essenziale

Immagina di dover insegnare a un robot a leggere una radiografia del torace (una foto dei polmoni fatta con i raggi X). Finora, i robot più intelligenti (chiamati Modelli Linguistici Multimodali) erano bravissimi a scrivere descrizioni, ma spesso facevano confusione su dove si trovavano le cose. Era come avere un medico che sa tutte le parole della medicina, ma se gli chiedi "dov'è il cuore?", lui potrebbe indicarti il fegato o confondere il lato destro con il sinistro.

Il Problema: Il Medico "Distorto"

I modelli attuali funzionano un po' come un bambino che impara guardando i cartoni animati: se vede un cuore sempre a sinistra, impara che "cuore = sinistra". Ma se gli mostri una radiografia capovolta (come se la guardassi allo specchio), il bambino si blocca e dice: "Non è un cuore!".
Nella medicina, questo è pericoloso. Se un modello confonde il polmone sinistro con il destro, la diagnosi è sbagliata. I modelli attuali si affidano troppo a "indizi visivi" (come le scritte "L" o "R" sulla foto) invece di capire davvero l'anatomia.

La Soluzione: AnatomiX, il "Medico in Due Fasi"

Gli autori hanno creato AnatomiX, un'intelligenza artificiale progettata per pensare esattamente come un radiologo umano. Invece di saltare subito alla diagnosi, AnatomiX segue un processo in due fasi, proprio come un medico esperto:

1. Fase 1: L'Esploratore Anatomico (Il "Rilevatore")
   Prima di parlare, AnatomiX guarda la radiografia e fa una mappatura precisa. Immagina di avere un piccolo esploratore che entra nella foto e dice:

   • "Ecco il cuore, è qui."
   • "Ecco il polmone destro, è qui."
   • "Ecco la clavicola sinistra, è qui."
     Questo passo è fondamentale: il modello identifica e localizza fisicamente ogni organo (36 in totale) prima di cercare di capire cosa c'è che non va. Non indovina più, sa dove sono le cose.

2. Fase 2: Il Diagnosta (Il "Parlatore")
   Una volta che ha la mappa precisa degli organi, AnatomiX usa un "cervello" linguistico (un grande modello di linguaggio) per analizzare ciò che ha trovato.

   • Se l'esploratore ha detto "Il polmone sinistro è qui", il diagnosta guarda solo quella zona e dice: "Ah, in questa zona specifica vedo un'infiammazione".
   • Se l'immagine è capovolta, l'esploratore non si confonde perché riconosce la forma dell'organo, non la sua posizione fissa. Quindi il diagnosta dà la risposta corretta anche se la foto è specchiata.

Perché è diverso dagli altri?

Gli altri modelli sono come un turista che guarda una mappa e dice: "Vedo una macchia rossa, deve essere un problema".
AnatomiX è come un architetto che prima misura le pareti, poi i soffitti, e solo alla fine dice: "La stanza è in ordine".

• Non si fida delle apparenze: Se togli le scritte "L" e "R" dalla radiografia, gli altri modelli vanno in crisi. AnatomiX no, perché ha imparato a riconoscere la forma del polmone, non solo la sua etichetta.
• È preciso: Nei test, AnatomiX ha migliorato le prestazioni di oltre il 25% nel trovare la posizione esatta delle malattie rispetto ai migliori modelli esistenti.

L'Analogia Finale: Il Gioco delle 7 Differenze

Immagina di giocare a "trova le differenze" in due immagini speculari.

• Un modello normale guarda e dice: "Nella foto A il cuore è a sinistra, quindi se vedo una macchia a sinistra è un problema al cuore". Se giri la foto, si perde.
• AnatomiX invece dice: "Aspetta, anche se la foto è girata, quella struttura è il cuore perché ha questa forma specifica. Ora guardo solo quella struttura e vedo che è malata".

In Sintesi

AnatomiX è un'intelligenza artificiale che ha imparato a guardare prima di parlare. Non si limita a indovinare la malattia basandosi su statistiche, ma costruisce una mappa mentale precisa del corpo umano. Questo la rende molto più sicura, affidabile e capace di capire la vera anatomia, anche quando le immagini sono confuse o capovolte. È un passo avanti enorme per aiutare i medici a fare diagnosi più veloci e precise.

Sommario tecnico

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno mostrato progressi significativi nell'interpretazione delle radiografie del torace (CXR). Tuttavia, soffrono di gravi limitazioni nel ragionamento spaziale e nella comprensione anatomica.

• Mancanza di corrispondenza anatomica reale: Le tecniche di "grounding" (allineamento testo-immagine) esistenti spesso falliscono nel stabilire una vera corrispondenza anatomica, portando a errori nella localizzazione delle patologie.
• Fragilità spaziale: I modelli attuali tendono a memorizzare correlazioni spaziali superficiali (es. la posizione dei marker radiografici o l'orientamento standard dell'immagine) piuttosto che riconoscere le strutture anatomiche. Di conseguenza, se un'immagine viene capovolta (left ↔ right), questi modelli falliscono catastroficamente nel distinguere gli organi giusti (es. confondere il polmone sinistro con il destro).
• Processo a singolo passo: I modelli esistenti tentano di rilevare oggetti e svolgere il compito diagnostico in un unico passaggio implicito, a differenza del flusso di lavoro dei radiologi che identifica, localizza e valuta iterativamente le strutture anatomiche prima di trarre conclusioni.

2. Metodologia: AnatomiX

Per colmare questo divario, gli autori introducono AnatomiX, un MLLM specifico per l'interpretazione delle CXR, progettato con una consapevolezza anatomica esplicita. L'architettura si ispira al flusso di lavoro radiologico e adotta un approccio in due fasi:

A. Modulo di Percezione Anatomica (APM - Anatomy Perception Module)

Prima di passare all'LLM, l'immagine viene elaborata da un modulo specializzato che estrae rappresentazioni globali e features fini per 36 oggetti anatomici toracici predefiniti. L'APM è composto da:

1. Codificatore Immagine e Decoder: Utilizza un encoder per ottenere embedding globali e un decoder (ispirato a DETR) con token di oggetto apprendibili per localizzare le 36 strutture anatomiche tramite bounding box.
2. Modulo di Estrazione Features (M): Applica un meccanismo di attenzione incrociata (cross-attention) per estrarre features visive dettagliate per ogni oggetto anatomico localizzato.
3. Allineamento Contrastivo (Training): Durante l'addestramento, le features visive degli oggetti sono allineate con descrizioni testuali radiologiche (es. "Il polmone destro mostra versamento pleurico") utilizzando un encoder di frasi congelato (BiomedBERT).
   • Loss di Auto-Similarità: Viene introdotta una matrice di auto-similarità e una perdita basata sulla divergenza KL (Kullback-Leibler) invece della classica loss contrastiva CLIP. Questo permette di gestire la sovrapposizione naturale delle osservazioni anatomiche (più regioni possono avere patologie correlate) senza penalizzare le correlazioni multiple.
4. Recupero Contrastivo (Inference): Durante l'inferenza, l'encoder di frasi viene sostituito da un Vector Database (VDB) contenente embedding pre-calcolati di tutte le frasi possibili per ogni regione anatomica. Il modello recupera la descrizione testuale più semantica per ogni oggetto localizzato.

B. Large Language Model (LLM)

L'output dell'APM (embedding dell'immagine, bounding box, features degli oggetti e frasi recuperate) viene integrato in un prompt multimodale strutturato e passato a un LLM (basato su MedGemma-4b-it).

• Token Speciali: Il vocabolario dell'LLM è esteso con token specifici per gli oggetti anatomici (<obj_i>) e per il grounding spaziale (<box>, <ref>).
• Ragionamento Esplicito: L'LLM non deve inferire implicitamente le strutture dall'immagine globale; riceve direttamente le features visive e testuali di ogni organo, permettendogli di ragionare direttamente sulla loro condizione.
• Addestramento: Utilizza LoRA (Low-Rank Adaptation) per l'adattamento efficiente su nove task radiologici diversi.

3. Contributi Chiave

1. AnatomiX: Il primo modello MLLM per CXR che adotta un approccio a due stadi, separando esplicitamente l'identificazione e la localizzazione anatomica dal compito diagnostico finale.
2. Superiorità nel Grounding: Dimostrazione che un'architettura orientata all'anatomia supera i modelli SOTA (State-of-the-Art) nel grounding di frasi e strutture anatomiche.
3. Robustezza Spaziale: Validazione che il modello mantiene prestazioni elevate anche su immagini capovolte o prive di marker radiografici, dimostrando una vera comprensione anatomica e non una dipendenza da cue spaziali superficiali.
4. Prestazioni Multi-Task: Mantenimento di prestazioni all'avanguardia (o superiori) su task di generazione di referti, VQA (Visual Question Answering) e comprensione dell'immagine, pur essendo focalizzato sull'anatomia.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un vasto insieme di dataset (MIMIC-CXR, Chest-ImaGenome, VinDr, ecc.) e nove task diversi.

• Grounding Anatomico e di Frasi: AnatomiX supera i modelli concorrenti (RadVLM, CheXagent, MAIRA-2) con un miglioramento superiore al 25% nelle metriche di grounding anatomico (IoU e mAP) e oltre il 15% nel grounding di frasi.
• Robustezza alle Immagini Capovolte:
  • RadVLM (SOTA): Crolla completamente su immagini capovolte (IoU medio ~0.10), confondendo sistematicamente destra e sinistra.
  • AnatomiX: Mantiene prestazioni stabili (IoU medio ~0.71) su immagini capovolte, dimostrando di riconoscere le strutture indipendentemente dall'orientamento.
• Generazione di Referti e Diagnosi: Ottiene il punteggio più alto nella generazione di referti clinici e nelle diagnosi basate su regioni specifiche (Grounded Diagnosis), superando i modelli più grandi (es. MAIRA-2 ha il doppio dei parametri ma prestazioni inferiori in questi task specifici).
• Ablazioni: Gli esperimenti di ablazione confermano che ogni componente dell'APM (token anatomici, bounding box, frasi recuperate) è cruciale per le prestazioni, specialmente per il ragionamento spaziale.

5. Significato e Impatto

Il lavoro di AnatomiX segna un passo fondamentale verso la progettazione di modelli MLLM specifici per il dominio medico.

• Superamento delle "Scorciatoie" (Shortcut Learning): Dimostra che l'addestramento su grandi dataset medici senza un'architettura anatomica esplicita porta i modelli a imparare correlazioni spurie (come la posizione dei marker) invece di comprendere l'anatomia.
• Affidabilità Clinica: La capacità di localizzare correttamente le patologie anche in condizioni non standard (immagini capovolte) è essenziale per l'implementazione sicura di questi strumenti nell'assistenza sanitaria reale.
• Efficienza: Il modello raggiunge prestazioni superiori rispetto a modelli molto più grandi, suggerendo che un'architettura ben progettata e orientata al dominio è più efficace della semplice scalabilità dei parametri.

In sintesi, AnatomiX risolve il problema fondamentale della "cecità anatomica" nei modelli multimodali medici, fornendo un framework robusto per l'interpretazione delle radiografie del torace che combina percezione visiva fine-granularità e ragionamento linguistico clinico.