Enhancing Fine-Grained Spatial Grounding in 3D CT Report Generation via Discriminative Guidance

Titolo

Miglioramento del Grounding Spaziale Fine-Grained nella Generazione di Referti CT 3D tramite Guida Discriminativa

1. Il Problema

I modelli Vision-Language (VLM) per la generazione automatica di referti radiologici (RRG) mostrano un potenziale significativo per migliorare l'efficienza e la coerenza del flusso di lavoro radiologico. Tuttavia, gli approcci esistenti presentano due limitazioni critiche:

1. Supervisione Grossolana: L'addestramento spesso allinea l'intero volume CT con un referto testuale libero, senza un allineamento esplicito per attributi fini o per le posizioni specifiche delle patologie.
2. Valutazione Non Diagnostica: Le metriche di valutazione sono solitamente olistiche (sovrapposizione lessicale, matching di entità o punteggi basati su LLM) e non sono in grado di valutare rigorosamente il "grounding" spaziale (cioè la capacità di localizzare precisamente una patologia all'interno dell'immagine).
3. Accoppiamento Rigido: I metodi precedenti che tentano di migliorare l'allineamento (es. tramite segmentazione o classificatori ausiliari) accoppiano strettamente il VLM all'architettura del modello ausiliario. Se il modello di classificazione viene aggiornato, l'intero VLM deve essere riaddestrato, rendendo il sistema poco flessibile e costoso.

2. Metodologia: DCP-PD

Gli autori propongono DCP-PD (Discriminative Cue-Prompting with Prompt Dropout), un framework "plug-and-play" che guida la generazione dei referti utilizzando segnali discriminativi senza accoppiare il modello linguistico a un classificatore specifico.

Il processo si articola in tre fasi principali:

A. Pre-elaborazione e Estrazione di Cues (Prompting)

• Strutturazione del Referto: I referti CT testuali liberi vengono convertiti in rappresentazioni strutturate e consapevoli dell'anatomia utilizzando un LLM (RadExtract).
• Estrazione delle Etichette (Question-Answer Sets - QAS): Vengono definite tre serie di domande cliniche binarie per estrarre etichette dai referti strutturati:
  1. QAS1: Presenza/Assenza della patologia.
  2. QAS2: Laterality (Sinistra/Destra).
  3. QAS3: Localizzazione nel lobo polmonare (es. Lobo Superiore Sinistro).
• Modelli Discriminativi: Vengono addestrati classificatori multi-etichetta leggeri su embedding CT multiscala (estratti da un backbone visivo congelato) per prevedere le risposte a queste domande.

B. Architettura del Modello e Addestramento

Il framework utilizza un approccio a due stadi con un backbone visivo congelato (Pillar-0/Atlas):

1. Stage 1 (Allineamento CT-Referto): Si adatta il proiettore visivo per allineare i token visivi allo spazio dei token del LLM.
2. Stage 2 (SFT Guidata con Prompt Dropout):
   • Cue Prompting: Durante l'addestramento, le etichette "ground truth" estratte dai referti vengono formattate come prompt testuali (cues) e inserite prima del testo del referto.
   • Prompt Dropout: Per evitare che il modello impari una scorciatoia (copiare semplicemente il prompt invece di analizzare l'immagine), viene applicato un dropout casuale delle entità nei prompt durante l'addestramento. Questo forza il modello a verificare le caratteristiche visive anche quando i cues sono incompleti, garantendo un forte grounding visivo.
   • Adattamento Efficiente: Si utilizza LoRA (Low-Rank Adaptation) sul LLM e si adatta il proiettore visivo.

C. Inferenza

Al momento dell'inferenza, il prompt non contiene più le etichette ground truth, ma viene popolato dinamicamente con le previsioni di un modello discriminativo pre-addestrato. Questo permette di sostituire il modello discriminativo con uno più performante in qualsiasi momento senza riaddestrare il VLM.

3. Contributi Chiave

1. Framework Modulare DCP-PD: Un sistema che condiziona la generazione dei referti su prompt naturali templati, permettendo l'uso di modelli discriminativi arbitrari durante l'inferenza senza riaddestramento.
2. Prestazioni SOTA: Il modello addestrato con DCP-PD raggiunge lo stato dell'arte sui benchmark CT-RATE e Rad-ChestCT, migliorando significativamente le metriche cliniche.
3. Scalabilità delle Cues: Il sistema scala oltre la semplice presenza/assenza, includendo cues di localizzazione fine (laterality e lobi).
4. Nuovo Protocollo di Valutazione: Introduzione di un protocollo di domande gerarchico (Presenza → Laterality → Lobo) per valutare direttamente il grounding spaziale, dimostrando che la localizzazione fine rimane una sfida anche per modelli avanzati.

4. Risultati Sperimentali

I risultati sono stati valutati sui dataset CT-RATE (in-distribution) e Rad-ChestCT (out-of-distribution):

• Miglioramento Clinico: Su CT-RATE, il macro F1 è passato da 0.501 (baseline VLM) a 0.603 con DCP-PD (miglioramento relativo di ~20%).
• Generalizzazione: Su Rad-ChestCT, il F1 è migliorato drasticamente da 0.266 a 0.503 (miglioramento relativo di ~89%), dimostrando una forte capacità di generalizzazione.
• Mitigazione delle Scorciatoie: L'ablation study sul Prompt Dropout ha dimostrato che senza di esso, il modello collassa se i cues vengono rimossi in inferenza (F1 scende a 0.094). Con il dropout, il modello mantiene robustezza (F1 0.366) e mostra una minore dipendenza dai token testuali (reliance score) e una maggiore attenzione ai token visivi.
• Grounding Spaziale: L'uso di cues di localizzazione (lobi) ha migliorato significativamente l'accuratezza nella localizzazione delle patologie rispetto al modello base, avvicinandosi alle prestazioni dei classificatori standalone.
• Analisi delle Scorciatoie: È stato dimostrato che i prompt discriminativi da soli possono ottenere buone prestazioni su metriche grossolane, ma i token visivi sono essenziali per la localizzazione fine e per correggere errori di localizzazione.

5. Significato e Impatto

Questo lavoro risolve il problema dell'accoppiamento rigido tra generatori di testo e modelli di diagnosi, offrendo un'architettura modulare che può beneficiare immediatamente di miglioramenti nei modelli di classificazione discriminativa.

• Flessibilità: Permette di aggiornare i modelli di rilevamento delle patologie senza toccare il generatore di referti.
• Affidabilità Clinica: Migliora la precisione diagnostica e la localizzazione spaziale, aspetti critici per l'uso clinico reale.
• Valutazione Rigorosa: Il nuovo protocollo di valutazione basato su domande gerarchiche offre un modo più diagnostico per testare i VLM, andando oltre le semplici metriche lessicali.

In sintesi, DCP-PD rappresenta un passo avanti verso sistemi di IA radiologica che non solo generano testo coerente, ma sono anche clinicamente accurati e spazialmente consapevoli, mantenendo al contempo un'architettura flessibile e aggiornabile.