TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation

Sintesi Tecnica: TRACE – Temporal Radiology with Anatomical Change Explanation

Definizione del Problema
La radiologia clinica si affida pesantemente al confronto temporale delle radiografie del torace per rilevare la progressione delle malattie, la risposta ai trattamenti e la comparsa di nuovi reperti. Sebbene i metodi automatizzati esistenti abbiano fatto progressi nella generazione di referti da immagine singola e nel grounding visivo, essi non riescono ad affrontare la necessità critica della rilevazione dei cambiamenti temporali. Gli approcci attuali rientrano tipicamente in tre categorie distinte: (1) la generazione di referti da immagine singola manca del contesto temporale; (2) i metodi di classificazione temporale rilevano la progressione ma forniscono solo etichette senza localizzazione spaziale; e (3) la generazione di referti con grounding localizza i reperti ma opera su immagini singole senza ragionamento temporale. Di conseguenza, nessun metodo esistente esegue simultaneamente il confronto temporale, la classificazione del cambiamento (peggiorato/migliorato/stabile) e la localizzazione spaziale per generare referti con grounding che descrivano cosa è cambiato, dove e come.

Metodologia
Gli autori introducono TRACE (Temporal Radiology with Anatomical Change Explanation), un framework unificato progettato per generare referti in linguaggio naturale con coordinate di bounding box per i cambiamenti intervallari tra una radiografia precedente e una corrente.

• Architettura: TRACE si basa sul framework LLaVA, utilizzando un encoder visivo BioViL-T congelato (pre-addestrato su radiografie del torace con consapevolezza temporale) e un decoder basato su un grande modello linguistico (LLM) (Vicuna-7B o Mistral-7B).
• Fusione delle Caratteristiche: Invece di utilizzare immagini di differenza esplicite o moduli di attenzione temporale, il modello impiega la concatenazione delle caratteristiche. Le caratteristiche dalle immagini precedente e corrente vengono estratte indipendentemente utilizzando pesi condivisi e concatenate per formare una sequenza di 392 token visivi. Il meccanismo di auto-attenzione dell'LLM gestisce implicitamente il confronto tra le immagini.
• Strategia di Addestramento: Il modello viene addestrato in due fasi:
  1. Allineamento: Il proiettore MLP viene addestrato per allineare le caratteristiche visive allo spazio di embedding dell'LLM.
  2. Instruction Tuning: Fine-tuning end-to-end utilizzando la Low-Rank Adaptation (LoRA) sull'LLM per generare referti temporali con grounding. L'obiettivo di addestramento minimizza la log-likelihood negativa per i token target, che includono descrizioni in linguaggio naturale e coordinate di bounding box normalizzate (es. <box>x1,y1,x2,y2</box>).
• Dataset: Il modello è addestrato su un dataset costruito di 79.202 campioni di addestramento e 22.553 campioni di test, derivati da MIMIC-CXR-JPG e Chest ImaGenome. Questo dataset accoppia studi consecutivi dello stesso paziente con annotazioni temporali con grounding che indicano se i reperti sono peggiorati, migliorati o rimasti stabili.

Risultati Chiave

• Prestazioni: TRACE raggiunge un'accuratezza del 48,0% nel complesso compito di classificazione del cambiamento a tre vie (peggiorato, migliorato, stabile). Dimostra un'elevata precisione spaziale con un grounding accuracy del 90,2% (IoU > 0,5) e forti punteggi di efficacia clinica (RadGraph F1: 0,406; CheXbert F1: 0,432).
• Studio di Ablazione (Capacità Emergente): Un risultato critico è che la rilevazione del cambiamento è una capacità emergente che richiede l'apprendimento congiunto del confronto temporale e del grounding spaziale.
  • I modelli con accesso a entrambe le immagini ma senza supervisione di grounding hanno fallito completamente, predicendo "stabile" per tutti i campioni (accuratezza del 43,8%, in linea con il maggioritario baseline).
  • I modelli a immagine singola (privi dello studio precedente) hanno anch'essi fallito nel generare confronti temporali.
  • Gli autori ipotizzano che il grounding fornisca un necessario meccanismo di attenzione spaziale, costringendo il modello a concentrarsi su specifiche regioni anatomiche per abilitare un ragionamento temporale significativo.
• Disparità Anatomiche: Le prestazioni variano in base all'anatomia. Il modello rileva i cambiamenti della silhouette cardiaca (68,8%) e mediastinica (75,5%) con maggiore accuratezza rispetto ai cambiamenti del parenchima polmonare (~45%), probabilmente a causa della natura diffusa e sottile delle patologie polmonari.
• Sensibilità del Modello: Un confronto tra Vicuna-7B e Mistral-7B ha rivelato un compromesso tra sensibilità e specificità. Vicuna-7B ha favorito predizioni "stabili" conservative (alta specificità), mentre Mistral-7B ha mostrato una rilevazione dei cambiamenti più aggressiva (alta sensibilità), suggerendo che diversi backbone possano adattarsi a diversi scenari di implementazione clinica.

Significatività e Contributi
Il paper rivendica tre contributi primari:

1. Nuova Definizione del Task: Introduce la "rilevazione del cambiamento temporale con grounding", unificando il confronto temporale, la classificazione e la localizzazione in un unico framework.
2. Scoperta del Comportamento Emergente: Rivela che il ragionamento temporale in questo contesto non è intrinseco ai soli input multi-immagine, ma emerge solo quando combinato con la supervisione del grounding spaziale. Ciò suggerisce che il grounding agisca come un bias induttivo critico per l'analisi temporale.
3. Costruzione del Dataset: Fornisce un dataset su larga scala con annotazioni temporali con grounding per consentire la valutazione sistematica di questo nuovo task.

Gli autori posizionano TRACE come un passo fondamentale verso un'IA clinicamente azionabile in grado di descrivere i cambiamenti intervallari con un preciso contesto spaziale, una capacità precedentemente assente nei sistemi di radiologia automatizzati.