RadTimeline: Timeline Summarization for Longitudinal Radiological Lung Findings

Titolo: RadTimeline: Riassunto della Timeline per Reperti Radiologici Polmonari Longitudinali

1. Il Problema

Il monitoraggio dei reperti nei referti radiologici longitudinali è fondamentale per identificare con precisione la progressione delle malattie, la risposta ai trattamenti e la valutazione del rischio. Tuttavia, la lettura manuale di una serie temporale di referti è un processo dispendioso in termini di tempo che può portare a un sovraccarico cognitivo per i clinici.
Le sfide principali identificate sono:

• Complessità della verifica: I riassunti non strutturati generati dall'IA rendono difficile la verifica dei fatti (fact-checking) riguardo ai cambiamenti temporali.
• Limiti delle strutture predefinite: Gli approcci di riassunto strutturato esistenti spesso utilizzano un insieme fisso di argomenti (topic), che non è pratico per i casi clinici individuali dove i noduli o le lesioni possono variare notevolmente tra i pazienti e richiedere un tracciamento specifico.
• Mancanza di confronto temporale diretto: È difficile confrontare rapidamente l'evoluzione di un singolo reperto attraverso diversi esami nel tempo senza un formato visivo organizzato.

2. Metodologia

Gli autori propongono un nuovo formato di riassunto strutturato bidimensionale, chiamato Timeline, e un dataset di valutazione associato, RadTimeline.

A. Il Formato Timeline
La timeline organizza i dati in una tabella dove:

• Colonne: Rappresentano singoli esami radiologici con data (es. TAC torace del 2023-05). Ogni cella contiene un fatto estratto dal referto (es. "nodule subsolido stabile nel lobo superiore destro").
• Righe: Rappresentano gruppi di reperti temporalmente correlati che evolvono nel tempo. Ogni riga ha un'intestazione (nome del gruppo) che descrive le caratteristiche distintive del gruppo (es. "nodule ground glass nel lobo superiore destro").
• Obiettivo: Facilitare il confronto diretto dei reperti nel tempo e il collegamento di ogni fatto al referto sorgente.

B. Il Dataset RadTimeline

• Origine: Campione di 10 pazienti da un progetto di sorveglianza del cancro al polmone (UW Medicine).
• Dati: 65 referti radiologici (TAC torace, RX torace, TAC addome) in un arco di 5 anni.
• Annotazione: Creazione di timeline "gold standard" (corrette a mano) da parte di due studenti di medicina e un medico. Il processo include l'estrazione dei fatti, l'assegnazione dei gruppi e la revisione dei nomi dei gruppi.
• Metriche: Vengono proposte metriche per valutare la fattualità dei fatti, la qualità dei nomi dei gruppi e le prestazioni di raggruppamento (CoNLL F1).

C. Approccio a 3 Passi basato su LLM
Il sistema genera la timeline attraverso tre fasi sequenziali:

1. Estrazione dei Fatti (Finding Extraction): Un LLM estrae i fatti relativi al polmone da ogni referto individuale, ignorando le affermazioni di "assenza" (es. "nessun nuovo nodulo") e i reperti non polmonari.
2. Generazione dei Nomi dei Gruppi (Group Name Generation): Invece di raggruppare direttamente i fatti, un LLM genera prima nomi di gruppo interpretabili in linguaggio naturale basandosi sui referti longitudinali. Questo passo intermedio è cruciale per evitare confronti costosi tra coppie di fatti.
3. Assegnazione ai Gruppi (Group Assignment): Ogni fatto estratto viene assegnato a uno dei nomi di gruppo generati. Vengono esplorate due strategie:
   • Basata su LLM: Prompting (zero-shot o few-shot) che assegna i fatti ai gruppi, sia singolarmente che in batch (multiple findings).
   • Basata su Embedding: Utilizzo di modelli di embedding (E5-Mistral) per calcolare la similarità coseno tra i fatti e i nomi dei gruppi.

3. Risultati Chiave

Gli esperimenti sono stati condotti confrontando Llama 3.1 8B e GPT-4o.

• Estrazione dei Fatti:

  • GPT-4o ha ottenuto prestazioni superiori a Llama 3.1 (ROUGE-L 67 vs 62 a livello di fatto) con una percentuale significativamente inferiore di previsioni non necessarie (25% vs 40%).
  • L'uso di filtri aggressivi per rimuovere i reperti "assenti" ha migliorato la precisione riducendo i falsi positivi.

• Generazione dei Nomi dei Gruppi:

  • L'uso del contesto completo (tutti i referti) ha portato a nomi di gruppo più accurati rispetto all'uso di soli fatti estratti.
  • GPT-4o ha generato nomi di gruppo più pertinenti, mentre Llama 3.1 tendeva a produrre più nomi duplicati o irrilevanti.

• Assegnazione ai Gruppi (Raggruppamento):

  • Prestazioni Umane: Il livello di accordo tra annotatori umani (Oracle) è di circa 82-86 CoNLL F1.
  • Risultati LLM: La configurazione migliore (GPT-4o con prompting "Multiple Zero-Shot" e nomi di gruppo generati da GPT-4o) ha raggiunto un CoNLL F1 di 84, paragonabile alle prestazioni umane.
  • Ruolo dei Nomi di Gruppo: La generazione dei nomi di gruppo come passo intermedio si è rivelata critica. Senza di essa, le prestazioni crollano.
  • Embedding vs LLM: I metodi basati su embedding hanno raggiunto prestazioni simili agli LLM (fino a 84 F1) solo quando forniti con nomi di gruppo "Oracle" (perfetti) e istruzioni specifiche per il dominio. Con nomi di gruppo generati automaticamente, gli LLM hanno superato gli embedding.
  • Contesto: L'uso del contesto completo (full context) ha migliorato le prestazioni in alcuni scenari, ma non è stato sempre decisivo, suggerendo che la qualità dei nomi di gruppo è più importante della lunghezza del contesto.

4. Contributi Principali

1. Nuovo Task e Formato: Introduzione del task di generazione di timeline strutturate per la radiologia, che supera i limiti dei riassunti non strutturati e delle tassonomie fisse.
2. Dataset RadTimeline: Creazione di un dataset di valutazione di alta qualità con timeline annotate a mano per il tracciamento dei reperti polmonari longitudinali.
3. Metodologia a 3 Passi: Dimostrazione che un approccio modulare (Estrazione -> Generazione Nome -> Assegnazione) è superiore al clustering diretto, specialmente grazie al passo intermedio di generazione dei nomi.
4. Valutazione Completa: Analisi dettagliata dei compromessi tra dimensioni del modello, strategie di prompting (zero-shot vs few-shot, singolo vs multiplo) e metodi di embedding.

5. Significato e Implicazioni

• Supporto Clinico: Questo approccio può ridurre il carico cognitivo dei radiologi e dei clinici, permettendo loro di visualizzare rapidamente l'evoluzione delle patologie (es. progressione di un nodulo polmonare) e facilitando il processo decisionale.
• Verificabilità: Il formato tabellare con riferimenti incrociati ai referti sorgente rende i riassunti dell'IA verificabili, un requisito essenziale per scenari clinici ad alto rischio.
• Scalabilità: Sebbene il dataset attuale sia limitato a 10 pazienti a causa dei costi di annotazione, il metodo è progettato per essere esteso ad altri tipi di dati clinici longitudinali (es. storia medica, progressione dei sintomi).
• Efficienza: La scoperta che i metodi basati su embedding possono competere con gli LLM se forniti con buoni nomi di gruppo apre la strada a soluzioni più economiche e scalabili per la gestione dei dati sanitari.

In sintesi, il paper dimostra che l'uso strategico di LLM per generare una struttura temporale organizzata può raggiungere prestazioni vicine a quelle umane nel tracciamento di reperti radiologici complessi, offrendo un nuovo standard per il riassunto strutturato in ambito medico.