Gaze2Report: Radiology Report Generation via Visual-Gaze Prompt Tuning of LLMs

Il paper presenta Gaze2Report, un framework che migliora la generazione di referti radiologici integrando dati sull'attenzione visiva tramite un modulo di previsione dello sguardo e una GNN per addestrare modelli linguistici di grandi dimensioni, permettendo così di operare senza input di sguardo durante l'inferenza.

L'essenziale

🏥 Il Problema: Il Radiologo "Distinto" e la Macchina "Cieca"

Immagina di dover descrivere un quadro molto complesso a un amico. Se guardi il quadro velocemente e dici solo "c'è un albero e un cielo", la descrizione è corretta ma superficiale. Un vero esperto, però, guarda il quadro in modo diverso: i suoi occhi si fermano più a lungo sulle nuvole scure, scrutano i dettagli della corteccia dell'albero e saltano rapidamente su certi dettagli irrilevanti.

Nel mondo medico, i radiologi fanno esattamente questo quando guardano una radiografia (come una foto del torace). I loro occhi si muovono seguendo un percorso preciso (chiamato scanpath) per trovare malattie.

Il problema con le attuali intelligenze artificiali (AI) che scrivono i referti medici è che sono come studenti che guardano il quadro senza mai fermarsi a osservare i dettagli. Vedono l'immagine, ma non sanno dove un medico esperto si è concentrato. Di conseguenza, scrivono rapporti che sembrano grammaticalmente corretti, ma che a volte mancano di precisione clinica o ignorano dettagli cruciali.

💡 La Soluzione: Gaze2Report (Il "Segugio" Visivo)

Gli autori di questo studio hanno creato un sistema chiamato Gaze2Report. L'idea geniale è semplice: "Insegniamo all'AI a guardare come guarda un medico".

Ecco come funziona, usando un'analogia:

1. L'AI non ha occhi (durante l'uso): Immagina di voler usare questa AI in un ospedale reale. Il problema? Non possiamo attaccare sensori agli occhi di ogni medico mentre lavora (è costoso e fastidioso). Quindi, l'AI deve imparare a "indovinare" dove il medico guarderebbe.
2. Il "Doppio Pensiero" (Il Modulo di Predizione): Prima di scrivere il referto, l'AI usa un piccolo "assistente" (un modulo di predizione) che dice: "Ehi, se fossi un radiologo, guarderei qui, qui e qui, e mi fermerei un po' su quel punto sospetto". L'AI simula il movimento degli occhi del medico.
3. Il Ponte Magico (La Rete Neurale a Grafo): Una volta che l'AI ha simulato dove guardare, usa una tecnologia speciale (chiamata GNN o Rete Neurale a Grafo) per collegare queste "zone di interesse" con l'immagine reale. È come se l'AI prendesse un pennarello evidenziatore e segnasse mentalmente le parti importanti, creando un ponte tra ciò che vede e ciò che deve dire.
4. Il Maestro di Scrittura (LLM): Infine, tutte queste informazioni (l'immagine + la simulazione dello sguardo + le istruzioni) vengono date a un "maestro di scrittura" (un grande modello linguistico, simile a un Chatbot molto avanzato). Questo maestro, ora ben guidato, scrive un rapporto medico dettagliato e preciso.

🚀 Perché è così speciale?

• Non serve guardare davvero: La cosa più incredibile è che il sistema funziona anche se non abbiamo i dati reali degli occhi del medico durante l'uso finale. L'AI impara a "pensare come un medico" e a simulare il suo sguardo da sola. È come se avesse imparato a memoria la mappa mentale di un esperto.
• Più preciso: Grazie a questa guida visiva, l'AI non si perde in dettagli inutili. Se c'è una piccola ombra sospetta, l'AI la "vede" perché sa che è lì che un medico guarderebbe.
• Risultati migliori: Nei test fatti su migliaia di radiografie, questo sistema ha scritto rapporti migliori (più precisi clinicamente e più fluidi) rispetto ai metodi precedenti, che si basavano solo sull'immagine senza la "guida dello sguardo".

🎯 In sintesi

Immagina che Gaze2Report sia un tirocinante medico super intelligente.
Invece di guardare la radiografia a caso, questo tirocinante ha un "sesto senso" che gli dice: "Guarda qui, fermati un attimo, controlla anche lì". Anche se non c'è un vero medico accanto a lui che gli indica dove guardare, il tirocinante lo fa da solo perché ha imparato il modello. Il risultato? Un referto medico che non è solo una descrizione di un'immagine, ma una vera e propria analisi clinica, scritta con la stessa attenzione di un esperto umano.

Questo approccio risolve il problema di come rendere l'AI più "umana" e precisa nella medicina, senza bisogno di costosi occhiali speciali per ogni medico.

Sommario tecnico

1. Il Problema

La generazione automatica di referti radiologici tramite deep learning ha migliorato l'efficienza diagnostica, ma le metodologie esistenti presentano limitazioni significative:

• Mancanza di Priors Medici: I modelli attuali spesso ignorano le conoscenze mediche informate dal medico, portando a un disallineamento tra le spiegazioni strutturate e le manifestazioni della malattia.
• Limiti dell'Approccio "Image Captioning": La maggior parte dei sistemi si basa su architetture standard di descrizione di immagini che si concentrano solo sulla modalità visiva, trascurando il contesto clinico necessario per referti dettagliati e fattualmente accurati.
• Sfide dell'Integrazione dello Sguardo (Eye Gaze): Sebbene i dati di tracciamento oculare (eye gaze) dei radiologi offrano intuizioni critiche sull'attenzione visiva e sulla priorità delle regioni di interesse, la loro integrazione nei flussi di lavoro AI è ostacolata da:
  • La complessità della fusione multimodale.
  • L'alto costo e la difficoltà di acquisire dati di sguardo durante la fase di inferenza (uso clinico reale), rendendo i modelli dipendenti da dati non disponibili in produzione.

2. Metodologia: Gaze2Report

Il framework proposto, Gaze2Report, risolve questi problemi integrando i dati di sguardo (o la loro previsione) nella generazione del referto tramite un Large Language Model (LLM) fine-tunato. L'architettura si compone di due moduli principali:

A. Generazione di Token Visivi e di Sguardo (Visual-Gaze Token Generation)

Questo modulo trasforma l'immagine e i dati di sguardo in un'unica rappresentazione multimodale:

1. Estrazione Visiva: Un Vision Transformer (ViT) estrae le caratteristiche spaziali dall'immagine a raggi X, suddividendola in patch.
2. Generazione Token di Sguardo: Viene utilizzato un modello di previsione del percorso oculare (scanpath), MedGaze, per simulare o acquisire i punti di fissazione. Per ogni patch dell'immagine, viene calcolata la durata totale di fissazione degli occhi. Questi dati temporali e spaziali vengono aggregati per creare embedding di sguardo che riflettono l'attenzione del radiologo.
3. Interazione Multimodale tramite GNN: Un Graph Neural Network (GNN) è il cuore dell'interazione.
   • Ogni patch dell'immagine è un nodo del grafo, caratterizzato da: token visivo, token di sguardo e codifica posizionale.
   • I vicini più prossimi (k-NN) sono determinati in base alla distanza posizionale relativa.
   • Il GNN aggiorna iterativamente le embedding dei nodi, permettendo al modello di ragionare sulle relazioni spaziali e sull'interazione tra le regioni visive e l'attenzione dello sguardo.
   • L'output è un embedding grafico aggregato (h_graph) che rappresenta l'intera immagine arricchita dall'attenzione visiva.

B. Prompt Tuning di LLM (LoRA)

• Formazione del Prompt Multimodale: Gli embedding del grafo (visivo-gaze) vengono proiettati nello spazio delle caratteristiche dell'LLM e concatenati con:
  • Token di istruzione (es. "Genera un referto diagnostico completo...").
  • Token del referto (durante l'addestramento).
• Fine-Tuning: Viene utilizzato Llama2-7B. Invece di riaddestrare l'intero modello, si applica il LoRA (Low-Rank Adaptation) per aggiornare efficientemente solo un piccolo sottoinsieme di parametri.
• Generazione Autoregressiva: Il modello genera il referto token per token. Durante l'addestramento, solo i token del referto sono considerati nella perdita (loss function).

C. Gestione dell'Assenza di Dati di Sguardo in Inferenza

Per superare il problema della mancanza di dati di sguardo in fase di test clinico, Gaze2Report integra un modulo ausiliario di previsione del percorso oculare (scanpath prediction).

• In fase di addestramento, il modello impara sia a generare il referto che a prevedere i punti di fissazione.
• In fase di inferenza (senza dati di sguardo reali), il modulo di previsione genera sinteticamente i token di sguardo basati sull'immagine, permettendo al modello di operare senza input esterni di eye-tracking.

3. Contributi Chiave

1. Integrazione GNN per Interazione Visiva-Gaze: L'uso di un Graph Neural Network per fondere le caratteristiche visive e di sguardo ha migliorato la capacità del modello di valutare la rilevanza delle modalità, superando i metodi di fusione semplici (concatenazione o cross-attention).
2. Superiorità rispetto all'uso della sola immagine: Dimostrazione che combinare immagine e sguardo (reale o previsto) produce referti più accurati rispetto all'uso della sola immagine.
3. Soluzione all'Assenza di Dati in Inferenza: L'introduzione del modulo di previsione dello scanpath permette al modello di mantenere alte prestazioni anche in scenari clinici reali dove i dati di eye-tracking non sono disponibili.
4. Valutazione Completa: Valutazione su più dataset utilizzando metriche di generazione del linguaggio naturale (NLG) e metriche di efficacia clinica (CE).

4. Risultati Sperimentali

Il modello è stato testato su tre dataset: REFLACX, IU-XRAY e MIMIC-CXR.

• Metriche NLG (Qualità Linguistica):

  • Su MIMIC-CXR, Gaze2Report ha superato tutti i competitor (inclusi SOTA come R2GenGPT, MET, EGGCA-Net) in tutte le metriche (BLEU, ROUGE-L, METEOR).
  • Ad esempio, su MIMIC-CXR, ha ottenuto un miglioramento di +0.08 in BLEU-1 e +0.07 in METEOR rispetto al secondo miglior approccio.
  • Ha superato anche le varianti di base (Base-1, Base-2, Base-3) che non utilizzavano il GNN o la previsione dello scanpath, confermando l'efficacia dell'architettura proposta.

• Metriche CE (Efficacia Clinica):

  • Misurata tramite accuratezza, precisione, recall e F1-score nella rilevazione di 14 patologie toraciche (usando Chexbert).
  • Gaze2Report ha ottenuto il punteggio F1 più alto (0.444) tra i modelli generativi, superando R2GenGPT e MET.
  • Solo EGGCA-Net ha ottenuto risultati leggermente superiori in alcune metriche CE, ma ciò è attribuito all'uso di funzioni di perdita dedicate alla classificazione multi-etichetta, mentre Gaze2Report mantiene un equilibrio migliore tra generazione fluida e accuratezza clinica.
  • Il modello ha ottenuto punteggi elevati anche in BERTScore e RadGraph F1, indicando una forte coerenza semantica e una corretta rappresentazione delle terminologie cliniche.

• Validazione dell'Inferenza senza Gaze:

  • Gli esperimenti hanno dimostrato che Gaze2Report, utilizzando la previsione dello scanpath in assenza di dati reali, supera le baseline che utilizzano maschere di attenzione basate su gaze (quando disponibili) o l'assenza totale di gaze. Questo conferma la robustezza del metodo in scenari reali.

5. Significato e Impatto

Il lavoro Gaze2Report rappresenta un passo avanti significativo nell'IA medica per due motivi principali:

1. Allineamento con il Processo Decisionale Umano: Integrando i dati di attenzione visiva (o la loro simulazione), il modello allinea meglio la generazione del testo con il modo in cui i radiologi analizzano effettivamente le immagini, migliorando la fattibilità clinica e l'interpretabilità.
2. Applicabilità Pratica: Risolvendo il problema della mancanza di dati di eye-tracking in produzione tramite la previsione dello scanpath, il framework rende fattibile l'implementazione di sistemi avanzati di generazione di referti in ambienti clinici reali, senza richiedere costose infrastrutture di tracciamento oculare per ogni paziente.

In sintesi, il paper dimostra che l'uso di prompt multimodali arricchiti da interazioni visive guidate dallo sguardo, combinati con l'adattamento efficiente degli LLM, porta a referti radiologici più precisi, clinicamente rilevanti e semanticamente coerenti.