GazeXPErT: An Expert Eye-tracking Dataset for Interpretable and Explainable AI in Oncologic FDG-PET/CT Scans

Il paper presenta GazeXPErT, un dataset 4D di tracciamento oculare di esperti su scansioni FDG-PET/CT oncologiche che, sincronizzando i pattern di ricerca umana con le immagini, mira a migliorare l'interpretabilità, l'accuratezza e l'integrazione nel flusso di lavoro dei modelli di intelligenza artificiale per la segmentazione e la localizzazione delle lesioni tumorali.

L'essenziale

Immagina di dover insegnare a un robot a diventare un detective medico capace di trovare tumori nascosti nei corpi umani. Il problema è che i robot sono bravissimi a guardare i dati, ma spesso non capiscono come un detective umano pensa mentre cerca le prove.

Ecco la storia di GazeXPErT, il progetto che vuole risolvere questo mistero.

1. Il Problema: Il Robot che "guarda" ma non "vede"

Oggi esistono intelligenze artificiali (AI) che analizzano le scansioni PET/CT (immagini del corpo che mostrano dove le cellule stanno "mangiando" zucchero, un segnale di tumore). Queste AI sono veloci, ma hanno un difetto: sono come un bambino che guarda un libro di immagini a caso. Possono trovare un tumore, ma non sanno perché lo hanno trovato o come un medico esperto ha deciso di cercarlo lì.

Inoltre, i medici sono pochi e stanchi. Hanno bisogno di un assistente AI che non solo trovi i tumori, ma che capisca il loro ragionamento, per non spaventarli con errori o allarmi falsi.

2. La Soluzione: Il "Nastro Magnetico" degli Occhi

Gli autori del paper hanno creato un dataset chiamato GazeXPErT.
Immagina di avere un nastro magnetico invisibile che registra esattamente dove guardano gli occhi di un medico esperto mentre esamina una scansione. Non registrano solo cosa vedono, ma come muovono gli occhi: dove si fermano, cosa saltano, cosa guardano due volte e quanto tempo ci mettono.

Hanno fatto questo con 346 scansioni di pazienti (con linfoma, cancro ai polmoni o melanoma) e hanno coinvolto 13 esperti (medici molto esperti e studenti specializzandi).

• Cosa hanno fatto: Hanno fatto guardare ai medici le immagini su uno schermo speciale che registra ogni movimento oculare 60 volte al secondo.
• Il risultato: Hanno creato una mappa di 9.030 "piste". Ogni pista è un percorso che un medico ha fatto con lo sguardo per trovare un tumore. È come se avessero registrato la "danza degli occhi" di un esperto mentre cacciano il nemico (il tumore).

3. L'Esperimento: Insegnare al Robot a "pensare" come un umano

Per dimostrare che questa mappa è utile, hanno fatto tre esperimenti, come se fossero tre livelli di un videogioco:

• Livello 1: Il Segnale di "Qui c'è qualcosa!"
  Hanno dato a un'AI un'immagine e le hanno detto: "Guarda qui, perché l'occhio del medico si è fermato qui".

  • Risultato: L'AI, usando la mappa degli occhi, è diventata molto più brava a trovare i tumori (come se avesse una torcia accesa puntata esattamente dove il medico aveva guardato). Senza questa guida, l'AI era un po' confusa.

• Livello 2: Il Correttore di Punta
  A volte i dispositivi che tracciano gli occhi sono economici e un po' imprecisi (come un GPS che ti dice che sei in una strada sbagliata). Hanno usato l'intelligenza artificiale per correggere questi errori.

  • Risultato: L'AI ha imparato a guardare il movimento degli occhi e l'immagine insieme, capendo: "L'occhio del medico era un po' storto, ma stava guardando quel punto". Ha corretto l'errore e ha puntato esattamente sul tumore.

• Livello 3: La Lettura dei Pensieri (Intenzione)
  Questo è il livello più difficile. L'AI doveva capire se il medico stava cercando davvero un tumore o se stava solo guardando qualcosa di innocuo per caso.

  • Risultato: L'AI ha imparato a distinguere tra un "cercatore intenzionale" (che sta cercando un tumore) e un "curioso distratto". Non è perfetto al 100%, ma ha dimostrato che è possibile insegnare a una macchina a capire le intenzioni umane guardando i suoi occhi.

4. Perché è importante? (La Metafora del Tutor)

Prima di GazeXPErT, le AI erano come studenti che studiavano da soli guardando solo le risposte finali (le immagini).
Ora, con GazeXPErT, le AI hanno un tutor umano. Non imparano solo cosa è un tumore, ma come un esperto lo cerca.

• Spiegabilità: Se l'AI trova un tumore, può dire: "L'ho trovato qui perché ho imparato che gli esperti guardano sempre qui prima di decidere". Questo dà fiducia ai medici.
• Collaborazione: Invece di sostituire il medico, l'AI diventa un assistente che lavora insieme a lui, capendo quando il medico è incerto e offrendo aiuto solo quando serve.

In sintesi

GazeXPErT è come un libro di istruzioni visivo per le macchine. Ha registrato i movimenti degli occhi dei migliori detective medici per insegnare alle intelligenze artificiali non solo a vedere, ma a capire il ragionamento umano. L'obiettivo finale è creare un'AI che non sia una scatola nera spaventosa, ma un partner trasparente e affidabile che aiuta i medici a salvare più vite, riducendo la fatica e gli errori.

Sommario tecnico

Titolo

GazeXPErT: Un dataset di tracciamento oculare esperto per l'IA interpretabile e spiegabile nelle scansioni oncologiche FDG-PET/CT

1. Il Problema

La tomografia a emissione di positroni/computerizzata con [18F]FDG (FDG-PET/CT) è una modalità di imaging fondamentale per lo stadiazione tumorale e la valutazione della risposta alla terapia. Tuttavia, l'interpretazione di queste immagini richiede esperti radiologi o medici nucleari, una risorsa sempre più scarsa.
Sebbene esistano modelli di Intelligenza Artificiale (IA) autonomi per la segmentazione automatica delle lesioni, la loro traduzione clinica è ostacolata da:

• Mancanza di interpretabilità e spiegabilità: I modelli "black-box" non riflettono il ragionamento visivo umano.
• Affidabilità e bias: I modelli statici faticano a generalizzare su dati fuori distribuzione (real-world data).
• Integrazione nel flusso di lavoro: È difficile integrare l'output dell'IA senza aumentare il carico cognitivo del medico.
  Attualmente, i modelli di deep learning vengono addestrati senza incorporare le intuizioni visive e i pattern di ricerca degli esperti, limitando la loro capacità di comprendere come i medici differenziano i tumori dal rumore di fondo fisiologico.

2. Metodologia

Gli autori hanno sviluppato GazeXPErT, un dataset multimodale 4D (3D spaziale + tempo) che cattura i pattern di ricerca visiva di esperti umani durante la lettura di scansioni PET/CT.

• Raccolta Dati:

  • Cohort: 346 studi FDG-PET/CT unici (98 linfomi, 122 tumori polmonari, 126 melanomi) da un dataset pubblico.
  • Partecipanti: 13 esperti indipendenti (5 residenti, 1 fellow e 7 specialisti certificati) provenienti da USA, Germania, Corea e Giappone.
  • Setup: Utilizzo di un dispositivo di tracciamento oculare (Tobii Pro Spark) a 60 Hz integrato in una piattaforma Python personalizzata che simula una lettura clinica routinaria.
  • Task: Gli esperti dovevano identificare, "selezionare con lo sguardo" e confermare le lesioni metabolicamente attive, indicando anche il livello di certezza ("certo" vs "incerto").
  • Dati Raccolti: 3.948 minuti di dati grezzi a 60 Hz, sincronizzati con i parametri di visualizzazione dell'immagine (finestre, contrasto, modalità PET/CT/fusa).

• Annotazione e Pre-elaborazione:

  • Gaze-to-Lesion Trajectories: Estrazione di 9.030 traiettorie uniche dallo sguardo alle lesioni.
  • Formato: I dati sono stati renderizzati in formato COCO-style (standard per l'object detection) e in volumi 3D (heatmap NIFTI) per l'addestramento di modelli di segmentazione.
  • Soglia di Certezza: È stata introdotta una distinzione tra lesioni "certe" e "incerte" per catturare l'incertezza diagnostica umana, un aspetto spesso ignorato ma cruciale.
  • Algoritmo di Proposta: Un algoritmo semi-automatico proponeva bounding box basate sull'ultimo punto di fissazione dell'occhio, che l'operatore poteva accettare, rifiutare o ridimensionare.

3. Contributi Chiave

1. Dataset GazeXPErT: La prima risorsa su larga scala che integra pattern di ragionamento visivo umano (tracciamento oculare) con dati di imaging oncologico 3D, pronta per l'uso nel machine learning.
2. Raffigurazione dell'Incertezza: Inclusione esplicita delle annotazioni di "certezza/insicurezza", permettendo ai modelli di IA di apprendere non solo dove guardare, ma con quale fiducia interpretare un reperto.
3. Validazione Tecnica: Dimostrazione empirica che l'integrazione dei dati di tracciamento oculare negli pipeline di addestramento dell'IA migliora significativamente le prestazioni rispetto ai modelli basati solo sull'immagine.
4. Open Source: Il dataset e il codice sono resi disponibili pubblicamente (Stanford AIMI Center, Kaggle, GitHub) per favorire la ricerca sulla IA spiegabile.

4. Risultati degli Esperimenti di Validazione

Gli autori hanno condotto tre esperimenti per validare l'utilità del dataset:

• Esperimento 1: Segmentazione delle Lesioni (3D nnUNet)

  • Un modello 3D nnUNet addestrato includendo le heatmap di attenzione dello sguardo esperto ha ottenuto un punteggio DICE di 0.6819, contro lo 0.6008 del modello addestrato solo sulle immagini.
  • Insight: Anche se gli esperti guardano direttamente i tumori per meno dell'8% del tempo, i loro pattern di ricerca contengono informazioni diagnostiche ricche che migliorano l'IA.

• Esperimento 2: Correzione del Punto di Fissazione (Vision Transformer)

  • Un modello Transformer (ViT) addestrato su sequenze di sguardo e immagini ha previsto un punto di fissazione più vicino alla lesione rispetto all'ultimo punto di sguardo reale.
  • Risultato: Il 74.95% dei punti previsti era più vicino alla lesione target. L'errore angolare medio è sceso da 1.134° (non corretto) a 0.856° (corretto), rientrando nel range atteso per compiti di targeting statico.

• Esperimento 3: Predizione dell'Intenzione Umana

  • Un modello di classificazione binaria ha cercato di distinguere tra "intenzione di targeting" (cerca una lesione specifica) e "ricerca non intenzionale" (scansione generale).
  • Risultato: Accuratezza del 67.53% e AUROC di 0.747. Questo dimostra che è possibile prevedere l'intenzione clinica dell'operatore basandosi solo sulla traiettoria dello sguardo e sulle immagini.

5. Significato e Impatto Futuro

GazeXPErT rappresenta un passo fondamentale verso l'IA "Human-in-the-Loop" in ambito oncologico:

• IA Spiegabile (XAI): Permette di ancorare l'attenzione dei modelli AI ai pattern reali degli esperti, superando le approssimazioni post-hoc.
• Apprendimento per Rinforzo Guidato dallo Sguardo: Offre segnali di ricompensa derivati dall'umano per guidare agenti AI verso strategie di ricerca simili a quelle degli esperti.
• Interazione Uomo-Macchina: Supporta lo sviluppo di sistemi adattivi che possono segnalare reperti trascurati, priorizzare le regioni di interesse o calibrare l'assistenza in base all'intento inferito del lettore.
• Fiducia Clinica: Spostando l'IA da un approccio puramente statistico a uno che incorpora il ragionamento visivo umano, si aumenta la fiducia dei clinici nell'adozione di questi strumenti nella pratica quotidiana.

In sintesi, il paper non solo fornisce un dataset tecnico, ma propone un nuovo paradigma per lo sviluppo di sistemi di IA diagnostica che non solo "vedono" le immagini, ma comprendono come e perché gli esperti le interpretano.