FixationFormer: Direct Utilization of Expert Gaze Trajectories for Chest X-Ray Classification

Il paper presenta FixationFormer, un'architettura basata su transformer che integra direttamente le traiettorie di fissazione oculare degli esperti come sequenze di token per migliorare la classificazione delle radiografie del torace, superando i limiti dei metodi tradizionali basati su CNN e mappe di calore.

L'essenziale

🩺 Il Problema: L'Intelligenza Artificiale che "Non Guarda" Dove Bisogna

Immagina di essere un radiologo esperto. Quando guardi una radiografia del torace per cercare una polmonite, i tuoi occhi non vagano a caso. Si muovono con uno scopo preciso: si fermano su certe zone (le "fissazioni"), saltano velocemente ad altre e seguono un percorso logico che solo un esperto conosce. È come se avessi una mappa del tesoro mentale che ti dice esattamente dove cercare l'oro (la malattia).

Le Intelligenze Artificiali (IA) tradizionali, invece, sono come principianti che guardano la stessa immagine. Vedono tutto, ma non sanno dove concentrarsi. Spesso si perdono nei dettagli inutili o ignorano le zone critiche perché non hanno mai visto un esperto lavorare.

Fino a poco tempo fa, per insegnare all'IA a guardare come un umano, gli scienziati usavano un trucco un po' "rozzi": creavano una mappa di calore (un'immagine sfocata e rossa dove l'occhio umano era stato più spesso). Era come dare all'IA una foto sfocata di dove l'occhio era stato, perdendo però il tempo e la sequenza dei movimenti. Era come dire: "Ehi, guarda qui!", senza spiegare come ci si è arrivati.

💡 La Soluzione: FixationFormer (Il "Cacciatore di Sguardi")

Gli autori di questo studio, Daniel e Benjamin, hanno avuto un'idea geniale: perché trattare lo sguardo umano come una semplice foto statica? Perché non trattarlo come una storia?

Hanno creato FixationFormer, un nuovo tipo di intelligenza artificiale che funziona come un detective esperto che ascolta due testimoni contemporaneamente:

1. Il Testimone Visivo: La radiografia stessa.
2. Il Testimone Oculare: La sequenza esatta di come un radiologo ha guardato quell'immagine (dove si è fermato, per quanto tempo, e in quale ordine).

Come funziona la magia? (L'Analogia del "Cantiere edile")

Immagina che l'IA stia costruendo una casa (la diagnosi).

• Le immagini sono i mattoni.
• Lo sguardo dell'esperto è il capocantiere che indica: "Metti il primo mattone qui, poi spostati lì, controlla quel angolo, poi torna indietro".

Invece di trasformare le istruzioni del capocantiere in una macchia di vernice rossa (la vecchia mappa di calore), FixationFormer trasforma ogni movimento dell'occhio in un piccolo "messaggio" o "token" (come un post-it digitale).

1. Trasformazione: Ogni volta che l'occhio umano si ferma su un punto, il sistema crea un "post-it" che dice: "Qui c'è stato uno sguardo, è durato 0,5 secondi, ed è arrivato dopo il punto X".
2. La Conversazione: L'IA legge la radiografia (i mattoni) e contemporaneamente legge la sequenza di "post-it" (lo sguardo).
3. L'Incontro: Usando una tecnologia chiamata Transformer (la stessa che fa funzionare i moderni chatbot), l'IA fa "conversare" i mattoni con i post-it. L'immagine dice: "Vedo un'ombra qui", e lo sguardo dice: "Sì, l'occhio umano si è fermato proprio su quell'ombra per analizzarla".

🚀 I Risultati: Perché è meglio?

Gli scienziati hanno testato questo metodo su tre diversi database di radiografie del torace. Ecco cosa è successo:

• Precisione Superiore: FixationFormer ha battuto o eguagliato i migliori metodi esistenti. È come se avessimo dato al radiologo robot un assistente umano che gli sussurra: "Guarda qui, è importante!".
• Meno Dati, Più Intelligenza: Anche quando hanno usato un'IA più "semplice" (che non aveva studiato milioni di immagini prima), aggiungendo lo sguardo umano, le prestazioni sono schizzate alle stelle. È come se un apprendista, con un mentore che gli indica la strada, diventasse subito un maestro.
• La Sequenza Conta: Hanno scoperto che non basta sapere dove l'occhio è stato, ma anche in che ordine. FixationFormer mantiene questa sequenza temporale, cosa che i vecchi metodi perdevano.

🔍 Due Modi per Ascoltare

Il paper testa due modi diversi per far interagire l'IA con lo sguardo:

1. Ascolto Unidirezionale (Cross-Attention): L'immagine ascolta lo sguardo e si aggiorna. È come se il radiologo dicesse: "Guarda qui", e l'IA modificasse la sua visione. Funziona molto bene ed è stabile.
2. Ascolto Bidirezionale (Two-Way): L'immagine e lo sguardo si parlano a vicenda. È come una discussione animata. Funziona bene, ma a volte è un po' più confuso e instabile, come due persone che parlano troppo velocemente e si perdono.

🎯 In Sintesi

FixationFormer è come dare all'intelligenza artificiale un copione di regia basato sugli occhi umani. Invece di farle indovinare dove guardare, le mostriamo esattamente come un esperto ha analizzato l'immagine, passo dopo passo, secondo e dopo secondo.

Il risultato? Un'IA che non solo "vede" la radiografia, ma la "guarda" con la saggezza e l'esperienza di un medico umano, rendendo le diagnosi più veloci, precise e affidabili. È un passo avanti enorme verso un futuro in cui l'IA non sostituisce il medico, ma diventa il suo miglior assistente, imparando a guardare il mondo attraverso i suoi occhi.

Sommario tecnico

1. Il Problema

L'analisi delle immagini mediche, in particolare dei raggi X al torace, è un compito complesso a causa della sovrapposizione di organi e strutture anatomiche che rende difficile l'identificazione precisa delle regioni di interesse (ROI). Sebbene le Reti Neurali Convoluzionali (CNN) abbiano dominato questo campo, l'integrazione delle conoscenze esperte (come lo sguardo dei radiologi) è stata finora limitata.

• Limiti degli approcci attuali: La maggior parte dei metodi esistenti converte le traiettorie di sguardo (che sono sequenziali, temporali e sparse) in heatmap statiche 2D. Questo approccio perde le dinamiche temporali dello sguardo, che contengono informazioni contestuali cruciali, e richiede calcoli costosi.
• Inadeguatezza delle CNN: Le CNN non sono nativamente progettate per gestire dati sequenziali come le traiettorie di sguardo, rendendo difficile una fusione diretta e fine tra l'immagine e il movimento oculare.

2. Metodologia: FixationFormer

Gli autori propongono FixationFormer, un'architettura basata su Transformer che integra direttamente le traiettorie di sguardo come sequenze di token, preservandone la struttura spaziale e temporale.

Componenti Chiave:

1. Codificatore Immagine (Image Encoder):

   • Utilizza un Vision Transformer (ViT) standard come backbone.
   • Per compensare la scarsità di dati medici, il modello viene pre-addestrato sul dataset MIMIC-CXR utilizzando il framework MGCA (Multi-Granularity Cross-modal Alignment) prima di essere adattato ai compiti specifici.

2. Rappresentazione dello Sguardo (Gaze Representation):

   • Le traiettorie grezze (ricche di micro-movimenti o saccadi) vengono filtrate e convertite in una sequenza di punti di fissazione (fixations).
   • Ogni fissazione è descritta da: posizione spaziale, tempo di inizio e durata.
   • Tokenizzazione: Ogni fissazione viene trasformata in un token vettoriale combinando:
     • Codifica posizionale temporale (basata sul tempo di inizio).
     • Proiezioni lineari apprese per la posizione spaziale e la durata.
   • Il risultato è una sequenza di token di sguardo $G$ che mantiene la natura sequenziale dei dati.

3. Modulo di Integrazione (Gaze Integration Module):

   • Utilizza meccanismi di Cross-Attention per fondere le feature dell'immagine e dello sguardo. Vengono proposti due approcci:
     • Image-to-Gaze Cross-Attention (One-Way): Solo le feature dell'immagine vengono aggiornate attendendo ai token di sguardo. Questo arricchisce la rappresentazione visiva con i pattern di osservazione esperti.
     • Two-Way Attention: Estende il precedente permettendo anche ai token di sguardo di aggiornarsi attraverso un'attenzione speculare (Gaze-to-Image). Questo permette una fusione bidirezionale più profonda, simile al decoder di SAM (Segment Anything Model).
   • Nota tecnica: Non viene applicata alcuna maschera temporale (come nei Transformer NLP), permettendo a ogni patch dell'immagine di accedere all'intera traiettoria di sguardo e viceversa.

3. Contributi Chiave

• Integrazione Diretta Sequenziale: Per la prima volta, le traiettorie di sguardo sono trattate come sequenze di token all'interno di un'architettura Transformer, evitando la perdita di informazioni temporali tipica delle heatmap.
• Fusione Fine-Grained: L'uso dell'attenzione incrociata permette un'integrazione dettagliata tra le feature visive e i pattern di attenzione esperta, superando i limiti dei modelli basati su CNN.
• Validazione su Dataset Multipli: Il metodo è stato testato su tre dataset pubblici di raggi X al torace con dati di sguardo: CXR-Gaze, SIIM-ACR e Reflacx.

4. Risultati Sperimentali

Il modello è stato valutato su tre dataset utilizzando metriche come Accuratezza, F1-Score e AUC.

• CXR-Gaze: FixationFormer ha raggiunto prestazioni State-of-the-Art (SOTA), superando i metodi precedenti come GazeGNN. La variante Cross-Attention ha ottenuto un'accuratezza del 84.11% (vs 83.18% di GazeGNN).
• SIIM-ACR: Entrambe le varianti hanno raggiunto prestazioni competitive con lo stato dell'arte (es. EG-ViT), con la variante Two-Way che ha ottenuto il miglior punteggio di accuratezza (86.40%).
• Reflacx: Dataset più complesso e sbilanciato. La variante Cross-Attention ha superato sia GazeGNN che la variante Two-Way (70.06% di accuratezza), dimostrando maggiore stabilità durante l'addestramento.
• Ablation Study:
  • Un modello basato solo sullo sguardo (senza immagini) ha comunque catturato semantica significativa, ottenendo risultati superiori al caso casuale su due dataset.
  • L'aggiunta dello sguardo a un backbone ViT pre-addestrato su ImageNet (più debole) ha portato a miglioramenti sostanziali, dimostrando che FixationFormer è particolarmente efficace quando le risorse di pre-addestramento sono limitate.
  • La visualizzazione tramite GradCAM mostra che il modello con sguardo integra l'attenzione su regioni anatomicamente rilevanti in modo più coerente rispetto ai modelli basati solo su immagini.

5. Significato e Conclusioni

Il lavoro di FixationFormer dimostra che la rappresentazione delle traiettorie di sguardo come sequenze di token all'interno di un'architettura Transformer è superiore alla conversione in heatmap statiche.

• Impatto Clinico: Offre un modo più naturale per incorporare il ragionamento diagnostico umano (il "dove" e "quando" guarda un radiologo) nei sistemi di supporto decisionale.
• Robustezza: Il metodo migliora le prestazioni anche con backbone meno potenti, suggerendo che l'integrazione dello sguardo può compensare la mancanza di dati di pre-addestramento massicci.
• Futuro: Sebbene la variante Two-Way sia più complessa, la variante Cross-Attention (unidirezionale) si è rivelata più stabile e performante nella maggior parte dei casi. Il lavoro apre la strada all'applicazione di questa metodologia su altre modalità di imaging medico e compiti diversi dalla classificazione.

In sintesi, FixationFormer rappresenta un passo avanti significativo verso l'uso diretto e nativo dei dati di eye-tracking per migliorare l'analisi automatica delle immagini mediche.