Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments

Sintesi Tecnica: Confronto tra lo Sguardo Umano e l'Attenzione dei Modelli Vision-Language nella Percezione del Rischio

Problematica
I sistemi di intelligenza artificiale (IA) consapevoli della sicurezza, in particolare nella guida autonoma e nella robotica, richiedono la capacità di identificare le regioni di una scena che gli esseri umani percepiscono come potenzialmente rischiose. Sebbene la tecnologia di eye-tracking fornisca una misura diretta dell'attenzione visiva umana e riveli un "bias di negatività" (una sensibilità sproporzionata verso stimoli minacciosi), i modelli computazionali esistenti si concentrano spesso sulla salienza visiva generale piuttosto che sulla percezione della sicurezza. Esiste una lacuna critica nel comprendere se i moderni modelli vision-language (VLM) di grandi dimensioni, che possiedono una comprensione semantica, possano allineare spazialmente la propria attenzione con lo sguardo umano in ambienti rilevanti per la sicurezza senza richiedere un addestramento su dati di eye-tracking.

Metodologia
Lo studio ha impiegato un approccio a due rami che coinvolge la raccolta di dati umani e l'inferenza dell'IA:

1. Costruzione del Dataset di Eye-Tracking Umano:

   • Stimoli: 33 immagini di scene che rappresentano diversi ambienti quotidiani (strade, corridoi, spazi pubblici, aree verdi) con vari livelli di rischio potenziale (es. veicoli, ostacoli, segnali di inondazione).
   • Partecipanti: 10 studenti universitari con visione normale o corretta.
   • Apparato: Sono stati utilizzati occhiali indossabili Pupil Invisible (eye-tracking binoculare a 200 Hz, telecamera della scena a 30 fps) per registrare lo sguardo mentre i partecipanti osservavano le immagini su un monitor da 24 pollici per 10 secondi ciascuna.
   • Elaborazione: I dati grezzi dello sguardo sono stati filtrati per validità, mappati dal campo visivo della telecamera della scena alla risoluzione dello stimolo (1.536 × 1.024 pixel) e convertiti in mappe di densità di fissazione individuali tramite smoothing gaussiano ($\sigma = 30$ px). Questi sono stati mediati per creare 33 heatmap del gaze umano a livello di popolazione.

2. Generazione della Mappa di Salienza tramite IA:

   • Modello: GPT-4o è stato selezionato per le sue capacità di ragionamento multimodale.
   • Pipeline: Uno script Python automatizzato ha istruito GPT-4o tramite l'API OpenAI Vision affinché agisse come un "esperto di salienza visiva". Il modello è stato istruito per restituire un oggetto JSON strutturato contenente 20–25 punti di fissazione normalizzati $(x, y)$ con pesi di salienza $(w)$, prevedendo dove l'uomo guarderebbe durante una visione libera.
   • Rendering: L'output JSON è stato rasterizzato in dischi pieni ($r = 40$ px) su una tela, seguito da uno smoothing gaussiano ($\sigma = 60$ px) per generare mappe di salienza continue confrontabili con le heatmap umane. Nessun dato di eye-tracking è stato utilizzato per addestrare il modello.

3. Valutazione:

   • L'allineamento spaziale tra le heatmap umane e quelle dell'IA è stato quantificato utilizzando quattro metriche su tutti i 33 le immagini:
     • Correlazione di Pearson ($r$): Accordo spaziale lineare.
     • Normalised Scanpath Saliency (NSS): Corrispondenza dei valori dell'IA nei punti di fissazione umana.
     • Divergenza di Kullback–Leibler (KL): Differenza distributiva tra le due mappe.
     • AUC-Judd: Capacità di discriminare tra posizioni fissate e non fissate.
   • È stata eseguita un'analisi comparativa tra modelli utilizzando Gemini Pro, Gemini Flash e Claude.

Risultati Chiave

• Performance di GPT-4o: Il modello ha dimostrato un significativo allineamento spaziale con lo sguardo umano senza un addestramento preventivo sull'eye-tracking.
  • AUC-Judd: $0.806 \pm 0.076$ (notevolmente al di sopra della baseline del caso di 0.5).
  • NSS: $0.988 \pm 0.323$ (punteggio positivo che indica valori superiori alla media nei punti di fissazione umana).
  • Pearson $r$: $0.515 \pm 0.117$ (correlazione lineare moderata ma costante).
  • Divergenza KL: $1.766 \pm 0.844$.
• Confronto tra Modelli: Tutti i modelli testati (GPT-4o, Gemini Pro, Gemini Flash, Claude) hanno superato la baseline AUC-Judd e hanno ottenuto punteggi NSS positivi.
  • Gemini Pro ha ottenuto i punteggi più alti nella correlazione di Pearson ($0.571$), NSS ($1.131$) e AUC-Judd ($0.840$), suggerendo una localizzazione spaziale superiore.
  • GPT-4o ha ottenuto la divergenza KL più bassa ($1.766$), indicando che la forma della distribuzione della salienza predetta corrisponde più strettamente alla distribuzione dell'attenzione umana, nonostante punteggi di localizzazione spaziale leggermente inferiori rispetto a Gemini Pro.
• Variabilità della Scena: L'allineamento è stato più forte nelle scene in cui il contenuto legato al rischio era spazialmente localizzato (es. Immagine 05, Immagine 02) e più debole nelle scene con pattern di sguardo umano diffusi.

Contributi Chiave

1. Creazione del Dataset: Lo studio ha costruito un dataset dedicato di eye-tracking che copre 33 diversi tipi di scene quotidiane con vari livelli di rischio, fornendo heatmap del gaze umano mediato dalla popolazione come ground truth per la percezione della sicurezza.
2. Dimostrazione di Allineamento Zero-Shot: Ha dimostrato empiricamente che i grandi VLM, istruiti a identificare i rischi, possono generare previsioni spaziali che si allineano con i pattern di attenzione umana senza richiedere dati di addestramento specifici sull'eye-tracking.
3. Framework di Valutazione: Il documento applica un set completo di metriche di salienza complementari per quantificare la corrispondenza spaziale tra le mappe di rischio generate dall'IA e lo sguardo umano in contesti rilevanti per la sicurezza.

Significato e Rivendicazioni
Gli autori affermano che i grandi modelli vision-language possono identificare le regioni di potenziale rischio che corrispondono ampiamente a dove l'attenzione visiva umana si dirige in scene rilevanti per la sicurezza. Ciò suggerisce che i VLM catturino implicitamente le tendenze umane a dare priorità alle regioni rischiose, probabilmente a causa dell'addestramento su contenuti generati dagli umani, anche se i modelli stessi non sperimentano il "bias di negatività" psicologico.

La significatività di questi risultati risiede nel potenziale dei VLM di fungere da strumento scalabile per approssimare i pattern di attenzione umana nelle applicazioni di IA consapevole della sicurezza. Questa capacità potrebbe supportare lo sviluppo di sistemi (come robot o veicoli autonomi) che si allineino con la percezione umana del rischio senza la necessità di hardware dedicato all'eye-tracking costoso durante la fase di implementazione. Gli autori osservano che, sebbene i risultati siano promettenti, sono modesti; l'allineamento non è perfetto e lo studio riconosce i limiti relativi al piccolo campione di partecipanti e alla natura sparsa dell'output JSON dell'IA rispetto ai dati densi del gaze umano. Il lavoro futuro suggerisce di coinvolgere campioni più ampi e diversificati e stimoli video dinamici per convalidare ulteriormente queste scoperte.