💻 computer science

Attention Alignment Between Humans and Vision-Language Models

Questo studio rivela che, sebbene i decoder basati su LSTM nei modelli visione-linguaggio raggiungano un allineamento superiore con l'attenzione spaziale umana rispetto ai decoder Transformer, questi ultimi esibiscono una concentrazione spaziale più acuta e una migliore differenziazione dei compiti, con un compromesso che emerge laddove i modelli con minore allineamento della fissazione (CNN-Transformer) predicono meglio l'attività neurale sintetica nella corteccia visiva primaria.

Autori originali: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Pubblicato 2026-06-17

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Isaac R. Christian, Udith Haputhanthrige, Hanna Hornfeld, Declan Campbell, Samuel Nastase, Taylor Webb, Michael Graziano

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot a guardare una foto come farebbe un essere umano. Vuoi che gli occhi del robot si posino sugli stessi punti in cui si poserebbe una persona guardando una foto di una strada affollata o di un incontro di famiglia.

Questo articolo è come un esperimento scientifico in cui i ricercatori hanno costruito diverse "menti robotiche" per vedere quale assomigli di più a quella umana. Non ne hanno costruito solo una; hanno creato un'intera famiglia di robot mescolando e abbinando parti diverse, come se sostituissero l'obiettivo della telecamera (l'Encoder) e la parte del cervello che decide su cosa concentrarsi (il Decoder).

Ecco la ripartizione delle loro scoperte, utilizzando semplici analogie:

1. Le due parti principali del robot

Pensa al sistema di visione del robot come a una telecamera e a un regista:

L'Encoder (La Telecamera): Questa è la parte che prende l'immagine e la scompone in pezzi. I ricercatori hanno testato due tipi:
- CNN (Lo Scanner Locale): Come una persona che guarda una foto un piccolo quadrato alla volta, notando dettagli come bordi e texture.
- ViT (Il Guardatore Globale): Come una persona che fa un passo indietro per vedere l'intera immagine in una volta sola, comprendendo immediatamente il quadro generale.
Il Decoder (Il Regista): Questa è la parte che decide: "Ok, ora che vedo l'immagine, cosa devo dire e dove devo guardare dopo?". Hanno testato due tipi:
- LSTM (Il Regista a Singolo Thread): Questo regista cerca di tenere tutte le informazioni visive in una mano e di schiacciarle in un singolo "punto di fuoco" per ogni parola che pronuncia.
- Transformer (Il Team di Registi): Questo regista ha un team di specialisti (chiamati "teste") che guardano tutti l'immagine contemporaneamente, ognuno concentrandosi su un aspetto diverso.

2. La Grande Scoperta: Il Regista conta più della Telecamera

I ricercatori hanno scoperto che chi dirige lo spettacolo conta molto di più del tipo di telecamera utilizzato.

Il "Regista LSTM" (a Singolo Thread): Questo robot era il migliore nel mimare i movimenti oculari umani. Quando gli esseri umani guardavano un'immagine, la mappa di attenzione di questo robot era molto simile a dove guardavano gli umani. Ha raggiunto circa l'85–87% di un match perfetto con l'uomo.
- Il problema: Sebbene guardasse i posti giusti, era un po' "disordinato". La sua attenzione era diffusa come un riflettore ampio e sfocato. Non si concentrava con precisione su dettagli specifici e non cambiava molto il suo focus, indipendentemente dal fatto che il compito fosse "descrivere la scena" o "indovinare cosa sta guardando la persona".
Il "Regista Transformer" (Team di Specialisti): Questo robot era più nitido e preciso. Poteva concentrare la sua attenzione strettamente su punti specifici, proprio come un raggio laser. Inoltre, cambiava drasticamente il suo focus a seconda del compito (ad esempio, guardando un volto per un compito sociale o guardando l'intera stanza per una descrizione).
- Il problema: Nonostante fosse più nitido, era molto meno bravo a corrispondere ai movimenti oculari umani. Raggiungeva solo il 40–59% del match con l'uomo. Guardava il tipo di punti giusti, ma non gli esatti punti scelti dagli umani.

Il Verdetto: Se vuoi un robot che guardi una foto esattamente dove guarda un essere umano, vuoi il "Regista LSTM". Se vuoi un robot che sia preciso e adattabile ma che guardi punti diversi dagli umani, vuoi il "Regista Transformer".

3. La "Telecamera" aiuta comunque

Anche se il Regista era la parte più importante, la Telecamera faceva comunque la differenza.

La Telecamera CNN (lo scanner locale) ha costantemente aiutato il robot a guardare più come un essere umano rispetto alla Telecamera ViT (il guardatore globale).
La combinazione migliore in assoluto è stata la Telecamera CNN abbinata al Regista LSTM. Questo robot era il più vicino al comportamento umano, raggiungendo quasi l'87% del limite umano.

4. Il Test del "Danno Cerebrale"

Per vedere quanto fossero robusti questi robot, i ricercatori hanno simulato un "danno cerebrale" bloccando il lato sinistro della visione del robot (come una condizione chiamata negligenza spaziale, in cui le persone ignorano un lato dello spazio).

I robot Transformer (il team di registi) sono stati molto resistenti. Anche quando metà della loro visione veniva bloccata, riuscivano ancora a dare un senso all'immagine perché i membri del loro team potevano condividere il carico.
I robot LSTM (il regista a singolo thread) hanno avuto più difficoltà. Poiché si affidavano a un unico grande "riassunto" dell'immagine, bloccare parte della visuale li ha danneggiati di più.

5. La Sorpresa: Guardare vs Pensare

Infine, i ricercatori si sono posti una domanda difficile: "Un robot che guarda come un essere umano, pensa anche come un essere umano?"

Hanno usato uno strumento speciale per simulare come il cervello umano reagirebbe alle immagini che i robot stavano guardando.

La Sorpresa: Il robot che guardava più come un essere umano (l'LSTM) non era quello che meglio prevedeva l'attività cerebrale.
Invece, il robot CNN-Transformer (che guardava meno come un essere umano) era in realtà più bravo a prevedere quali parti del cervello si sarebbero illuminate.
Cosa significa questo: C'è una differenza tra "dove guardiamo" (comportamento) e "come il nostro cervello elabora l'immagine" (attività neurale). Un robot può guardare un'immagine in un modo simile a quello umano, ma elaborare l'informazione in un modo non umano, e viceversa.

Riassunto

Per guardare come un essere umano: Usa una telecamera "Scanner Locale" (CNN) con un "Regista a Singolo Thread" (LSTM). È un po' sfocato ma colpisce i punti giusti.
Per essere nitidi e adattabili: Usa una telecamera "Guardatore Globale" (ViT) con un "Team di Registi" (Transformer). È preciso ma guarda punti diversi rispetto agli umani.
La lezione: Solo perché gli occhi di un robot si muovono come quelli di un essere umano, non significa che il suo cervello funzioni come quello di un essere umano. Le due cose sono correlate, ma non sono la stessa cosa.

Sintesi Tecnica: Allineamento dell'Attenzione tra Esseri Umani e Modelli Vision-Language

Definizione del Problema

La percezione visiva è governata dall'interazione tra meccanismi sensoriali bottom-up e obiettivi top-down. Sebbene i modelli Vision-Language (VLM) implementino entrambi i componenti, rimane poco chiaro come specifiche scelte architettoniche nell'encoder (bottom-up) e nel decoder (top-down) modellino l'allineamento dell'attenzione del modello con la fissazione visiva umana. La ricerca precedente si è concentrata ampiamente sulla salienza bottom-up o ha trattato la distribuzione di addestramento come il principale motore dell'allineamento, trascurando spesso come i bias architettonici possano influenzare indipendentemente e congiuntamente i meccanismi di attenzione top-down. Questo studio mira a dissociare questi contributi variando sistematicamente le architetture di encoder e decoder controllando i dati di addestramento, ponendo la domanda se configurazioni architettoniche specifiche producano mappe di attenzione che imitino meglio la selezione spaziale e l'adattamento ai compiti umani.

Metodologia

Disegno Sperimentale

Gli autori hanno impiegato un disegno fattoriale $2 \times 2$ per addestrare quattro modelli di captioning di immagini, isolando gli effetti delle famiglie di encoder e decoder:

Encoder: ResNet-101 (CNN) vs. ViT-B/16 (Vision Transformer).
Decoder: LSTM con attenzione soft additiva vs. Transformer a 4 strati con multi-head cross-attention.
Modelli Baseline: Due VLM allo stato dell'arte (Molmo 7B-D e Qwen3.5 9B) sono stati valutati senza fine-tuning.

Dati e Compiti

Stimoli: 200 immagini naturali del set di validazione COCO 2017.
Dati Umani: I movimenti oculari sono stati registrati da 49 partecipanti utilizzando un EyeLink 1000 Plus (2000 Hz) durante due compiti distinti:
1. Compito di Descrizione (Describe Task): Descrizione generale della scena.
2. Compito Sociale (Social Task): Inferenza dello stato attentivo di un attore specifico all'interno della scena.
Ground Truth: Le mappe di calore delle fissazioni umane sono state generate convolvendo i campioni di sguardo con un kernel Gaussiano e sottocampionandoli a $256 \times 256$ .

Protocollo di Addestramento

Tutti i quattro modelli personalizzati hanno subito un curriculum coerente in quattro fasi:

Pretraining: Decoder addestrato su didascalie COCO 2014 (encoder congelato).
Fine-tuning (Describe): Encoder sbloccato; addestrato su COCO 2014.
Fine-tuning (Social): Encoder sbloccato; addestrato su un dataset di captioning sociale raccolto in laboratorio.
Valutazione: Le mappe di attenzione sono state estratte e confrontate con le mappe di calore umane per il corrispondente compito.

Metriche di Valutazione

Allineamento delle Fissazioni: Correlazione di Spearman tra le mappe di attenzione del modello e le mappe di fissazione umana, normalizzata rispetto al noise ceiling umano-umano.
Diffusione Spaziale: Entropia di Shannon normalizzata per misurare la diffusione dell'attenzione (concentrazione vs. distribuzione).
Adattamento al Compito: Correlazione tra le mappe di attenzione generate per il compito Social rispetto al compito Describe per valutare la riconfigurazione specifica del compito.
Robustezza: Simulazione di negligenza emisferica tramite ablazione progressiva della griglia spaziale sinistra (dal 7% al 100%) per misurare la degradazione della caption.
Predizione Neurale: Un modello di codifica ridge a bande ha predetto le risposte fMRI simulate da TRIBE utilizzando le mappe di attenzione del modello ("dove") e gli embedding CLIP ("cosa"). La partizione della varianza è stata utilizzata per isolare i contributi unici e condivisi.

Risultati Chiave

1. L'Architettura del Decoder Domina l'Allineamento

La scelta del decoder è stata il principale predittore dell'allineamento con le fissazioni umane, spiegando una differenza di 40–50 punti percentuali:

Decoder LSTM: Hanno ottenuto l'allineamento più elevato, raggiungendo l'80–87% del noise ceiling umano (es. CNN-LSTM: 85–87%).
Decoder Transformer: Hanno mostrato un allineamento significativamente inferiore, raggiungendo il 40–59% del ceiling (es. ViT-Transformer: 39–52%).
Contributo dell'Encoder: Gli encoder CNN hanno fornito un vantaggio secondario di 5–20 punti percentuali rispetto agli encoder ViT, a seconda della famiglia di decoder. La combinazione CNN-LSTM è stata la più allineata in assoluto.
Modelli SOTA: Molmo 7B-D (76–82%) e Qwen3.5 9B (53–69%) si sono collocati tra gli estremi dei modelli addestrati, ma non hanno superato il custom-trained CNN-LSTM.

2. Dissociazione tra Allineamento e Proprietà Spaziali

Un risultato critico è stato il trade-off tra accuratezza dell'allineamento e caratteristiche spaziali:

Modelli LSTM: Sebbene altamente allineati con le posizioni delle fissazioni umane, le loro mappe di attenzione erano spazialmente diffuse (entropia di Shannon $\approx 0.999$ ), distribuendo i pesi su quasi tutti i 196 posizioni spaziali. Hanno inoltre mostrato una bassa differenziazione del compito, mantenendo pattern di attenzione simili tra i compiti Describe e Social.
Modelli Transformer: Nonostante un minore allineamento delle fissazioni, hanno esibito una maggiore concentrazione spaziale e una più forte differenziazione del compito (es. il ViT-Transformer ha mostrato le mappe di attenzione più distinte tra i compiti).

3. Robustezza alla Lesione

Nella simulazione di negligenza emisferica, la robustezza è seguita il grado di elaborazione distribuita:

ViT-Transformer: L'architettura più distribuita è stata la più resiliente all'ablazione spaziale, mantenendo la qualità della caption anche con una perdita significativa del campo recettivo.
Modelli LSTM: Hanno mostrato la maggiore degradazione sotto lesione, particolarmente ai livelli di gravità più alti dove tutti i patch ricevevano un peso uguale.

4. Accuratezza Predittiva Neurale vs. Allineamento Comportamentale

Lo studio ha riscontrato una dissociazione tra l'allineamento comportamentale e la potenza predittiva neurale:

CNN-Transformer: Nonostante sia classificato terzo per allineamento delle fissazioni, le sue mappe di attenzione hanno meglio predetto l'attività cerebrale sintetica (massimo $R^2$ globale) nella simulazione TRIBE.
Modelli LSTM: Sebbene siano i migliori allineati al gaze umano, non sono stati i migliori predittori delle risposte neurali.
Partizione della Varianza: Il "Cosa" (contenuto visivo/semantico tramite CLIP) ha spiegato la maggior parte della varianza neurale, concentrata nelle regioni del linguaggio e temporali. Il "Dove" (attenzione spaziale) ha spiegato unicamente la varianza principalmente nella corteccia visiva primaria e nelle reti di attenzione dorsale. I due segnali erano ampiamente condivisi nelle regioni di ordine superiore, suggerendo una minore separazione tra le vie "cosa" e "dove" rispetto a quanto tradizionalmente assunto.

Significato e Rivendicazioni

L'articolo sostiene che l'architettura del decoder è il fattore dominante nel determinare quanto bene l'attenzione di un VLM si allinei con la selezione spaziale umana, con i decoder LSTM che superano i Transformer nell'allineamento comportamentale ma falliscono nel catturare la nitidezza spaziale e l'adattabilità al compito tipiche dell'attenzione umana. Al contrario, i decoder Transformer, pur essendo meno allineati comportamentalmente, offrono una superiore acuità spaziale e robustezza.

Gli autori evidenziano un trade-off fondamentale:

Meccanismi Top-down (Decoder): I decoder LSTM agiscono come un collo di bottiglia, forzando un campionamento ampio e diffuso che imita la distribuzione delle fissazioni umane ma manca di una nitidezza specifica per il compito. I decoder Transformer distribuiscono l'attenzione tra le teste, permettendo la specializzazione e l'adattamento al compito, ma risultando in un minore overlap complessivo delle fissazioni.
Meccanismi Bottom-up (Encoder): Le CNN superano costantemente le ViT nell'allineamento, rafforzando l'idea che i bias di elaborazione locale possano essere benefici per imitare la selezione visiva umana.

Crucialmente, lo studio dimostra che l'allineamento delle fissazioni e l'accuratezza predittiva neurale non sono metriche intercambiabili. Un modello può essere meno allineato ai movimenti oculari umani ma essere un miglior predittore delle risposte neurali, suggerendo che diversi bias architettonici catturino aspetti differenti dell'elaborazione umana. I risultati suggeriscono che gli attuali VLM non catturano pienamente l'intero spettro dell'attenzione umana, che richiede sia il campionamento diffuso degli LSTM sia la concentrazione nitida e adattiva ai compiti dei Transformer.