Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues

1. Enunciato del Problema

Si prevede sempre più che i Modelli Vision-Language (VLM) comprendano i segnali di comunicazione non verbale, come lo sguardo, per facilitare l'interazione uomo-robot e l'intelligenza artificiale sociale. Sebbene esistano modelli specializzati per la stima dello sguardo, essi mancano delle capacità di ragionamento generale dei VLM. Tuttavia, non è ancora chiaro se i VLM possano inferire accuratamente gli obiettivi dello sguardo (ciò che una persona sta guardando) in contesti zero-shot, in particolare quando si tratta di distinguere tra aspetto degli occhi (la direzione effettiva degli occhi) e orientamento della testa (la direzione verso cui è puntato il viso).

Il problema centrale indagato è se i VLM possiedano la capacità fondamentale di inferire lo sguardo basandosi su sottili indizi oculari o se facciano affidamento su un pregiudizio euristico in cui assumono che una persona stia guardando nella direzione in cui è orientata la testa, anche quando gli occhi guardano altrove.

2. Metodologia

A. Costruzione del Dataset e degli Stimoli

Gli autori hanno costruito un dataset controllato di 1.360 fotografie reali raffiguranti una singola persona seduta a un tavolo con 2-4 oggetti.

• Variabili Controllate:
  • Obiettivo dello Sguardo: L'oggetto specifico su cui la persona sta guardando.
  • Obiettivo della Testa: La direzione verso cui è orientata la testa della persona.
  • Condizioni:
    • Congruente: Testa e occhi puntano allo stesso oggetto.
    • Incongruente: La testa punta a un oggetto, ma gli occhi guardano un oggetto diverso (il caso di test critico).
    • Naturale: L'orientamento della testa è libero ma confortevole.
  • Manipolazioni: Angolo di visione (Frontale, Sinistra, Destra), Prossimità dell'oggetto (1-3, dove 3 è il più vicino) e Numero di Oggetti (2-4).
• Novità: Le immagini sono fotografie reali (non sintetiche) per garantire le regolarità statistiche di luce e ombra, ma sono sufficientemente nuove da minimizzare la sovrapposizione con i dati di addestramento.

B. Disegno Sperimentale

• Modelli Valutati: Lo studio ha testato 111 VLM in una fase pre-pilota, con uno studio principale focalizzato sui migliori performer: GPT-4o, GPT-5.2, Qwen3-VL, InternLM-XComposer2 e GLM-4.6V.
• Baseline: Includevano modelli specializzati come Moondream2 (ibrido con funzione specializzata per lo sguardo) e GazeLLE (modello visivo fine-tunato).
• Compito: Un formato a scelta multipla che chiedeva: "Su quale oggetto sta guardando questa persona?", con opzioni randomizzate.
• Protocollo di Valutazione: Ogni VLM ha visto 1360 immagini 16 volte con diversi template di prompt (per un totale di ~21.760 tentativi per modello) per garantire la potenza statistica.

C. Framework di Caratterizzazione

Gli autori hanno proposto una serie di test empirici per categorizzare il comportamento del modello in cinque tipi ipotizzati (visualizzati nella Figura 2 del documento):

1. Competente nello Sguardo: Precisione a livello umano.
2. Consapevole degli Occhi: Precisione inferiore a quella umana ma non fortemente influenzata dall'orientamento della testa.
3. Dominanza della Testa: Non riesce a risolvere lo sguardo con precisione; fa forte affidamento sull'orientamento della testa come euristica.
4. Solo Testa: Ignora largamente l'aspetto degli occhi.
5. Ambivalente Testa-Occhi: Alterna casualmente tra obiettivo della testa e obiettivo dello sguardo.

Test Chiave:

• Test 1 (Divario di Prestazione): Confrontare l'accuratezza dei VLM con quella dei partecipanti umani.
• Test 2 (Pregiudizio della Testa): Il modello sceglie l'obiettivo della testa più spesso dell'obiettivo dello sguardo quando questi differiscono? Le prestazioni calano significativamente nella condizione Incongruente?
• Test 3 (Risposta allo Sguardo): La distanza dell'errore del modello aumenta all'aumentare della distanza tra l'obiettivo della testa e l'obiettivo dello sguardo?
• Test 4 (Lancio della Moneta): La distribuzione delle scelte del modello cambia in base al numero di oggetti tra l'obiettivo della testa e l'obiettivo dello sguardo?

D. Esperimento di Mitigazione (Proof-of-Concept)

Per determinare se il pregiudizio fosse architetturale o guidato dai dati, gli autori hanno fine-tunato GazeLLE sul loro specifico set di stimoli (split train/val/test 7:1:2).

3. Risultati Chiave

A. Divario di Prestazione

• Umani: Hanno raggiunto un'accuratezza dell'89% sugli stimoli pilota.
• VLM: La maggior parte dei modelli ha operato vicino al caso casuale (~42%). Anche i migliori modelli (GPT-5.2, GPT-4o) hanno raggiunto solo un'accuratezza del 30–46% sugli stimoli dello studio principale (Condizione Naturale).
• Modelli Specializzati: Anche Moondream2 e GazeLLE non hanno raggiunto livelli umani nel setting zero-shot, sebbene GazeLLE abbia performato meglio dei VLM generici.

B. Il Pregiudizio dell'Orientamento della Testa

• Modalità di Fallimento Dominante: La maggior parte dei VLM ha esibito un forte pregiudizio Dominante della Testa.
  • Nella Condizione Incongruente, i modelli hanno selezionato frequentemente l'oggetto verso cui era orientata la testa piuttosto che l'oggetto su cui guardavano gli occhi.
  • Test 2.1: GPT-5.2 e Qwen3 hanno scelto l'Obiettivo della Testa rispetto all'Obiettivo dello Sguardo significativamente più spesso del caso (rispettivamente 62% e 57%).
  • Test 2.3: Le prestazioni sono crollate drasticamente quando Obiettivo della Testa $\neq$ Obiettivo dello Sguardo (ad esempio, GPT-5.2 è passato dal 45% di accuratezza nella Condizione Congruente al 28% nella Condizione Incongruente).
• Effetto Prossimità: I modelli hanno performato peggio quando gli oggetti erano più vicini tra loro, indicando che utilizzano informazioni visive ma faticano nella discriminazione fine.
• Effetto Visione: I modelli hanno mostrato una minore sensibilità all'aspetto degli occhi quando visti di lato rispetto a quando visti frontalmente, a differenza degli umani che mantengono un'alta accuratezza.

C. Analisi delle Cause

Gli autori hanno escluso diverse spiegazioni alternative:

• Risoluzione: Aumentare la risoluzione (fino a 1024x1024) non ha migliorato l'accuratezza.
• Nominazione degli Oggetti: I modelli potevano identificare correttamente gli oggetti; l'errore risiedeva nel collegare lo sguardo all'oggetto.
• Architettura/Dimensione: Modelli più grandi (più parametri) e nuove release non hanno mostrato miglioramenti significativi.
• Conclusione: Il pregiudizio è probabilmente guidato dai dati. I dati di addestramento (immagini da internet) probabilmente sovrarappresentano i casi in cui testa e sguardo sono allineati e sottorappresentano "sguardi di lato" o segnali incongruenti, non insegnando al modello la sfumatura sociale del disaccoppiamento testa-occhi.

D. Risultati del Fine-Tuning

• Il fine-tuning di GazeLLE sul dataset specifico ha mitigato significativamente il pregiudizio.
• Condizione Incongruente: L'accuratezza è salita dal 15,65% (pre-addestrato) al 34,15% (fine-tunato).
• Condizione Congruente: Miglioramento modesto (62,82% $\to$ 70,00%).
• Implicazione: Il modello può imparare a fare affidamento sull'aspetto degli occhi se esposto a sufficienti contro-esempi, confermando l'ipotesi sulla distribuzione dei dati.

4. Contributi Chiave

1. Caratterizzazione Empirica: Introduzione di un framework rigoroso per categorizzare i comportamenti di inferenza dello sguardo dei VLM, andando oltre semplici benchmark di accuratezza per comprendere come i modelli falliscono (ad es. Dominante della Testa vs Consapevole degli Occhi).
2. Creazione del Dataset: Rilascio di un dataset controllato di alta qualità con 1.360 immagini reali specificamente progettato per disaccoppiare l'orientamento della testa dalla direzione dello sguardo.
3. Identificazione del Pregiudizio: Fornitura di forti evidenze che i VLM all'avanguardia attuali fanno affidamento su un'"euristica dell'orientamento della testa" piuttosto che analizzare l'aspetto degli occhi, portando a un divario di prestazione significativo rispetto agli umani.
4. Insight Centrato sui Dati: Dimostrazione, tramite fine-tuning, che questo pregiudizio non è una limitazione architetturale intrinseca ma il risultato della distribuzione dei dati di addestramento, offrendo una chiara via per il miglioramento.

5. Significato e Direzioni Future

• IA Sociale: Affinché robot e agenti conversazionali interagiscano in modo naturale, devono comprendere lo sguardo per risolvere l'ambiguità di riferimento e inferire l'intento. I VLM attuali non sono affidabili per questo compito.
• Metodologia di Valutazione: Il documento sostiene per una "valutazione guidata da ipotesi" e un sondaggio comportamentale controllato (simile alle scienze cognitive) piuttosto che il semplice benchmarking su immagini da internet, dove le euristiche della testa spesso bastano.
• Raccomandazioni per l'Addestramento: I futuri VLM richiedono dati di addestramento che catturino esplicitamente l'interazione tra orientamento del corpo/testa e aspetto degli occhi, includendo specificamente casi "incongruenti" in cui testa e occhi puntano in direzioni diverse.
• Considerazioni Etiche: Gli autori avvertono che, sebbene i modelli attuali manchino di questa abilità, la potenziale capacità delle macchine di interpretare segnali non verbali senza consenso rappresenta un rischio sociale che deve essere gestito man mano che la tecnologia migliora.

In sintesi, il documento rivela che, nonostante le loro capacità avanzate, i VLM attuali sono "ciechi" ai sottili segnali dello sguardo umano, ricorrendo a un'euristica più semplice e spesso errata basata sull'orientamento della testa. Questo limite è risolvibile attraverso una curatela mirata dei dati e il fine-tuning.