🤖 AI

Gaze patterns predict preference and confidence in pairwise AI image evaluation

Lo studio dimostra che i modelli di fissazione oculare possono prevedere sia la scelta che il livello di confidenza degli utenti durante la valutazione di immagini generate dall'intelligenza artificiale, rivelando segnali impliciti rilevanti per la qualità delle annotazioni di preferenza.

Autori originali: Nikolas Papadopoulos, Shreenithi Navaneethan, Sheng Bai, Ankur Samanta, Paul Sajda

Pubblicato 2026-03-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Nikolas Papadopoulos, Shreenithi Navaneethan, Sheng Bai, Ankur Samanta, Paul Sajda

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere in una galleria d'arte digitale. Hai davanti due quadri generati dall'intelligenza artificiale e devi scegliere quale ti piace di più. Questo è esattamente ciò che fanno milioni di persone ogni giorno per "insegnare" alle intelligenze artificiali a creare immagini migliori: confrontano due opzioni e dicono "questa è la migliore".

Ma c'è un mistero: come decidono davvero le persone? È una scelta fatta con sicurezza e convinzione, o è un'ipotesi fatta a caso?

Gli autori di questo studio (dall'Università di Columbia) hanno deciso di guardare sotto il cofano di questo processo decisionale, non chiedendo alle persone cosa pensano, ma osservando dove guardano i loro occhi.

Ecco la spiegazione semplice, con qualche analogia creativa:

1. La "Valanga dello Sguardo" (Il Gaze Cascade)

Immagina di dover scegliere tra due percorsi in una foresta. All'inizio, il tuo sguardo oscilla un po' da una parte all'altra, come un pendolo. Ma man mano che ti avvicini alla decisione, il tuo sguardo inizia a "scivolare" verso il percorso che hai scelto, come se una valanga di attenzione lo spingesse in quella direzione.

Cosa hanno scoperto: Gli scienziati hanno visto che, circa un secondo prima di premere il tasto per la scelta, gli occhi delle persone si fissano quasi esclusivamente sull'immagine che hanno scelto. È come se l'occhio dicesse alla mano: "Ehi, ho già deciso, muoviti!". Questo fenomeno, chiamato "effetto valanga", funziona anche quando si valutano immagini create dall'AI, non solo quando si scelgono oggetti reali.

2. Lo Sguardo come "Detective" (Prevedere la scelta)

Se potessimo leggere il movimento degli occhi di qualcuno mentre guarda le due immagini, potremmo indovinare quale sceglierà?

La risposta è sì. Gli occhi non sono solo spettatori passivi; sono come un detective che lascia tracce. L'immagine che verrà scelta riceve:
- Più tempo di "soggiorno" (i tuoi occhi si fermano lì più a lungo).
- Più "occhiatacce" (guardi e poi torni a guardare la stessa immagine).
- Più fissazioni (punti dove lo sguardo si blocca).
Usando questi indizi, un computer ha indovinato la scelta corretta nel 68% dei casi, molto meglio del caso (che sarebbe il 50%). È come se lo sguardo avesse già scritto la risposta prima che la persona la dicesse ad alta voce.

3. La "Danza dell'Incertezza" (Prevedere la sicurezza)

Qui la cosa diventa affascinante. Come possiamo capire se una persona è sicura della sua scelta o se sta solo tirando a indovinare?

L'analogia: Immagina due ballerini.
- Chi è sicuro (alta fiducia) guarda un ballerino, annuisce e si ferma. Il suo sguardo è stabile.
- Chi è insicuro (bassa fiducia) è come un ballerino nervoso che salta da un partner all'altro continuamente, cercando di capire chi è il migliore. Il suo sguardo "rimbalza" freneticamente tra le due immagini.
La scoperta: Gli scienziati hanno notato che quando le persone erano incerte, i loro occhi cambiavano immagine molto più velocemente (più "salti" al secondo). Questo "rimbalzo" è un segnale che dice: "Ehi, non sono sicuro di questa scelta!".

Perché è importante?

Oggi, le aziende addestrano le intelligenze artificiali (come quelle che fanno le immagini o scrivono testi) basandosi su queste scelte umane. Ma se qualcuno fa una scelta a caso o è molto incerto, quel dato potrebbe "confondere" l'AI.

Questo studio ci dice che gli occhi non mentono.

Ci dicono cosa piace davvero (la scelta).
Ci dicono quanto siamo sicuri di quella scelta (la fiducia).

In sintesi:
Pensate agli occhi come a una telecamera nascosta che registra i pensieri segreti. Se riuscissimo a usare questi segnali "invisibili" mentre addestriamo le intelligenze artificiali, potremmo insegnare loro meglio, scartando le risposte incerte e dando più peso a quelle fatte con convinzione. È come passare da un voto a voce alta (che a volte è confuso) a un voto basato su ciò che il corpo fa davvero, rendendo l'AI più intelligente e più umana.

Titolo

I pattern di sguardo predicono la preferenza e la fiducia nella valutazione di immagini AI a coppie.

1. Il Problema

L'allineamento dei sistemi di Intelligenza Artificiale (AI) ai valori umani si basa sempre più sull'apprendimento dalle preferenze umane, tramite metodologie come il Reinforcement Learning from Human Feedback (RLHF) e l'ottimizzazione diretta delle preferenze (DPO). Questi metodi dipendono da giudizi binari a coppie (scegliere tra due opzioni), ma i processi cognitivi sottostanti a tali giudizi rimangono in gran parte oscuri.
Le pipeline di apprendimento delle preferenze osservano solo la scelta finale, non il processo decisionale che l'ha generata. La stessa etichetta di preferenza può derivare da una deliberazione sicura o da un'incertezza casuale. Sebbene alcuni dataset raccolgano l'autoreferenziazione della fiducia, queste annotazioni sono spesso scartate durante l'addestramento e potrebbero non catturare pienamente le dinamiche cognitive. L'uso del tempo di risposta offre solo una misura aggregata, mentre l'oculometria (eye-tracking) potrebbe fornire informazioni più ricche su come l'attenzione viene allocata, come le opzioni vengono confrontate e come si formano le preferenze in tempo reale.

2. Metodologia

Setup Sperimentale:

Partecipanti: 30 individui (età media 24,7 anni).
Compito: Valutazione di immagini AI a coppie. I partecipanti visualizzavano un prompt testuale insieme a due immagini generate dall'AI e dovevano indicare la preferenza tramite tasti freccia.
Dati: 1.800 prove totali (60 prove per partecipante).
Stimoli: 150 coppie prompt-immagine provenienti da dataset open-source (Open-image-preferences, Rapidata) e coppie generate su misura con prompt complessi. Le immagini rappresentavano scenari fotorealistici.
Misurazione: Eye-tracking registrato a 250 Hz (Tobii Pro Fusion).
Flusso della prova: Fissazione centrale (2s) -> Presentazione simultanea di prompt e due immagini -> Scelta della preferenza -> Valutazione della fiducia (Bassa, Media, Alta).

Elaborazione dei Dati:

Le fissazioni sono state estratte utilizzando l'algoritmo I-DT (Dispersion-Threshold Identification).
Sono state definite tre Aree di Interesse (AOI): immagine sinistra, immagine destra e regione del prompt.
Sono stati estratti 23 feature di sguardo in cinque categorie: metriche per AOI, confronti tra immagini, marcatori temporali, transizioni dello sguardo e variabilità delle fissazioni.

3. Contributi Chiave

Lo studio apporta tre principali contributi alla ricerca sull'allineamento AI e la psicologia della decisione:

Validazione Cognitiva: Dimostra che l'effetto "cascata dello sguardo" (gaze cascade effect), ben noto nella ricerca decisionale, si estende alla valutazione multi-attributo di immagini AI generate. Lo sguardo si sposta verso l'immagine scelta circa 1 secondo prima della risposta comportamentale.
Predizione della Preferenza: Le feature dello sguardo permettono di prevedere la scelta binaria (sinistra/destra) con un'accuratezza superiore al caso (68%), indicando che le informazioni relative alla preferenza sono presenti durante tutto il processo decisionale (non solo alla fine).
Predizione della Fiducia: Il tasso di transizione dello sguardo (switching tra le immagini) predice la fiducia nella decisione (66% di accuratezza). Le decisioni a bassa fiducia mostrano uno switching più frequente, mentre la dinamica della cascata rimane invariata indipendentemente dal livello di fiducia.

4. Risultati

Analisi della Cascata dello Sguardo:

È stata osservata una progressiva deviazione dello sguardo verso l'immagine scelta nell'ultimo secondo prima della decisione.
Il modello sigmoide ha fornito un ottimo adattamento ai dati ( $R^2 = 0.98$ ). Al momento della decisione, i partecipanti fissavano l'immagine scelta circa l'80% del tempo.
Indipendenza dalla Fiducia: La dinamica della cascata (pendenza e punto di svolta) non è risultata statisticamente significativa tra i diversi livelli di fiducia (bassa, media, alta). Ciò suggerisce che il meccanismo di formazione della preferenza è stabile indipendentemente dalla certezza del decisore.

Predizione della Scelta (Preferenza):

Un modello di regressione logistica ha raggiunto il 75,1% di accuratezza utilizzando tutte le feature (inclusa l'ultima fissazione).
L'ultima fissazione è la feature dominante (7 volte più importante delle altre).
Escludendo l'ultima fissazione, l'accuratezza scende al 67,6%, ma rimane significativamente sopra la baseline (50%).
Le immagini scelte hanno ricevuto più tempo di fissazione (dwell time), un maggior numero di fissazioni e più "revisit" (ritorni) rispetto alle immagini non scelte.

Predizione della Fiducia:

Il numero di transizioni tra le due immagini è il predittore più forte per la fiducia (66,1% di accuratezza), superando il tempo di risposta e l'insieme completo delle feature.
Le prove a bassa fiducia mostrano un tasso di transizione significativamente più alto (0,38 transizioni/sec) rispetto a quelle a media (0,34) e alta fiducia (0,31).
Questo indica che l'incertezza si manifesta come un comportamento esplorativo più frequente (switching rapido tra le opzioni) piuttosto che come una semplice deliberazione più lunga.

5. Significato e Implicazioni

Implicazioni per l'Allineamento AI:

Segnali Impliciti: L'oculometria fornisce segnali impliciti rilevanti per la qualità delle annotazioni di preferenza. La frequenza di switching può essere utilizzata per identificare annotazioni meno affidabili (incerte) che potrebbero essere filtrate o pesate diversamente durante l'addestramento dei modelli di reward.
Integrazione nelle Pipeline: Sebbene la predizione della scelta diretta (68%) non sia ancora sufficiente per sostituire il feedback esplicito, la predizione della fiducia tramite transizioni dello sguardo è un risultato unico per le valutazioni simultanee a coppie. Questo permette di implementare strategie di reward modeling che danno più peso alle giudizi ad alta fiducia o che segnalano casi ambigui per una revisione secondaria.
Limitazioni e Futuro: Lo studio non ha analizzato le fissazioni su regioni semantiche specifiche (es. artefatti vs contenuto coerente). Inoltre, l'uso di questi dati solleva questioni etiche sulla privacy e sul consenso per l'inferenza covert delle preferenze.

In conclusione, questo lavoro fornisce una prova di concetto che i segnali impliciti dello sguardo contengono informazioni sia su cosa le persone preferiscono sia su quanto sono sicure di quelle preferenze, stabilendo una base per la raccolta di dati di preferenza informati dallo sguardo nell'allineamento dell'AI.