GPT-4o reads the mind in the eyes

Sintesi Tecnica: GPT-4o legge la mente attraverso gli occhi

Problema
Sebbene i Large Language Models (LLM) abbiano dimostrato la capacità di riprodurre inferenze di tipo umano riguardanti emozioni e stati mentali dal testo, rimane poco chiaro se tale capacità si estenda alle modalità non testuali, specificamente ai segnali sociali visivi. Gli esseri umani possiedono una sofisticata abilità di "leggere la mente attraverso gli occhi", una competenza tipicamente misurata con il Reading the Mind in the Eyes Test (RMET). Questo studio indaga se GPT-4o, un modello multimodale di ultima generazione, sia in grado di eseguire questo compito e confronta i suoi meccanismi di elaborazione con la cognizione umana. Nello specifico, gli autori esaminano se GPT-4o presenti firme tipiche dell'elaborazione dei volti propri degli esseri umani, come l'effetto di inversione (riduzione delle prestazioni sui volti invertiti), e se i suoi modelli di errore rivelino differenze qualitative nel modo in cui elabora le informazioni sullo stato mentale rispetto agli umani.

Metodologia
I ricercatori hanno impiegato due test psicometrici validati:

1. Reading the Mind in the Eyes Test (RMET): Un test standard che utilizza 36 immagini in bianco e nero delle regioni oculari di volti bianchi.
2. Multiracial RMET (MRMET): Una versione più recente e inclusiva dal punto di vista razziale, che utilizza 37 immagini a colori ad alta risoluzione di volti diversi, progettata per evitare bias razziali e garantire che gli stimoli non fossero presenti nei dati di addestramento di GPT-4o (rilasciato a maggio 2024; MRMET pubblicato ad aprile 2024).

Disegno Sperimentale:

• Soggetti: 51 adulti umani per l'RMET e 400 adulti umani per l'MRMET (200 per orientamento). GPT-4o (modello gpt-4o-2024-08-06) è stato testato con 25 ripetizioni per l'RMET e 200 ripetizioni per l'MRMET per ogni orientamento.
• Manipolazione: Le immagini sono state presentate in due orientamenti: dritti e invertiti.
• Procedura: Sia agli umani che a GPT-4o è stato chiesto di selezionare la parola migliore tra quattro opzioni che descrivessero lo stato mentale della persona nell'immagine.
• Analisi:
  • Accuratezza: Misurata come la frazione di risposte corrette utilizzando la regressione logistica a effetti misti.
  • Analisi dell'Errore: Gli autori sono andati oltre la semplice accuratezza per analizzare la struttura degli errori utilizzando la teoria dell'informazione. Hanno calcolato matrici di confusione, indici di concentrazione dell'errore (adattando una funzione di decadimento esponenziale alle probabilità di errore), similarità strutturale (correlazione di Spearman dei vettori di errore) e contenuto informativo negli errori (informazione mutua che quantifica quanta informazione sullo stato mentale viene conservata anche nelle risposte errate).

Risultati Chiave

1. Accuratezza delle Prestazioni ed Effetto di Inversione:

   • Volti Dritti: GPT-4o ha superato significativamente gli umani sia nell'RMET che nell'MRMET quando i volti erano dritti.
   • Volti Invertiti: GPT-4o ha mostrato un drastico calo delle prestazioni (>50% di diminuzione), scendendo al di sotto del livello del caso per i volti invertiti nell'MRMET. Anche gli umani hanno mostrato un declino (circa 15%), ma sono rimasti al di sopra del livello del caso.
   • Interazione: È stata riscontrata una significativa interazione modello-orientamento, indicando che mentre gli umani sperimentano una riduzione quantitativa dell'efficienza, GPT-4o subisce una perturbazione qualitativa nella sua capacità di estrarre informazioni diagnostiche dai volti invertiti.

2. Bias Razziali e di Genere:

   • Razza: Nell'MRMET, GPT-4o ha ottenuto prestazioni significativamente migliori sui volti bianchi rispetto ai voli non bianchi. I partecipanti umani non hanno mostrato differenze significative di accuratezza basate sulla razza dello stimolo (sebbene sia stato osservato un vantaggio per la stessa razza in sottogruppi specifici).
   • Genere: L'inversione ha influenzato in modo sproporzionato l'elaborazione di stimoli maschili da parte di GPT-4o, causando un calo delle prestazioni al di sotto del livello del caso, mentre gli umani non hanno mostrato differenze significative di accuratezza basate sul genere.

3. Struttura dell'Errore e Contenuto Informativo:

   • Coerenza: Gli errori di GPT-4o sono stati altamente coerenti tra le varie esecuzioni (bassa dispersione), mentre gli errori umani erano più dispersi.
   • Similarità Strutturale: Per i volti dritti, i modelli di errore di umani e GPT-4o hanno mostrato una moderata similarità. Tuttavia, per i volti invertiti, le strutture di errore sono divergente significativamente. Il modello di errore di GPT-4o per i voli invertiti era debolmente simile al proprio modello per i volti dritti e debolmente simile ai modelli umani per i volti invertiti.
   • Informazione negli Errori: I modelli di errore di GPT-4o contenevano significativamente più informazione rispetto agli errori umani, specialmente per i volti dritti. Ciò suggerisce che quando GPT-4o sbaglia, non sta tirando a indovinare casualmente; sta applicando in modo coerente una logica specifica, seppur errata, alle informazioni sullo stato mentale.
   • Dipendenza dall'Orientamento: Il contenuto informativo degli errori di GPT-4o è diminuito significativamente per gli stimoli invertiti, mentre l'informazione dell'errore umano è rimasta stabile tra i diversi orientamenti.

Significato e Rivendicazioni
L'articolo sostiene che GPT-4o possiede capacità avanzate per inferire gli stati mentali da minimi segnali visivi (gli occhi), superando l'accuratezza umana sugli stimoli dritti. Tuttavia, lo studio evidenzia differenze fondamentali nei meccanismi di elaborazione sottostanti:

• Differenze Qualitative vs. Quantitative: Gli autori sostengono che, mentre l' "effetto di inversione" negli umani rappresenta una riduzione quantitativa dell'efficienza di elaborazione (perturbazione dell'elaborazione configurazionale), in GPT-4o esso rappresenta un cambiamento qualitativo nella struttura dello spazio dell'errore. GPT-4o non diventa semplicemente meno efficiente; passa a una modalità di elaborazione differente che è altamente strutturata ma fondamentalmente disallineata con la cognizione umana quando i volti sono invertiti.
• Bias Sistematico: L'alta coerenza degli errori di GPT-4o implica che i suoi errori siano sistematici piuttosto che casuali. Ciò suggerisce che le perturbazioni (come l'inversione) o i bias (come il bias razziale) potrebbero portare a interpretazioni errate prevedibili e sistematiche degli stati mentali umani nelle interazioni uomo-IA, causando potenzialmente fallimenti comunicativi.
• Artefatti di Addestramento: Gli autori suggeriscono che l'estrema vulnerabilità di GPT-4o all'inversione derivi probabilmente dai suoi dati di addestramento, che sono prevalentemente composti da volti dritti, riflettendo i deficit dipendenti dall'esperienza osservati nelle Reti Neurali Convoluzionali (CNN).
• Bias Razziale: La disparità di prestazioni tra volti bianchi e non bianchi conferma la presenza di un bias razziale nell'elaborazione dei volti di GPT-4o, qui definito come una disparità di accuratezza tra i gruppi razziali.

Lo studio conclude che, sebbene GPT-4o dimostri una sorprendente sensibilità sociale, le sue capacità di "leggere la mente" sono distinte dalla cognizione umana, caratterizzate da una struttura dell'errore rigida e dipendente dall'orientamento e da significativi bias razziali che devono essere considerati per le applicazioni nella salute mentale, nella robotica sociale e nelle tecnologie di comunicazione.