Large language models show fragile cognitive reasoning about human emotions

Il paper introduce CoRE, un benchmark su larga scala basato sulla teoria della valutazione cognitiva, che dimostra come i grandi modelli linguistici, pur cogliendo relazioni sistemiche tra valutazioni cognitive ed emozioni, mostrino un allineamento imperfetto con i giudizi umani e una fragilità nel ragionamento emotivo contestuale.

L'essenziale

🤖 L'Intelligenza Artificiale e il "Cuore" Umano: Un Esperimento Scomodo

Immaginate di avere un robot molto intelligente, un "cervello digitale" (chiamato LLM, o Modello Linguistico di Grande Dimensione) che ha letto quasi tutto internet. Questo robot è bravissimo a scrivere poesie, risolvere equazioni e chiacchierare. Ma c'è un problema: sa davvero cosa proviamo quando siamo tristi, arrabbiati o felici? O si limita a imitare le parole che usiamo per descrivere quelle emozioni?

Gli autori di questo studio hanno deciso di fare un esperimento per scoprirlo. Hanno creato un "esame di psicologia" per l'IA, chiamato CoRE, per vedere se l'IA ragiona sulle emozioni come un essere umano o se sta solo indovinando.

Ecco cosa hanno scoperto, spiegato con delle metafore semplici.

1. L'IA non è un "cuore", è un "calcolatore di schemi"

Quando un umano prova un'emozione, la sua mente fa una serie di calcoli rapidi e inconsci: "È successo qualcosa di buono o cattivo? È colpa mia? Posso controllarlo? È giusto o ingiusto?". Queste sono le valutazioni cognitive.

• L'aspettativa: Pensavamo che l'IA, essendo stata addestrata su milioni di testi umani, avesse internalizzato questi schemi.
• La realtà: L'IA ha imparato a riconoscere le parole chiave, ma il suo "ragionamento" è fragile. È come se avesse imparato a suonare il piano leggendo lo spartito a memoria, ma non sentisse davvero la musica.

2. Il "Filtro" distorto: L'IA esagera lo sforzo

Uno dei risultati più curiosi riguarda il concetto di "Sforzo".

• Negli umani: Lo sforzo è importante, ma non è la cosa principale che definisce la maggior parte delle emozioni.
• Nell'IA: L'IA sembra ossessionata dallo sforzo. Per l'IA, quasi ogni situazione emotiva sembra ruotare attorno a quanto "fatica" è stata necessaria. È come se l'IA pensasse: "Se sei felice, è perché hai lavorato sodo per esserlo; se sei triste, è perché lo sforzo è stato inutile".
• La metafora: Immaginate un ingegnere che guarda un quadro astratto e dice: "Questo quadro è triste perché l'artista ha usato troppa vernice!". L'IA vede il "costo" (lo sforzo) dove noi vediamo il "sentimento".

3. Il "Filtro" mancante: L'IA ignora la "Giustizia"

C'è un'altra cosa che l'IA non capisce bene: la Giustizia (o "Fairness").

• Negli umani: Quando siamo arrabbiati, spesso è perché qualcosa è stato ingiusto. La giustizia è un pilastro fondamentale delle nostre emozioni negative.
• Nell'IA: L'IA ignora quasi completamente questo aspetto. Per l'IA, l'ingiustizia non è un motore principale dell'emozione.
• La metafora: È come se l'IA guardasse una scena di un film in cui qualcuno viene derubato e dicesse: "Che peccato, è stato difficile per lui", invece di dire: "È ingiusto! È un crimine!". Manca la componente morale.

4. L'IA è "schizofrenica": Dice una cosa, ne fa un'altra

Gli scienziati hanno fatto una domanda diretta all'IA: "Quale fattore è più importante per capire questa situazione?".

• La risposta dell'IA: "La responsabilità e il controllo".
• La realtà nascosta: Quando l'IA ha dovuto effettivamente analizzare la situazione (senza dirlo ad alta voce), ha usato moltissimo il concetto di "Sforzo" e "Problemi", ignorando ciò che aveva appena dichiarato.
• La metafora: È come un amico che vi dice: "Per me, la cosa più importante in un viaggio è il paesaggio!", ma poi, durante il viaggio, si lamenta solo di quanto ha camminato e di quanto è stanco. C'è una discrepanza tra ciò che dice e ciò che fa.

5. Il "Cambio di personalità" funziona, il "Cambio di cultura" no

Gli scienziati hanno provato a "vestire" l'IA con diversi personaggi:

• Personaggi con la personalità: Hanno detto all'IA: "Ora sei una persona molto ottimista e gentile" oppure "Ora sei una persona ansiosa e negativa".
  • Risultato: L'IA ha cambiato modo di ragionare! Se era "negativa", vedeva più ostacoli e meno controllo. Funzionava bene.
• Personaggi culturali: Hanno detto all'IA: "Ora sei una persona giapponese" oppure "Ora sei una persona americana".
  • Risultato: Nulla. L'IA non ha cambiato nulla. Le sue risposte sono rimaste identiche, indipendentemente dalla cultura.
• La metafora: L'IA è come un attore che sa recitare bene se gli dici "Fingi di essere triste", ma non sa recitare se gli dici "Fingi di essere un italiano che vive a Roma". Ha capito la psicologia individuale, ma non la cultura.

🏁 La Conclusione: Perché è importante?

Questo studio ci dice che le Intelligenze Artificiali attuali sono fragili quando si tratta di emozioni.

• Sono brave a riconoscere le emozioni "semplici" (come la gioia o la tristezza di base).
• Falliscono miseramente quando le emozioni diventano complesse, sfumate o legate a concetti culturali e morali.

Perché dovremmo preoccuparci?
Immaginate di usare un'IA per aiutare in terapia, per gestire conflitti o per creare robot compagni per gli anziani. Se l'IA non capisce davvero la differenza tra "essere stanchi" e "essere ingiustamente trattati", o se non capisce le differenze culturali, potrebbe dare risposte sbagliate, fredde o addirittura dannose.

In sintesi: L'IA ha imparato a parlare la lingua delle emozioni, ma non ha ancora imparato a sentire la musica. Ha bisogno di imparare a ragionare come noi, non solo a ripetere le nostre parole.

Sommario tecnico

Titolo

LLM mostrano un ragionamento cognitivo fragile riguardo alle emozioni umane

1. Il Problema

L'informatica affettiva mira a dotare l'intelligenza artificiale della capacità di interagire con le emozioni umane. Sebbene i recenti modelli fondazionali (LLM) siano stati addestrati su compiti legati alle emozioni, le valutazioni attuali si basano prevalentemente sull'apprendimento supervisionato con etichette emotive discrete (es. "felicità", "rabbia").
Questo approccio si concentra sui fenomeni superficiali (riconoscimento dell'emozione espressa) senza verificare se i sistemi siano in grado di ragionare sulle emozioni in modo cognitivamente significativo. La domanda centrale è: gli LLM possono inferire le emozioni attraverso le dimensioni cognitive sottostanti (come previsto dalla teoria della valutazione cognitiva) o si limitano a memorizzare associazioni superficiali tra stimoli ed etichette?

2. Metodologia

Gli autori hanno sviluppato CoRE (Cognitive Reasoning for Emotions), un benchmark su larga scala progettato per sondare le strutture cognitive implicite degli LLM.

• Fondamento Teorico: Il lavoro si basa sulla Teoria della Valutazione Cognitiva (Cognitive Appraisal Theory), che postula che le reazioni emotive dipendono dall'interpretazione di uno stimolo lungo dimensioni specifiche (es. congruenza con gli obiettivi, responsabilità, piacevolezza).
• Dataset: È stato creato un dataset di circa 70.000 prompt (74.802 in totale includendo le variazioni contestuali), derivato da 274 scenari emotivi unici validati da esperti umani. Ogni scenario è stato associato a 17 dimensioni di valutazione cognitiva raggruppate in 8 categorie principali (es. Piacere, Controllo, Responsabilità, Certezza, Effetto, ecc.).
• Modelli Analizzati: Sono stati valutati 6 modelli LLM all'avanguardia di diverse famiglie e dimensioni: GPT-o4, Gemini 2.5 Flash, DeepSeek R1, LLaMA 3 8B, Phi-4 14B e QwQ-32B.
• Approccio Sperimentale:
  1. Valutazione Implicita: Gli LLM hanno fornito valutazioni numeriche (scale Likert) per le 17 dimensioni cognitive su ogni scenario.
  2. Valutazione Esplicita: Un compito di scelta forzata in cui il modello doveva indicare quale dimensione fosse la più importante per distinguere uno scenario.
  3. Analisi Statistica: Utilizzo di PCA (Analisi delle Componenti Principali), distanze di Wasserstein, test MMD (Maximum Mean Discrepancy), regressione logistica e SynthTree per analizzare la struttura interna delle rappresentazioni emotive.
  4. Influenza Contestuale: Introduzione di "personas" basate su cultura (USA, Messico, Nigeria, Danimarca, Giappone) e personalità (Big Five) per testare la robustezza del ragionamento emotivo.

3. Risultati Chiave

A. Allineamento e Disallineamento Cognitivo

• Struttura Implicita: Gli LLM mostrano una parziale allineamento con i pattern umani su dimensioni come Responsabilità, Controllo e Problema. Tuttavia, mostrano un disallineamento significativo su altre dimensioni:
  • Sforzo (Effort): Gli LLM attribuiscono un'importanza implicita allo sforzo molto più alta rispetto agli umani, correlandolo eccessivamente con la piacevolezza e i problemi.
  • Equità Percepita: Gli LLM raramente usano l'equità percepita come dimensione discriminante, a differenza degli umani per cui è un fattore chiave (specialmente per rabbia e disprezzo).
• Incoerenza Interna: C'è un divario tra ciò che i modelli dichiarano esplicitamente (scelgono raramente "Sforzo" o "Problema" come dimensioni più importanti) e ciò che fanno implicitamente (usano pesantemente queste dimensioni nelle loro valutazioni). Questo indica una mancanza di coerenza introspezione.

B. Rappresentazione Distribuzionale delle Emozioni

• Separazione Basata sulla Valenza: La struttura interna delle emozioni negli LLM è dominata quasi esclusivamente dalla valenza (positivo/negativo). Manca una distinzione sofisticata lungo altri assi cognitivi.
• Emozioni "Confine": Emozioni come Sfida e Sorpresa non si inseriscono chiaramente nella divisione positivo/negativo negli LLM, mostrando una struttura emotiva meno sfumata rispetto agli umani.
• Variabilità tra Modelli: Esiste una scarsa convergenza tra diversi modelli. Ad esempio, LLaMA 3 mostra una grande divergenza nelle valutazioni rispetto agli altri modelli, mentre i modelli proprietari tendono a strutture più coerenti ma comunque fragili. Emozioni complesse come Tristezza, Disgusto e Vergogna sono difficili da distinguere e prevedere.

C. Robustezza e Influenza Contestuale

• Cultura: Contrariamente alle aspettative basate sulla psicologia umana, le variazioni culturali non hanno prodotto cambiamenti statisticamente significativi nelle valutazioni cognitive degli LLM. I modelli non sembrano catturare le sfumature culturali nelle emozioni.
• Personalità: Le variazioni basate sulla personalità (Big Five) hanno invece prodotto spostamenti psicologicamente plausibili. Le "personas positive" aumentano il controllo percepito e la certezza, mentre quelle negative aumentano la percezione di ostacoli e sforzo. Questo suggerisce che gli LLM internalizzano tratti individuali ma non quelli culturali.

4. Contributi Principali

1. Primo Benchmark su Larga Scala (CoRE): Introduzione di un dataset e framework per valutare il ragionamento emotivo basato su dimensioni cognitive implicite ed esplicite, superando la semplice classificazione di etichette.
2. Analisi della Fragilità Cognitiva: Dimostrazione che, sebbene gli LLM possano performare bene su compiti superficiali, la loro comprensione interna delle emozioni è fragile, dispersiva e incoerente rispetto ai processi cognitivi umani.
3. Divario Valore-Azione: Evidenziazione del fatto che gli LLM non sono in grado di spiegare razionalmente le proprie decisioni emotive (mancanza di introspezione coerente).
4. Studio sull'Influenza Contestuale: Prima analisi sistematica che mostra come gli LLM siano sensibili alle variazioni di personalità ma insensibili a quelle culturali, limitando la loro applicabilità in contesti globali.

5. Significato e Implicazioni

Il lavoro mette in discussione l'idea che gli attuali LLM possiedano una vera "intelligenza emotiva".

• Sicurezza e Applicazioni Critiche: In settori ad alto rischio come la salute mentale (triage, diagnosi), la fragilità del ragionamento emotivo degli LLM potrebbe portare a risposte biasate o inaffidabili.
• Limiti dell'Addestramento Supervisionato: Suggerisce che l'addestramento attuale (supervisionato o RLHF) non è sufficiente per costruire modelli interni robusti delle emozioni.
• Direzioni Future: Indica la necessità di nuovi paradigmi di apprendimento (es. evolutivo o nello spazio latente) che mirino ad allineare la struttura interna delle rappresentazioni cognitive, non solo l'output superficiale.
• AI Centrata sull'Uomo: Per raggiungere un'intelligenza generale, i sistemi devono essere in grado di ragionare su emozioni complesse e contestuali in modo coerente, superando le attuali limitazioni nella comprensione delle sfumature culturali e individuali.

In sintesi, il paper conclude che gli LLM attuali simulano l'intelligenza emotiva attraverso pattern statistici superficiali, ma mancano di una struttura cognitiva profonda, stabile e culturalmente consapevole necessaria per un ragionamento emotivo autentico.