Dual Perspectives in Emotion Attribution: A Generator-Interpreter Framework for Cross-Cultural Analysis of Emotion in LLMs

1. Il Problema

L'uso dei Large Language Models (LLM) in sistemi cross-culturali per la comprensione e l'adattamento alle emozioni umane è in crescita. Tuttavia, la ricerca precedente sull'attribuzione delle emozioni si è concentrata quasi esclusivamente sulla interpretazione (come un modello o una persona classifica un testo emotivo), trascurando il contesto culturale del generatore (la persona che ha prodotto il testo emotivo).

Questa assunzione di universalità ignora le variazioni culturali nell'espressione e nella percezione delle emozioni. Le teorie psicologiche (come le regole di esibizione e la teoria dell'attribuzione) suggeriscono che sia l'espressione (generazione) che il giudizio (interpretazione) sono mediati culturalmente. Di conseguenza, un evento emotivo generato in un paese può essere interpretato in modo radicalmente diverso da un osservatore di un altro paese. I modelli attuali, spesso addestrati su dati occidentali, rischiano di perpetuare bias culturali e di fallire nel fornire supporto emotivo efficace in contesti globali.

2. Metodologia

Gli autori propongono un nuovo framework di valutazione Generatore-Interprete per analizzare l'attribuzione delle emozioni da una prospettiva duale.

• Dataset: Utilizzo del dataset ISEAR (International Survey on Emotion Antecedents and Reactions), contenente 5.250 eventi emotivi auto-dichiarati provenienti da 15 paesi (dopo pulizia e campionamento). Il dataset copre 7 categorie emotive: gioia, paura, rabbia, tristezza, disgusto, vergogna e colpa.
• Modelli: Valutazione di 6 LLM all'avanguardia (GPT-4o, Gemini, Claude, Mistral, Qwen2, DeepSeek), bilanciando modelli sviluppati in Occidente e in Oriente.
• Task: Compito di attribuzione delle emozioni in modalità zero-shot.
• Design Sperimentale (Framework Generatore-Interprete):
  • Generatore: L'origine culturale dell'evento emotivo (es. un partecipante svizzero che descrive un'esperienza di vergogna).
  • Interprete: Un "persona" nazionale assegnata al modello (es. "Classifica questo evento come se fossi un annotatore indiano").
  • Ogni evento è stato valutato da tutte le 15 persone nazionali attraverso i 6 modelli, generando un totale di 472.500 attribuzioni.
• Metriche: Accuratezza, Precisione, Recall e F1-score, calcolati tramite bootstrap resampling per robustezza statistica.

3. Contributi Chiave

1. Framework Generatore x Interprete: Introduzione di un metodo di valutazione esplicito che modella sia l'origine culturale del messaggio (generazione) che il background culturale dell'analizzatore (interpretazione), superando l'approccio unidirezionale precedente.
2. Analisi Sistematica Cross-Culturale: La prima valutazione sistematica delle interazioni tra coppie di paesi (Generatore vs Interprete) nell'attribuzione delle emozioni tramite LLM, utilizzando un dataset ricco di metadati demografici.
3. Identificazione di Bias e Asimmetrie: Dimostrazione che le prestazioni non dipendono solo dal modello o dall'interprete, ma sono fortemente influenzate dall'allineamento culturale tra chi genera e chi interpreta l'emozione.

4. Risultati Principali

• Prestazioni Generali: L'accuratezza complessiva è relativamente stabile (0.70–0.76), ma nasconde significative asimmetrie.
  • Emozioni Facili: La gioia e la paura sono riconosciute con alta precisione e recall in tutti i modelli.
  • Emozioni Difficili: Vergogna, colpa e disgusto sono le categorie più problematiche, con F1-score spesso inferiori a 0.65. Spesso vengono erroneamente classificate come tristezza.
  • Pattern di Errore: Si osservano errori sistematici, come la confusione bidirezionale tra vergogna e colpa, e la tendenza a collassare emozioni diverse (rabbia, disgusto) verso la tristezza.
• Effetto Allineamento Generatore-Interprete:
  • L'allineamento culturale (stesso paese per generatore e interprete) migliora le prestazioni in alcuni casi (es. Austria, Malawi), ma non è una garanzia universale di accuratezza superiore.
  • Dominanza del Generatore: L'origine del generatore ha un impatto più forte sulla difficoltà di interpretazione rispetto alla nazionalità dell'interprete. Eventi generati da Cina e Zambia sono sistematicamente più difficili da interpretare per tutti i modelli e tutte le persone, con un calo significativo dell'accuratezza (es. scende a 0.46 per Mistral su eventi cinesi).
  • Al contrario, eventi da Austria, Brasile, Spagna e Malawi sono interpretati in modo più affidabile.
• Bias Culturali Specifici:
  • I modelli tendono a interpretare la vergogna (tipica delle società collettiviste) come colpa (tipica delle società individualiste) quando analizzano eventi di origine cinese.
  • La rabbia, specialmente in contesti di ingiustizia sociale o vittimizzazione, viene spesso attenuata o reinterpretata come paura o tristezza nelle interpretazioni cross-culturali.

5. Significato e Implicazioni

Lo studio evidenzia che l'attribuzione delle emozioni negli LLM non è un processo unidirezionale, ma è plasmata dall'interazione tra l'espressione (generazione) e il giudizio (interpretazione).

• Progettazione Consapevole della Cultura: Per migliorare la robustezza e l'equità nei sistemi di supporto emotivo basati su LLM, è necessario incorporare esplicitamente il contesto culturale del generatore.
• Raccomandazioni Pratiche:
  1. Rilevamento dell'Origine: I sistemi dovrebbero inferire o richiedere il contesto culturale dell'utente (posizione, lingua, stile) per adattare la persona di interpretazione.
  2. Valutazione Multi-dimensionale: Le benchmark future non dovrebbero testare solo l'interprete, ma devono includere valutazioni Generatore x Interprete per rilevare errori sistematici nascosti.
  3. Diversità dei Dati: È urgente raccogliere dati più diversificati, rappresentando paesi a risorse linguistiche limitate e culture non occidentali, per ridurre il dominio dei dati occidentali che attualmente distorce le capacità emotive dei modelli.

In conclusione, ignorare il lato "generatore" dell'equazione emotiva porta a una comprensione incompleta e potenzialmente dannosa delle interazioni cross-culturali negli LLM.