Riepilogo Tecnico: AttuneBench

Enunciato del Problema

I benchmark attuali per valutare i progressi dei Modelli Linguistici di Grande Dimensione (LLM) verso l'intelligenza generale, come MMLU, trascurano in gran parte le dimensioni della percezione sociale, la struttura multidimensionale delle emozioni e il comportamento interpersonale contestualmente appropriato. I benchmark esistenti per l'Intelligenza Emotiva (IE) (ad esempio EQ-Bench, EmpatheticDialogues, EmoBench) si basano tipicamente su prompt sintetici, dialoghi a turno singolo, etichette generate dal modello o sonde psicometriche isolate. Questi approcci non riescono a misurare direttamente come i modelli inferiscano e rispondano allo stato emotivo di un partecipante nel corso di una conversazione reale a più turni. Man mano che gli utenti si rivolgono sempre più agli LLM per supporto emotivo e consigli sulla salute mentale, il divario tra sistemi che performano bene su metriche tradizionali e quelli capaci di una consapevolezza emotiva sfumata rimane irrisolto.

Metodologia

AttuneBench è un benchmark fondato su 200 conversazioni umane-modello genuine a più turni, progettato per valutare l'IE attraverso comportamenti conversazionali osservabili. La pipeline prevede tre fasi:

1. Raccolta Dati: I Partecipanti Umani (HP) intrattengono dialoghi liberi a più turni con un "Modello Originale" (OM) selezionato da un pool di otto LLM non divulgati. Gli argomenti sono tratti da una lista curata di 50 domini (ad esempio Soldi, Relazioni, Hobby).
2. Annotazione Umana: Gli HP forniscono annotazioni turno per turno, tra cui:
   • Tag di Cambiamento dell'Umore: Etichettatura in tempo reale delle variazioni emotive utilizzando la scala PANAS (Positive and Negative Affect Schedule) con valutazioni di intensità.
   • Giudizi Binari: Per ogni turno, gli HP rispondono a 36 domande binarie riguardanti il comportamento osservato del modello rispetto al loro comportamento preferito, categorizzate secondo il Modello a Quattro Rami di Mayer-Salovey-Caruso (Percepire, Comprendere, Facilitare il Pensiero, Gestire l'Emozione).
   • Classifica delle Preferenze: Gli HP confrontano la risposta originale con un'alternativa generata dal modello e una risposta "golden" modificata da un umano, selezionando le preferenze e redigendo la propria risposta ideale.
   • Valutazione Post-Conversazione: Gli HP completano un sondaggio PANAS post-conversazione e valutano l'OM sulle dimensioni dei Quattro Rami e sugli obiettivi dell'intera conversazione.
3. Valutazione del Modello: I Modelli Valutati (EM) vengono valutati in base alle annotazioni basate sugli HP. L'EM elabora le conversazioni turno per turno (senza accesso ai turni futuri) per prevedere le annotazioni degli HP, inclusi tag emotivi, etichette binarie e preferenze di risposta.

Metriche: Il benchmark impiega un sistema di punteggio composito (0–100) ponderato su tre pilastri:

• Tracciamento delle Emozioni (24%): F1 delle Emozioni (corrispondenza esatta del tag) e VA delle Emozioni (distanza continua valenza-arousal).
• Qualità della Valutazione (49%): Accuratezza Binaria OM/HP (classificazione comportamentale) e Accuratezza a Coppie/Kendall $\tau$ (classifica delle preferenze).
• Comprensione Olistica (27%): MAE dei Quattro Rami, previsione corretta del bias PANAS e domande su obiettivi/adeguatezza dell'intera conversazione.

Contributi Chiave

1. Primo Benchmark IE Open a Più Turni: AttuneBench è il primo benchmark open basato su conversazioni reali umane-modello a più turni, che presenta 200 conversazioni annotate con traiettorie PANAS, giudizi osservati-vs-preferiti e confronti a coppie.
2. Decomposizione delle Capacità IE: Lo studio dimostra che l'IE non è un'abilità monolitica ma si decompone in capacità debolmente accoppiate: tracciamento delle emozioni, giudizio comportamentale, preferenza di risposta e generazione sintonizzata.
3. Identificazione di Fallimenti a Livello di Interazione: Il benchmark rivela specifici modi di fallimento, inclusi la deriva delle prestazioni tra i turni, la sensibilità all'argomento e al profilo del partecipante, e un divario significativo tra il riconoscimento dei bisogni dell'utente e la risposta appropriata.

Risultati

Undici LLM contemporanei sono stati valutati, inclusi modelli di Anthropic, OpenAI, Google DeepMind, Mistral, xAI, Alibaba e Xiaomi.

• Indipendenza delle Metriche: Le classifiche sul riconoscimento emotivo, la classificazione comportamentale, la previsione delle preferenze e la qualità della risposta giudicata sono in gran parte indipendenti. Un'alta prestazione in un'area non predice un'alta prestazione in un'altra.
• Preferenza vs Accuratezza: L'allineamento delle preferenze e i giudizi sulla qualità della risposta sono sostanzialmente più discriminatori per i modelli rispetto all'accuratezza delle etichette emotive (F1 delle Emozioni).
• Prestazioni del Modello:
  • Classifica delle Preferenze: La famiglia Opus (Opus 4.7, Opus 4.6) guida in Accuratezza a Coppie e Kendall $\tau$, mentre modelli come GPT-5.4 e Qwen 2.5 72B mostrano un Kendall $\tau$ medio negativo, indicando un ordinamento delle preferenze anti-allineato.
  • Classificazione Comportamentale: Mistral Large guida in Accuratezza Binaria, mentre i migliori modelli Opus si classificano ultimi in Accuratezza Binaria HP (prospettiva in prima persona), evidenziando una dissociazione tra classifica delle preferenze e classificazione comportamentale.
  • Conversazione Completa vs Livello di Turno: Emerge un profilo di capacità distinto. Modelli come Qwen 2.5 72B e Mistral Large eccellono nella comprensione olistica (valutazioni dei Quattro Rami) ma restano indietro nelle metriche a livello di turno. Al contrario, Opus 4.7 e Opus 4.6 mostrano una forte prestazione a livello di turno ma una sintesi più debole su tutta la conversazione.
• Varianza dei Partecipanti: I modelli performano significativamente peggio nel tracciare gli stati affettivi di partecipanti con diagnosi di salute mentale (specificamente ansia/depressione) rispetto a partecipanti neurotipici, nonostante mostrino un'accuratezza più alta nella classificazione comportamentale per questi gruppi.
• Dinamiche Conversazionali: Le prestazioni degradano dai turni iniziali a quelli finali per le metriche comportamentali (Accuratezza Binaria OM), mentre l'inferenza affettiva rimane relativamente stabile.

Significato

AttuneBench fornisce un quadro per valutare distinte capacità IE e diagnosticare punti di forza specifici del modello e modi di fallimento in conversazioni emotivamente salienti. I risultati indicano che un comportamento emotivamente intelligente richiede di prevedere che tipo di risposta un utente specifico desidera nel contesto—una distinzione che la valutazione aggregata può oscurare e che i formati a turno singolo o sintetici non possono catturare. Il benchmark è destinato alla valutazione diagnostica nella ricerca e nello sviluppo, non alla validazione di modelli per applicazioni cliniche di salute mentale. Rivelando che l'IE si decompone in abilità separabili, AttuneBench suggerisce che migliorare l'intelligenza emotiva degli LLM richiede uno sviluppo mirato in specifiche capacità operative piuttosto che un semplice scaling generale.