Sintesi Tecnica: Emotions Where Art Thou

Definizione del Problema

Sebbene i Large Language Models (LLM) dimostrino competenza nell'analisi del sentiment e nella generazione di testi emotivi, i meccanismi interni attraverso i quali rappresentano ed elaborano l'emozione rimangono inesplorati. La letteratura esistente si concentra ampiamente sul comportamento in uscita (accuratezza della classificazione o qualità della generazione) o tratta l'emozione come un'etichetta esterna piuttosto che come una rappresentazione latente interna. Manca una comprensione della struttura geometrica delle rappresentazioni emotive all'interno degli stati nascosti degli LLM: specificamente, se le emozioni siano codificate in un manifold a bassa dimensionalità coerente, come queste rappresentazioni si allineino tra diversi dataset e lingue, e se possano essere manipolate causalmente senza degradare il contenuto semantico.

Metodologia

Gli autori impiegano un approccio multifacettato che combina analisi geometrica, allineamento cross-domain e intervento causale per investigare lo spazio latente emotivo dei decoder-only LLM (specificamente LLaMA 3.1, OLMo v2 e Ministral).

1. Estrazione di Sottospazi Emotivi (Centered-SVD):
   Gli autori utilizzano la Decomposizione dei Valori Singolari Centrata (Centered SVD) sugli stati nascosti a livello di frase. Le attivazioni dei token vengono sottoposte a mean-pooling per creare rappresentazioni di frase, che vengono poi centrate e decomposte. Questo isola le direzioni ortogonali di variazione, ipotizzando che quando il contenuto emotivo è la componente strutturata dominante, i componenti principali catturino i primari assi affettivi.

2. Allineamento Cross-Dataset e Cross-Linguale:
   Per testare l'universalità, lo studio allinea i sottospazi emotivi derivati da un dataset sintetico (dove frasi neutre vengono riscritte con emozioni specifiche) con quelli di otto dataset diversificati scritti da esseri umani che spaziano su cinque lingue (inglese, spagnolo, tedesco, hindi, italiano, francese).

   • Metriche di Allineamento: Similarità del coseno dei centroidi emotivi e regressione lineare (fit dei minimi quadrati) per mappare gli spazi sintetici su quelli reali.
   • Preservazione della Geometria: Il paper introduce metriche di stress (Stress-1, Stress-2, Sammon) e metriche di distorsione (distorsione media, distorsione $\ell_2$, distorsione $\sigma$) per quantificare quanto bene le distanze a coppie tra le emozioni siano preservate durante l'allineamento, distinguendo tra riscalamento globale e deformazione anisotropa.

3. Analisi della Codifica Neurale (ML-AURA):
   Utilizzando il framework ML-AURA, gli autori analizzano la selettività dei neuroni. I neuroni sono trattati come rilevatori basati su soglia, e la loro capacità di distinguere specifiche emozioni (one-vs-all) è misurata tramite l'Area Under the Precision-Recall Curve (AUC-PR). Ciò determina se la codifica emotiva è localizzata in neuroni specifici o distribuita attraverso la rete.

4. Guida Causale (Modulo di Intervento):
   Un modulo di intervento appreso viene addestrato per manipolare la percezione emotiva interna. Il modulo opera all'interno del sottospazio emotivo derivato dalla SVD, applicando uno spostamento agli stati nascosti in livelli selezionati. L'obiettivo di addestramento combina:

   • Token Loss ($L_{token}$): Impone la classificazione verso un token emozionale target utilizzando cross-entropy e margin loss.
   • Semantic Preservation Loss ($L_{sem}$): Minimizza la distanza (coseno e $\ell_2$) tra gli stati nascosti originali e quelli spostati per garantire che il contenuto semantico rimanga intatto.

Risultati Chiave

1. Esistenza di un Manifold Emotivo Universale

Lo studio identifica un sottospazio emotivo a bassa dimensionalità che è codificato direzionalmente ed è stabile attraverso i livelli.

• Coerenza Geometrica: I modelli mostrano un'alta similarità del coseno dei centroidi (0.83–0.93) tra le direzioni emotive reali e sintetiche.
• Generalizzazione Cross-Linguale: Le strutture emotive si generalizzano attraverso otto dataset e cinque lingue con bassa distorsione di allineamento. Le varianti istruite (instruction-tuned) mostrano generalmente una maggiore similarità del coseno e un errore di regressione inferiore rispetto ai modelli base, suggerendo un allineamento più stretto al manifold sintetico.
• Analisi della Distorsione: Sebbene l'allineamento globale sia forte, la coerenza geometrica locale varia. OLMo v2 mostra uno stress e una distorsione più elevati rispetto a LLaMA e Ministral, in particolare nelle varianti istruite, suggerendo un manifold emotivo più fragile. Tuttavia, anche nei casi di alta distorsione, subset sostanziali di livelli preservano una geometria coerente.

2. Struttura Interna e "Psicologia del Modello"

• Codifica Distribuita: Contrariamente alle teorie localiste, l'informazione emotiva non è confinata a neuroni specifici o livelli tardivi. L'analisi ML-AURA rivela che un'alta percentuale di neuroni (ad esempio, ~75% in media per le emozioni di Ekman) esibisce selettività, con tristezza e sorpresa che sono le più pervasive. Ciò supporta una visione costruttivista in cui l'emozione emerge da componenti distribuiti e multi-scopo.
• Assi Interpretabili: I componenti principali (PC) dominanti del sottospazio emotivo si allineano con dimensioni psicologiche consolidate nonostante l'assenza di supervisione esplicita:
  • PC1: Ricorda una dimensione di Valenza (piacere vs disappetimento).
  • PC2: Riflette il Dominio/Controllo (sottomissione vs autonomia).
  • PC3: Mappa la motivazione Approccio-Evitamento.
  • PC4: Corrisponde ad Arousal/Urgenza.
• Stabilità: La classificazione delle emozioni lungo questi assi principali rimane altamente stabile attraverso i livelli (correlazioni di Spearman > 0.80 per i top PC).

3. Controllabilità della Percezione Emotiva

Il modulo di guida appreso manipola con successo lo stato emotivo interno del modello preservando la semantica.

• Performance: L'accuratezza post-guida per i target emotivi supera frequentemente l'80–90% in dataset inglesi e non inglesi. Le emozioni di base (tristezza, rabbia, paura, neutro) mostrano il controllo più forte, mentre le categorie sfumate (invidia, eccitazione) mostrano maggiore variabilità, particolarmente in lingue a basse risorse come l'hindi.
• Preservazione Semantica: Le perdite di similarità semantica rimangono basse, confermando che l'intervento sposta l'interpretazione affettiva senza alterare il significato semantico centrale del testo.

Significato e Rivendicazioni

Il paper sostiene di rivelare una geometria affettiva coerente e manipolabile all'interno degli LLM. I contributi chiave includono:

1. Codifica Direzionale: Dimostrare che le rappresentazioni emotive non sono casuali ma sono codificate direzionalmente in un sottospazio a bassa dimensionalità che è stabile attraverso la profondità e trasferibile attraverso domini linguistici.
2. Struttura Emergente: Mostrare che un manifold emotivo strutturato emerge naturalmente durante il pretraining senza supervisione emotiva esplicita, allineandosi con le tassonomie psicologiche classiche (es. Valenza-Arousal-Dominio).
3. Controllo Causale: Stabilire che la percezione emotiva interna può essere guidata con alta precisione utilizzando un modulo di intervento appreso, provando che il sottospazio emotivo non è solo interpretabile ma anche funzionalmente controllabile.

Gli autori concludono che gli LLM interiorizzano un manifold affettivo latente strutturato. Sebbene esistano limitazioni riguardanti la scarsità lessicale nelle lingue a basse risorse e la fragilità del manifold in certi modelli (es. OLMo v2), le scoperte forniscono un resoconto fondamentale di come gli LLM rappresentano e modulano l'emozione, offrendo una via per un dispiegamento dell'IA affettiva più sicuro e interpretabile.