💬 NLP

Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

Questo articolo dimostra che i modelli LLM open-source (Apertus-8B e Gemma-4) codificano i concetti emotivi con una geometria della valenza paragonabile ai modelli proprietari, rivelando al contempo modelli distinti e specifici dell'architettura nel modo in cui queste rappresentazioni emergono attraverso la profondità del modello e variano in base al corpus di estrazione.

Autori originali: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sinie van der Ben, Raphaël Baur, Yannick Metz, Mennatallah El-Assady

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate che all'interno di un cervello informatico gigante e complesso (un Large Language Model), ci siano dei "pomelli" o delle "manopole" nascoste che controllano ciò che il computer prova verso le cose. Uno studio precedente ha scoperto questi pomelli in un'IA specifica chiamata Claude. Hanno scoperto che se si gira la manopola della "felicità", l'IA agisce in modo più felice, e se si gira la manopola della "tristezza", l'IA agisce in modo più triste. Ancora più incredibile, il modo in cui questi pomelli sono disposti all'interno del cervello del computer assomiglia molto al modo in cui gli esseri umani organizzano le emozioni nelle loro menti.

Questo nuovo articolo si chiede: È solo una particolarità di questo specifico computer Claude, o altri cervelli artificiali hanno anche questi stessi pomelli emotivi nascosti?

Per scoprirlo, i ricercatori hanno guardato dentro due diversi cervelli artificiali open-source: APERTUS-8B e GEMMA-4-E4B. Non si sono limitati a guardare; hanno cercato di "ascoltare" i pensieri interni dell'IA mentre scriveva storie su diverse emozioni (come gioia, paura o rabbia) senza mai pronunciare effettivamente la parola "gioia" o "paura".

Ecco cosa hanno scoperto, suddiviso in modo semplice:

1. Il pomello della "Felicità" esiste ovunque

Proprio come nello studio originale, entrambi questi nuovi cervelli artificiali avevano una chiara direzione interna per la Valenza (se qualcosa è piacevole o spiacevole).

L'analogia: Immaginate di entrare in una stanza e vedere una bussola gigante. In tutti e tre i cervelli artificiali (Claude, Apertus e Gemma), l'ago che punta a "Nord" significava costantemente "Buono/Felice" e "Sud" significava "Cattivo/Triste".
Il risultato: I ricercatori sono riusciti a trovare questa linea "Nord-Sud" in entrambi i nuovi modelli con un'altissima precisione, dimostrando che non si tratta di un errore temporaneo, ma di una caratteristica comune del modo in cui questi computer pensano.

2. Il "Dove" è diverso (Il viaggio è importante)

Sebbene la bussola "Nord-Sud" esistesse in tutti e tre, il percorso che l'informazione ha seguito per arrivarci era totalmente diverso.

GEMMA-4-E4B (L'anticipatore): Questa IA ha compreso la differenza tra bene e male molto presto nel suo processo, come un bambino che sa subito distinguere il giusto dallo sbagliato. Tuttavia, man mano che l'informazione viaggiava più in profondità nel cervello, questo segnale chiaro diventava sfocato e quasi scompariva verso la fine.
APERTUS-8B (Il ritardatario): Questa IA ha iniziato senza un'idea chiara di "bene vs male" nei suoi primi strati. Era come una tabula rasa. Ma man mano che l'informazione si muoveva più in profondità nel cervello (verso la fine), il segnale "Bene vs Male" diventava improvvisamente molto forte e chiaro.
La lezione: Due diversi cervelli artificiali possono arrivare alla stessa comprensione emotiva, ma prendono percorsi completamente diversi per arrivarci. Uno la costruisce lentamente; l'altro parte con essa e poi la perde.

3. Il pomello dell' "Eccitazione" è instabile

I ricercatori hanno anche cercato il pomello dell' Arousal (quanto qualcosa sia eccitante o calmo).

Il problema: Non sono riusciti a trovare un pomello dell' "Eccitazione" costante in questi modelli. Il segnale era molto debole.
Il colpo di scena: La forza di questo segnale dipendeva interamente da chi scriveva le storie. Quando l'IA leggeva storie scritte dal modello GEMMA, il pomello dell' "Eccitazione" era molto più chiaro. Quando leggeva storie scritte dal modello APERTUS, il pomello era quasi invisibile.
L'analogia: È come cercare di sentire un sussurro. Se la persona che sussurra indossa un tipo specifico di microfono (storie di Gemma), si può sentire l'eccitazione chiaramente. Se usa un microfono diverso (storie di Apertus), l'eccitazione si perde nel rumore di fondo. Questo suggerisce che il contenuto delle storie conta più del cablaggio interno dell'IA per questa specifica emozione.

4. La Mappa vs La Bussola

I ricercatori hanno anche controllato se la "mappa" del cervello dell'IA cambiasse durante l'elaborazione delle informazioni.

Hanno scoperto che la forma complessiva del mondo interno dell'IA (la mappa) rimaneva per lo più la stessa dall'inizio alla fine.
Tuttavia, la "Bussola" specifica (la direzione Bene/Male) continuava a ruotare e a cambiare orientamento mentre si muoveva attraverso gli strati.
La lezione: Solo perché la stanza (il cervello) sembra la stessa, non significa che la direzione in cui sei rivolto (l'emozione) rimanga la stessa.

Riassunto

Questo articolo conferma che i modelli di IA possiedono dei "vettori emotivi" interni che somigliano alla psicologia umana, ma non tutti li costruiscono allo stesso modo.

Bene vs Male (Valenza): Trovata in tutti i modelli, ma costruita in diverse fasi dell'elaborazione.
Eccitato vs Calmo (Arousal): Difficile da trovare e dipende fortemente dal tipo di storie che l'IA legge.

Gli autori concludono che, sebbene sia possibile trovare questi "pomelli" emotivi, dobbiamo essere prudenti perché i diversi modelli li nascondono in posti diversi, e le storie che gli forniamo possono rendere quei pomelli più facili o più difficili da trovare. Hanno reso il loro codice e i loro dati pubblici affinché altri possano provare a trovare questi pomelli in altri cervelli artificiali.

Sintesi Tecnica: "Dove trovano la felicità i modelli? Vettori di emozione nei LLM open-source"

Problema
Un lavoro recente di Sofroniew et al. (2026) ha identificato dei "vettori di emozione" all'interno dello spazio di attivazione interna del modello proprietario Claude Sonnet 4.5. È stato scoperto che questi vettori codificano concetti emotivi, influenzano causalmente il comportamento del modello ed esibiscono una struttura geometrica che rispecchia i framework psicologici umani (nello specifico, il modello circomplesso di valenza e arousal di Russell). Tuttavia, rimaneva da chiarire se tali risultati fossero specifici del regime di addestramento unico di Claude o rappresentassero una proprietà generale dei grandi modelli linguistici (LLM). Inoltre, l'evoluzione di queste rappresentazioni attraverso la profondità della rete e l'influenza delle metodologie di estrazione (nello specifico, il corpus di storie utilizzato) non erano stati esplorati. Questo articolo affronta tre domande fondamentali: (1) I vettori di emozione sono generalizzabili ai modelli open-weight? (2) Come varia l'emergenza della geometria della valenza attraverso gli strati del modello? (3) In che modo la scelta del corpus di storie influenza l'estrazione di questi vettori?

Metodologia
Gli autori hanno replicato ed esteso l'analisi dei vettori di emozione su due modelli open-weight: APERTUS-8B (un transformer a 32 strati con pesi, dati e codice completamente aperti) e GEMMA-4-E4B (un transformer a 42 strati).

Costruzione del Dataset: Seguendo Sofroniew et al. (2026), gli autori hanno generato dataset sintetici contenenti 1.539 storie per ciascuna delle 171 emozioni distinte. Fondamentalmente, hanno creato due corpora indipendenti: uno generato da APERTUS-8B e uno da GEMMA-4-E4B. Per ogni emozione, i modelli sono stati istruiti a scrivere storie in cui i personaggi sperimentavano l'emozione target senza nominarla, facendo affidamento su indizi indiretti (azioni, sensazioni fisiche, dialoghi). È stato inoltre generato un set fisso di 40 storie neutre per fungere da baseline.
Estrazione del Vettore di Contrasto: Per ogni emozione e strato, gli autori hanno estratto le attivazioni del residuo (residual stream). Per isolare i segnali specifici dell'emozione dalle caratteristiche linguistiche generali, hanno eseguito un processo in due fasi:
- Media delle attivazioni attraverso i token e le storie per formare un vettore grezzo.
- Proiezione esterna dello spazio sottospaziale "emozione-agnostico" sottraendo la proiezione del vettore grezzo sulle componenti principali (top $K$ ) derivate dalle 40 storie neutre (che spiegano il 50% della varianza neutra).
Analisi:
- PCA & Correlazione: L'Analisi delle Componenti Principali (PCA) è stata applicata alle matrici di contrasto. Le prime due componenti principali (PC1, PC2) sono state correlate con le valutazioni umane di valenza e arousal del Lessico NRC.
- Similitudine tra gli Strati: L'Allineamento del Kernel Centrato (CKA) è stato utilizzato per misurare la similitudine rappresentazionale tra gli strati.
- Stabilità Direzionale: La similitudine del coseno è stata calcolata tra i vettori di direzione della valenza (l'asse più correlato con le valutazioni umane) attraverso strati adiacenti per monitorare la stabilità.

Contributi Chiave e Risultati

Generalizzazione dei Vettori di Emozione: Lo studio ha recuperato con successo la geometria della valenza in entrambi i modelli open-weight, dimostrando che i vettori di emozione non sono unicità di Claude.
- APERTUS-8B: Ha raggiunto un picco di correlazione PC1–valenza di $r = 0,76$ (utilizzando storie generate da Gemma).
- GEMMA-4-E4B: Ha raggiunto un picco di correlazione PC1–valenza di $r = 0,83$ (utilizzando storie generate da Gemma).
- Questi picchi si avvicinano o superano l' $r = 0,81$ riportato per Claude Sonnet 4.5, confermando la generalità del fenomeno attraverso diverse architetture.
Traiettorie di Emergenza Divergenti: Sebbene entrambi i modelli abbiano raggiunto picchi di correlazione simili, la profondità in cui sono emerse le rappresentazioni della valenza differiva significativamente:
- GEMMA-4-E4B: Ha esibito una codifica precoce seguita da un collasso. Le correlazioni della valenza hanno raggiunto il picco intorno allo strato 16 (circa il 38% della profondità) e poi sono scese verso lo zero negli strati successivi. L'analisi CKA ha mostrato un gradiente fluido attraverso tutti gli strati, suggerendo che lo spazio rappresentazionale rimanesse stabile anche mentre l'asse specifico della valenza degradava.
- APERTUS-8B: Ha esibito un'emergenza tardiva. Le correlazioni della valenza erano vicine allo zero nella prima metà della rete, per poi salire bruscamente dopo lo strato 18 e stabilizzarsi negli strati superiori (raggiungendo il picco tra lo strato 23 e 31). L'analisi CKA ha rivelato una distinta "transizione di fase" negli strati intermedi, indicando una riorganizzazione dello spazio rappresentazionale.
Arousal Dipendente dal Corpus: L'estrazione dell'arousal (PC2) è stata altamente sensibile al corpus di storie.
- Entrambi i modelli hanno mostrato un allineamento PC2–arousal significativamente più forte quando valutati su storie generate da Gemma ( $r$ fino a 0,45) rispetto alle storie generate da Apertus ( $r \le 0,21$ ).
- Ciò suggerisce che gli indizi linguistici rilevanti per l'arousal siano distribuiti in modo non uniforme tra i corpora generati, e che la scelta del corpus di stimoli sia un fattore metodologico sostanziale piuttosto che un mero dettaglio di implementazione.
Spazio Stabile, Asse Instabile: Gli autori hanno osservato una discrepanza tra la stabilità dello spazio rappresentazionale complessivo (CKA) e la stabilità del particolare asse della valenza. In GEMMA-4-E4B, lo spazio rimaneva simile attraverso gli strati anche dove la correlazione della valenza collassava, implicando che l'informazione sulla valenza è preservata ma codificata lungo un asse che muta.

Significatività e Rivendicazioni
L'articolo sostiene che rappresentazioni emotive di alto livello simili possono sorgere da diversi percorsi computazionali all'interno delle reti neurali. Le scoperte suggeriscono che:

Universalità: I vettori di emozione sono una proprietà generale dei LLM, non un artefatto dell'addestramento di un modello specifico.
Implicazioni per l'Interpretabilità: Il "dove" e il "come" della codifica dell'emozione variano in base all'architettura. Monitorare o guidare (steering) questi vettori richiede una selezione attenta dello strato, poiché lo strato ottimale per l'intervento differisce tra i modelli (precoce per Gemma, tardivo per Apertus).
Rigore Metodologico: L'estrazione dei vettori di emozione è sensibile al corpus di input. Lo studio evidenzia come la scelta del corpus possa impattare significativamente la recuperabilità di specifiche dimensioni emotive (particolarmente l'arousal), rendendo necessari set di stimoli diversificati per un'analisi robusta.

Gli autori concludono che, sebbene la geometria di picco dello spazio emotivo sia coerente, la traiettoria di sviluppo di queste rappresentazioni è specifica del modello, con implicazioni per gli interventi mirati di steering e il monitoraggio della sicurezza nei modelli open-weight.