Sintesi Tecnica: Negativo Prima del Positivo: Elaborazione Asimmetrica della Valenza Emotiva nei Modelli Linguistici di Grande Dimensione

Enunciato del Problema

Mentre l'interpretabilità meccanica ha mappato con successo come i Modelli Linguistici di Grande Dimensione (LLM) codifichino associazioni fattuali e concetti astratti come direzioni lineari, l'elaborazione interna della valenza emotiva rimane scarsamente compresa. Studi precedenti si sono basati in larga misura su sondaggi correlazionali o analisi comportamentali, lasciando aperte questioni critiche:

1. Gli LLM possiedono strutture interne dedicate alla valenza, o si affidano a corrispondenze superficiali di token?
2. Le rappresentazioni emotive sono localizzate in fasi specifiche di elaborazione o distribuite in modo diffuso?
3. I segnali osservati riflettono un reale tracciamento della valenza o semplicemente il rilevamento dell'argomento (ad esempio, riconoscere la parola "rifiutato" senza comprendere il sentimento negativo)?

Il lavoro esistente (ad es. Sofroniew et al., 2026) ha identificato emozioni funzionali nei modelli chiusi, ma ha mancato di localizzazione causale e controlli rigorosi per le variabili confondenti legate all'argomento. Questo articolo colma tali lacune investigando se la valenza venga elaborata attraverso un meccanismo causale specifico per strato negli LLM open-source.

Metodologia

Gli autori impiegano patching delle attivazioni e vettori di guida su tre modelli open-source istruiti: Llama-3.2-1B, Qwen2.5-1.5B e Qwen2.5-3B. Questi modelli coprono due famiglie architetturali (Multi-head Attention vs. Grouped-Query Attention) e due scale.

Design Sperimentale

1. Design delle Coppie di Prompt: Lo studio costruisce 100 coppie di prompt puliti/corrotti per condizione.

   • Condizione di Buona Notizia: Il prompt pulito descrive un esito positivo; il prompt corrotto descrive la stessa situazione in modo neutrale.
   • Condizione di Controllo Negativo: Il prompt pulito descrive un esito negativo; il prompt corrotto è identico alla baseline corrotta della "Buona Notizia".
   • Baseline Corrotta Condivisa: Questo design garantisce che qualsiasi differenza negli effetti del patch sia attribuibile esclusivamente alla valenza, non all'argomento o alla formulazione.
   • Dominî: I prompt coprono accademia, carriera e vita personale per garantire che i risultati non siano specifici di un dominio.

2. Patching delle Attivazioni:

   • Il modello viene eseguito su input corrotti mentre le attivazioni del flusso residuo a strati specifici vengono sostituite con attivazioni memorizzate da esecuzioni pulite.
   • Metrica: Viene calcolato un punteggio di gap dei logit basato sulla massa di probabilità di token di ancoraggio positivi vs. negativi predefiniti nella distribuzione del token successivo.
   • Obiettivo: Identificare il "strato causale principale" in cui il patching ripristina il comportamento di output pulito, indicando dove viene calcolato il segnale di valenza.

3. Test di Inversione della Valenza:

   • Per escludere il rilevamento dell'argomento, lo studio verifica se il gap dei punteggi cambia segno quando la valenza inverte (Buona vs. Negativa) mentre l'argomento rimane costante. Una rappresentazione genuina della valenza dovrebbe produrre effetti di segno opposto (gap anti-correlati), mentre il rilevamento dell'argomento produrrebbe gap correlati.

4. Guida Causale:

   • Un vettore di direzione della valenza viene estratto dal flusso residuo allo strato causale principale identificato (differenza media tra attivazioni pulite e corrotte).
   • Questo vettore viene aggiunto o sottratto a prompt emotivamente neutri per testare se sposta causalmente l'output del modello verso una valenza positiva o negativa.

Risultati Chiave

1. Tracciamento Direzionale della Valenza

Tutti e tre i modelli hanno dimostrato la capacità di distinguere il contenuto emotivo nelle loro distribuzioni di output, con un'accuratezza di segno che varia dal 79% al 95% tra le condizioni. La famiglia Qwen ha mostrato gap di punteggio più netti rispetto a Llama-1B.

2. Esclusione del Rilevamento dell'Argomento

Il Test di Inversione della Valenza ha prodotto tassi di inversione del 69% (Llama-1B), 80% (Qwen-1.5B) e 85% (Qwen-3B). Questi tassi sono significativamente superiori alla baseline casuale del 50%, confermando che i modelli tracciano la valenza come una variabile interna separabile piuttosto che semplicemente riconoscendo parole chiave dell'argomento.

3. Localizzazione Asimmetrica per Profondità (Risultato Principale)

Lo studio rivela una chiara dissociazione per profondità nell'elaborazione della valenza:

• Valenza Negativa: Si localizza causalmente negli strati iniziali (con picco al 14–27% della profondità del modello). Il patching a questi strati ripristina fortemente gli output negativi.
• Valenza Positiva: Raggiunge il picco negli strati centrali e tardivi (con picco al 53–66% della profondità del modello).
• Significatività Statistica: I test U di Mann-Whitney confermano che questa dissociazione è altamente significativa per tutti i modelli ($p < 10^{-10}$).
• Interpretazione: Gli esiti negativi sembrano essere elaborati da un "rilevatore rapido e superficiale" che si affida a parole distintive lessicalmente (ad es. "rifiutato"), mentre gli esiti positivi richiedono un'integrazione contestuale più profonda per assemblare una rappresentazione più ricca.

4. Struttura Causale Asimmetrica

• Controllo Negativo: Mostra una localizzazione causale stretta. Esiste una forte correlazione negativa ($\rho \approx -0,5$ a $-0,68$) tra l'entità del patch e la forza della risposta, indicando che un singolo strato dominante guida la risposta negativa.
• Buona Notizia: Mostra un elaborazione diffusa. La correlazione tra l'entità del patch e la forza della risposta è debole o non significativa ($\rho \approx 0,1$ a $0,37$), suggerendo che la valenza positiva è distribuita attraverso la rete piuttosto che instradata attraverso un singolo strato.

5. Guidabilità

Gli esperimenti di guida hanno confermato che gli strati identificati codificano la valenza come una direzione lineare manipolabile.

• L'aggiunta della direzione "buona notizia" ai prompt neutri ha spostato il 92–100% degli output verso una valenza positiva.
• La sottrazione della direzione ha spostato gli output verso una valenza negativa.
• La relazione tra la forza di guida ($\alpha$) e la variazione del punteggio di valenza ($\Delta$) è stata monotonicamente crescente, confermando che il vettore estratto è una vera e propria caratteristica lineare.

Significato e Affermazioni

L'articolo afferma che la valenza emotiva negli LLM non è uno stato interno monolitico ma un calcolo asimmetrico con percorsi causali distinti per input positivi e negativi.

• Insight Meccanistico: I risultati suggeriscono che la valenza negativa e positiva non sono semplicemente estremità opposte di un singolo asse, ma vengono elaborate tramite meccanismi computazionali distinti (rilevamento precoce e localizzato vs. integrazione tardiva e distribuita).
• Potenziale di Sorveglianza: Poiché la valenza negativa è localizzata negli strati iniziali e prevedibilmente guidabile, rappresenta un obiettivo concreto per la sorveglianza basata sull'interpretabilità. Il monitoraggio di questi strati iniziali potrebbe permettere un'intervento prima che il modello assembli una risposta completa.
• Generalizzabilità: L'asimmetria vale attraverso diverse scale di modello e architetture di attenzione (MHA vs. GQA), suggerendo che essa è una proprietà fondamentale dell'elaborazione della valenza basata su transformer piuttosto che un artefatto di un design specifico del modello.

Gli autori concludono che comprendere perché queste polarità richiedano diverse profondità computazionali potrebbe rivelare aspetti fondamentali di come i transformer codificano contenuto semantico ed emotivo. Affermano esplicitamente di non prevedere impatti sociali negativi diretti derivanti da questa ricerca, considerandola invece un passo verso implementazioni di modelli più sicure e interpretabili.