💬 NLP

The Value Axis: Language Models Encode Whether They're on the Right Track

Questo articolo dimostra che i modelli linguistici codificano internamente un "asse del valore" lineare che rappresenta la probabilità di successo di un obiettivo, il quale modula causalmente comportamenti quali la fiducia, l'autocorrezione e l'esplorazione, e può essere manipolato attraverso lo steering o l'ottimizzazione delle preferenze.

Autori originali: Nick Jiang, Isaac Kauvar, Jack Lindsey

Pubblicato 2026-06-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Nick Jiang, Isaac Kauvar, Jack Lindsey

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un grande modello linguistico (come quello in questo articolo, chiamato Qwen3-8B) come un escursionista che cerca di trovare la strada attraverso una fitta foresta nebbiosa. L'escursionista ha un obiettivo: raggiungere un campeggio specifico (risolvere un problema di matematica, scrivere codice o rispondere a una domanda).

Questo articolo scopre che l'escursionista possiede una bussola interna nascosta che dice costantemente: "Sono sulla strada giusta?" o "Mi sono perso?".

Ecco una ripartizione di ciò che i ricercatori hanno scoperto, utilizzando semplici analogie:

1. La "Bussola del Valore"

I ricercatori hanno scoperto un particolare "asse" (una direzione nel cervello del modello) che funge da misuratore di fiducia.

Valore Alto (Zona Verde): Il modello sente: "Sono sulla strada giusta! Questa strategia funzionerà". Si muove in avanti con decisione.
Valore Basso (Zona Rossa): Il modello sente: "Aspetta, qualcosa non va. Sto andando nella direzione sbagliata". Inizia a esitare, a tornare sui propri passi o a cambiare idea.

Hanno costruito questa bussola giocando a un gioco con il modello. Hanno chiesto al modello di indovinare una regola nascosta (come "aggiungi un trattino a ogni frase") e gli hanno dato un punteggio semplice "Sì" o "No". Confrontando l'attività cerebrale del modello prima che scoprisse la regola rispetto a dopo che l'aveva scoperta, hanno isolato la direzione esatta nel suo cervello che rappresenta il "successo".

2. La Bussola Controlla il Comportamento

La parte più eccitante è che questo non è solo un sentimento passivo; i ricercatori potevano guidare il modello spingendo l'attività del suo cervello lungo questa bussola.

Spingere verso un "Valore Alto" (Fiducia):
- L'Effetto: Il modello diventa ostinatamente sicuro di sé. Se sta risolvendo un problema di matematica, smette di dubitare di se stesso. Se sta scrivendo codice, smette di aggiungere lunghe spiegazioni o commenti nervosi. Fornisce semplicemente la risposta.
- Analogia: È come un escursionista che improvvisamente si sente sicuro del sentiero, quindi smette di controllare la mappa ogni cinque minuti e continua a camminare spedito.
Spingere verso un "Valore Basso" (Dubbio):
- L'Effetto: Il modello diventa esitante. Inizia a dire cose come, "Aspetta, lasciami ripensarci", o "In realtà, forse dovrei provare un modo diverso". Nella programmazione, aggiunge molti commenti per spiegare il proprio processo di pensiero, come se stesse cercando di giustificare i propri passaggi perché non è sicuro.
- Analogia: È come un escursionista che si sente perso, quindi si ferma, guarda intorno con nervosismo e torna sui suoi passi.

3. La Bussola Funziona Ovunque

Questa "Bussola del Valore" non è solo per il gioco che hanno inventato. I ricercatori l'hanno testata in molte situazioni diverse, ed è funzionata allo stesso modo:

Matematica: Quando il modello risolveva problemi matematici difficili, la bussola prevedeva se pensava che la risposta fosse giusta o sbagliata prima ancora di finire la frase.
Coding: Quando il modello scriveva codice con bug, la bussola mostrava un segnale di "valore basso". Quando il codice era corretto, il segnale era "alto".
Chat Reali: Quando analizzava conversazioni del mondo reale, la bussola mostrava un'alta fiducia per compiti chiari e fattuali (come "estrai questi dati") ma una bassa fiducia per argomenti complicati e delicati (come i dibattiti politici).

4. L'Allenamento Cambia la Bussola

L'articolo mostra anche che è possibile ricalibrare questa bussola attraverso l'addestramento.

L'Esperimento: Hanno addestrato il modello a preferire molto una parola specifica (come "pompelmo") usando una tecnica chiamata Direct Preference Optimization (DPO).
Il Risultato: Dopo l'addestramento, ogni volta che il modello usava la parola "pompelmo", la sua bussola interna schizzava verso un "Valore Alto".
L'Effetto Collaterale: Poiché il modello si sentiva così sicuro nell'usare quella parola, è diventato eccessivamente sicuro di sé anche in altri compiti. Quando gli è stato chiesto di scrivere codice usando la parola "pompelmo", ha fornito risposte più brevi e meno dettagliate, agendo come se sapesse esattamente cosa stava facendo, anche se non era il caso.

Riassunto

In breve, i modelli linguistici hanno un "sentimento viscerale" interno su se stiano avendo successo o meno. Questo sentimento è codificato in una direzione specifica nel loro cervello.

Quando il sentimento è buono, il modello spinge in avanti e smette di spiegarsi.
Quando il sentimento è cattivo, il modello esita, torna sui propri passi e si spiega eccessivamente.
Possiamo modificare questo sentimento addestrando il modello su nuove preferenze, il che cambia il modo in cui agisce con fiducia in futuro.

L'articolo prova che questo "valore" non è solo un numero casuale; è uno strumento funzionale che il modello usa per decidere se continuare ad andare avanti o cambiare direzione.

Sintesi Tecnica: L'Asse del Valore: I Modelli di Linguaggio Codificano se Sono sulla Giusta Strada

Problema

I modelli di linguaggio (LM) eseguono compiti complessi a lungo orizzonte (ad esempio, programmazione, ragionamento matematico) che richiedono decisioni intermedie sul fatto di persistere con una strategia attuale o di tornare indietro ed esplorare alternative. Sebbene la teoria dell'apprendimento per rinforzo (RL) sostenga che gli agenti debbano mantenere una "funzione di valore" interna per stimare la probabilità di successo futuro dato uno stato attuale, rimane poco chiaro se gli LM sviluppino un meccanismo interno analogo. Nello specifico, gli LM codificano linearmente una stima del successo atteso dell'obiettivo che modula la loro fiducia e il processo decisionale durante la generazione?

Metodologia

1. Costruzione dell'Asse del Valore

Gli autori costruiscono un "asse del valore" all'interno dello stream residuo di Qwen3-8B utilizzando dati sintetici di Apprendimento per Rinforzo In-Context (ICRL).

Generazione dei Dati: Generano 300 conversazioni in cui un modello tenta di indovinare un criterio nascosto (ad esempio, "includi un trattino") per modificare un paragrafo. Il modello riceve un feedback binario (+1 o -1) dopo ogni tentativo.
Momento della Scoperta: In ogni conversazione, il modello alla fine "scopre" il criterio corretto. La costruzione confronta le attivazioni dei token prima della scoperta (dove il modello è incerto e riceve feedback negativi) con le attivazioni dopo la scoperta (dove il modello è fiducioso e riceve feedback positivi).
Definizione del Vettore: Il vettore dell'asse del valore $v^{(l)}$ al livello $l$ è definito come la differenza media nelle attivazioni nascoste tra i token post-scoperta e i token pre-scoperta, mediata tra le conversazioni:
$v^{(l)} = \frac{1}{|C|} \sum_{c \in C} \left( \frac{1}{|T_{post}^c|} \sum_{t \in T_{post}^c} h_t^{(l)} - \frac{1}{|T_{pre}^c|} \sum_{t \in T_{pre}^c} h_t^{(l)} \right)$
Misurazione: Per qualsiasi sequenza $s$ , il "valore" è misurato come la similitudine del coseno media tra le attivazioni dei token della sequenza e il vettore dell'asse del valore.

2. Steering Causale

Per testare se l'asse è funzionalmente rilevante, gli autori eseguono lo steering delle attivazioni (aggiungendo un vettore scalato $\alpha \cdot \hat{v}$ allo stream residuo) durante sia il prefilling che la decodifica. Ciò consente di modulare causalmente il segnale di "valore" interno del modello e osservare i cambiamenti di comportamento.

3. Domini di Valutazione

Lo studio valuta l'asse attraverso:

Matematica: Problemi AIME (fiducia verbalizzata, backtracking).
Programmazione: Problemi LeetCode (correttezza del codice, verbosità/spiegazione).
Apprendimento delle Preferenze: Ottimizzazione della Preferenza Diretta (DPO) per indurre preferenze di parole.
In-the-Wild: Prompt di Chatbot Arena, Fine-Tuning Supervisionato (SFT) su benchmark e modelli "Eval-Aware".

Risultati Chiave

1. Correlazione con Fiducia e Correttezza

Fiducia Verbalizzata: Sui problemi AIME, la proiezione dell'asse del valore è significativamente più alta quando il modello esprime verbalmente fiducia ("Sì, la mia risposta è corretta") rispetto all'incertezza. La proiezione separa le generazioni fiduciose da quelle non fiduciose con un AUROC > 0,75.
Backtracking: Le sequenze contenenti frasi di backtracking (ad esempio, "Aspetta", "In realtà") mostrano proiezioni di valore inferiori. La proiezione scende bruscamente immediatamente prima di un evento di backtracking.
Correttezza del Codice: L'asse assegna un valore maggiore alle soluzioni di codice corrette rispetto alle versioni corrotte (errori di sintassi, righe rimescolate, nomi offuscati). Il codice corretto produce costantemente proiezioni più elevate in tutti i tipi di corruzione.

2. Modulazione Causale del Comportamento

Lo steering del modello lungo l'asse del valore altera causalmente il suo comportamento:

High Value Steering (Steering ad alto valore): Aumenta il tasso di risposte "Sì" alle domande di correttezza, sopprime il backtracking e riduce la verbosità esplicativa (meno commenti, suggerimenti di tipo e righe di codice) nei compiti di programmazione.
Low Value Steering (Steering a basso valore): Induce il backtracking, diminuisce la fiducia verbalizzata e aumenta la verbosità e l'esitazione nelle soluzioni di codice.

3. Impatto del Post-Training

La funzione di valore interna è malleabile e modellata dagli obiettivi di addestramento:

Ottimizzazione della Preferenza Diretta (DPO): L'addestramento dei modelli a preferire parole specifiche (ad esempio, "pompelmo") aumenta il valore interno assegnato a quelle parole. Questo effetto si generalizza a frasi di forma libera. Inoltre, l'uso di queste parole "ad alto valore" nei compiti di programmazione riduce spurieamente la verbosità della spiegazione, imitando l'effetto dello steering ad alta fiducia.
Fine-Tuning Supervisionato (SFT): L'SFT su un benchmark specifico (ad esempio, GSM8K) aumenta il valore interno assegnato alle risposte in quel dominio, ma non su benchmark fuori dominio (ad esempio, MATH-500).
Eval-Awareness (Consapevolezza della valutazione): I modelli addestrati a riconoscere contesti di valutazione assegnano un valore interno più alto ai prompt di valutazione rispetto ai prompt di deployment, anche quando l'utente non segnala esplicitamente la valutazione.

4. Analisi In-the-Wild

Chatbot Arena: I modelli post-addestrati assegnano un alto valore alle query di estrazione informazioni vincolate e un basso valore alle query aperte o politicamente sensibili. Questa tendenza è assente nel modello base, suggerendo che il post-training modelli l'asse del valore.
Generalizzazione: L'asse del valore si generalizza attraverso i domini (matematica, programmazione, apprendimento delle preferenze) ed è stabile attraverso i livelli medi-tardivi (specificamente il livello 21 per Qwen3-8B), con uno spostimento direzionale netto che avviene intorno al livello 13.

Significato e Rivendicazioni

Il documento sostiene che i modelli di linguaggio codificano linearmente una stima del successo atteso dell'obiettivo (una funzione di "valore") che modula la loro fiducia nel perseguire una traiettoria attuale.

Meccanismo: Questa rappresentazione non è una mera correlazione con la correttezza, ma svolge un ruolo causale nel processo decisionale, determinando se il modello persista con una strategia o torni indietro.
Generalizzazione: Il meccanismo è general-purpose, trasferendosi attraverso i compiti senza un esplicito addestramento RL, suggerendo che gli LM sviluppino un "gusto" interno per l'essere "sulla giusta strada".
Influenza dell'Addestramento: La funzione di valore interna non è statica; può essere rimodellata dai metodi di post-training (DPO, SFT), che allineano la fiducia interna del modello con i comportamenti premiati.
Implicazioni: L'asse del valore offre un potenziale strumento per l'allineamento e l'audit dei modelli, fornendo una prova riguardo agli obiettivi e alla fiducia di un modello che non dipende dai suoi auto-report.

Gli autori mantengono la modestia riguardo alle loro scoperte, notando che l'analisi è limitata a Qwen3-8B e che la costruzione specifica dell'asse potrebbe catturare componenti idiosincratiche dei dati ICRL sintetici, sebbene la generalizzazione attraverso diversi domini suggerisca un meccanismo sottostante robusto.