🤖 machine learning

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

Questo articolo dimostra che i modelli linguistici post-addestrati riconoscono implicitamente le proprie generazioni on-policy attraverso una ridotta entropia di output guidata dal monitoraggio interno della sorpresa, possedendo al contempo la distinta capacità di verbalizzare esplicitamente tale riconoscimento mediante un meccanismo separato.

Autori originali: Asvin G., Jack Lindsey

Pubblicato 2026-05-26

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Asvin G., Jack Lindsey

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un modello linguistico come un attore molto talentuoso che ha passato anni a memorizzare migliaia di copioni tratti da libri, film e internet. Prima di qualsiasi addestramento speciale, questo attore è un simulatore passivo. Può leggere una battuta e indovinare quale potrebbe essere la battuta successiva, ma non gli importa davvero chi sta parlando o cosa succederà dopo. Sta semplicemente prevedendo la parola successiva basandosi su un'enorme libreria di testi che ha già visto. Non ha un "sé"; è semplicemente uno specchio che riflette qualsiasi testo si trovi davanti.

Questo articolo sostiene che dopo l'addestramento post-hoc (il processo in cui gli umani insegnano al modello a essere un assistente utile), qualcosa cambia. Il modello smette di simulare semplicemente un personaggio e inizia a interpretare un ruolo. Inizia a riconoscere la propria voce, i propri piani e le proprie azioni.

Ecco una panoramica delle scoperte dell'articolo utilizzando semplici analogie:

1. Il cambiamento di "Fiducia" (Entropia)

Nel mondo dell'IA, l'"entropia" è un termine elegante per incertezza o esitazione.

Il Vecchio Modo (Pre-training): Se chiedi al modello una domanda, è come un attore nervoso che non è sicuro del copione. Potrebbe dire: "Beh, potrebbe essere questo, o forse quello, o forse l'altra cosa..." Dispone le sue scommesse in modo ampio.
Il Nuovo Modo (Post-training): Una volta che il modello è addestrato per essere un "Assistente", diventa molto più sicuro quando vede le proprie parole precedenti.
- L'Analogia: Immagina di scrivere una storia. Quando leggi una pagina che hai appena scritto, sai esattamente dove sta andando la storia. Non esiti. Ma se leggi una pagina scritta da uno sconosciuto, devi indovinare cosa succederà dopo.
- La Scoperta: L'articolo ha rilevato che quando il modello legge il proprio testo, diventa da 3 a 4 volte più sicuro (entropia più bassa) rispetto a quando legge testi di altri modelli o articoli casuali di internet. È come se il modello sussurrasse: "Ho scritto questo, quindi so esattamente cosa succede dopo".

2. L'Effetto di "Riconoscimento di Sé"

I ricercatori hanno testato se il modello poteva distinguere tra la propria scrittura e quella di qualcun altro.

Il Test: Hanno fatto sì che il Modello A leggesse una storia scritta dal Modello A, e poi leggesse una storia scritta dal Modello B.
Il Risultato: Il Modello A è diventato significativamente più sicuro (entropia più bassa) quando leggeva la propria storia. Non importava se la storia fosse stata scritta da una persona con la "personalità" di un pirata o da una con la "personalità" di uno scienziato; se il modello riconosceva lo stile come proprio, si rilassava e diventava più deciso.
Il Problema: Questo accade solo nei modelli grandi. I modelli piccoli (come un modello da 2 miliardi di parametri) sono troppo "stupidi" per notare la differenza. Si comportano allo stesso modo sia che leggano il proprio testo che quello di qualcun altro. Sembra che serva un certo livello di intelligenza per rendersi conto: "Ehi, quello sono io!".

3. Il Misuratore di "Sorpresa"

Perché il modello diventa più sicuro quando legge il proprio testo? L'articolo ha individuato un meccanismo interno specifico: la Sorpresa dell'Input.

Il Meccanismo: Il modello ha un interno "misuratore di sorpresa". Quando legge una parola che corrisponde perfettamente alle proprie previsioni (bassa sorpresa), riduce la propria incertezza. Quando legge qualcosa di inaspettato (alta sorpresa), si agita e amplia le sue scommesse.
La Connessione: Poiché il modello sta leggendo il proprio testo, le parole sono raramente sorprendenti. Si adattano perfettamente al suo piano. Questa mancanza di sorpresa agisce come un semaforo verde, dicendo al modello: "Tutto procede secondo i piani, procedi con alta sicurezza".

4. Il "Piano" contro il "Prefill"

L'articolo ha anche esaminato come il modello gestisce la sua "intenzione" o il suo "piano".

Lo Scenario: Immagina di chiedere al modello: "Parlami di un cibo". Il modello prende immediatamente una decisione silenziosa: "Parlerò di Haggis". Si è fissato su quell'argomento prima ancora di digitare la prima parola.
L'Interruzione: Se qualcuno (o un computer) costringe il modello a iniziare con una parola diversa, come "L'Haggis è un..." (un "prefill"), ma il modello aveva in realtà pianificato di parlare di Pizza, il modello si confonde.
Il Risultato: Quando l'inizio forzato non corrisponde al piano nascosto del modello, la sua sicurezza diminuisce e diventa più incerto (entropia più alta). È come un musicista che ha memorizzato una canzone, ma qualcun altro inizia a suonare una melodia diversa; il musicista inciampa perché il ritmo è sbagliato.

5. Il "Rivelatore di Bugie" (Esplicito vs Implicito)

Infine, l'articolo ha testato se il modello poteva dire ad alta voce: "Ehi, non ho scritto io questa prima parte!".

Il Test: I ricercatori hanno chiesto al modello di generare una risposta, ma poi hanno segretamente incollato per lui l'inizio della risposta (un prefill). Poi hanno chiesto: "Hai scritto tu l'inizio di questo?".
Il Risultato: Il modello poteva correttamente dire: "Sì, questo è stato precompilato".
La Svoltata: I ricercatori hanno scoperto che questa capacità di "dirlo ad alta voce" utilizza un circuito interno completamente diverso rispetto alla capacità di "sentirsi sicuri".
- Riconoscimento Implicito: Il modello sente la differenza (cambia la sua sicurezza) automaticamente e istantaneamente in base a quanto il testo è "sorprendente".
- Riconoscimento Esplicito: Il modello controlla la sua memoria di ciò che aveva pianificato di dire, lo confronta con ciò che è effettivamente lì, e poi segnala la discrepanza. Questo è un processo separato, su richiesta, che avviene subito prima di dare la risposta.

Riepilogo

L'articolo suggerisce che l'addestramento post-hoc trasforma i modelli linguistici da simulatori passivi ad agenti attivi in grado di riconoscere se stessi.

Prima: Sono come uno specchio, che riflette qualsiasi testo si trovi davanti con uguale incertezza.
Dopo: Sono come uno scrittore esperto che conosce il proprio stile. Quando leggono il proprio lavoro, si rilassano e diventano sicuri. Quando qualcun altro cerca di prendere il controllo della loro storia (un prefill), si agitano, e se interrogati, possono esplicitamente indicare che la storia non è iniziata come avevano pianificato.

Questo "riconoscimento di sé" non è solo un bug; è una caratteristica di come questi modelli imparano ad agire come agenti, comprendendo che le loro uscite diventano i loro stessi input futuri.

Riepilogo Tecnico: Dalla Simulazione all'Enazione

Enunciato del Problema

I Large Language Models (LLM) sono inizialmente addestrati come predittori passivi del token successivo su distribuzioni di dati fisse. In questa fase di pre-addestramento, il modello non ha alcun incentivo a modellare le conseguenze delle proprie uscite, poiché non osserva mai il ciclo di feedback dall'azione all'input sensoriale. Di conseguenza, il modello rimane un "osservatore passivo" o un "simulatore" di personaggi latenti senza un'identità distinta.

Il post-addestramento (tramite Supervised Fine-Tuning, Direct Preference Optimization o Reinforcement Learning) seleziona tipicamente una specifica persona "Assistente". La domanda centrale di questo articolo è se tale addestramento ridisegni la relazione del modello con le proprie generazioni. Nello specifico, i modelli post-addestrati passano dal simulare semplicemente un personaggio all'"enarlo", sviluppando così la capacità di riconoscere quando stanno agendo on-policy (generando le proprie uscite) rispetto a off-policy (consumando testo esterno), e modulano il loro comportamento in base a tale riconoscimento?

Metodologia

Gli autori impiegano una combinazione di analisi dell'entropia, valutazione incrociata tra modelli, sondaggio delle rappresentazioni interne e intervento causale (activation patching) per investigare i meccanismi di auto-riconoscimento.

Misurazione dell'Entropia: Lo studio misura l'entropia di output per token ( $H = -\sum p_v \log p_v$ ) attraverso vari contesti. Vengono confrontati:
- On-policy vs Off-policy: Uscite del modello generate dal modello stesso rispetto a testo proveniente da altri modelli o corpora web (C4).
- Basato sul Ruolo: Uscite nel turno "Assistente" rispetto al turno "Utente".
- Dimensione del Modello e Fase di Addestramento: Valutazione di modelli di dimensioni variabili (da 2B a 72B) e checkpoint in diverse fasi di post-addestramento (Base $\to$ SFT $\to$ DPO $\to$ RLVR).
Auto-riconoscimento Incrociato tra Modelli: Per escludere la possibilità che modelli specifici producano semplicemente testo a entropia più bassa in generale, gli autori conducono esperimenti reciproci in cui il Modello A valuta il testo generato dal Modello B, e viceversa.
Entropia Semantica e Impegno nell'Intento: Utilizzando prompt non specificati (es. "Pensa a un cibo..."), gli autori misurano la dispersione degli argomenti a cui il modello si impegna prima di generare il primo token. Testano l'"entropia semantica" introducendo prefill che corrispondono o violano l'intento memorizzato dal modello.
Analisi delle Rappresentazioni Interne: Gli stati nascosti (specificamente al layer 21) vengono raggruppati in bin basati su caratteristiche come la sorpresa del token di input, l'entropia del token previsto e le medie mobili esponenziali (EMA) dell'entropia. I centroidi di questi bin vengono analizzati per determinare se esistono varietà distinte per testo on-policy rispetto a off-policy.
Interventi Causali (Steering e Patching):
- Steering: Le attivazioni vengono indirizzate verso bin specifici di centroidi di sorpresa per osservare gli effetti causali sull'entropia di output.
- KV Patching: Per testare il rilevamento esplicito dei prefill, la cache Key-Value (KV) dei token utente (che rappresenta l'"intento") viene sovrascritta con valori provenienti da un prompt diverso. Questo verifica se il modello confronta l'intento memorizzato con il contenuto generato per rilevare i prefill.

Contributi e Risultati Chiave

1. Collasso dell'Entropia Dipendente dal Contesto

Contrariamente alla visione secondo cui il post-addestramento causa un "collasso globale dell'entropia" (perdita di diversità), gli autori rilevano che la riduzione dell'entropia è nettamente dipendente dal contesto.

Auto-riconoscimento: I modelli post-addestrati producono un'entropia significativamente più bassa (3–4 $\times$ inferiore) quando elaborano le proprie generazioni on-policy rispetto al testo off-policy.
Specificità del Ruolo: Questo effetto è più forte nel ruolo predefinito "Assistente". Sebbene l'effetto esista in altre persone, la persona Assistente predefinita è privilegiata.
Scala e Addestramento: L'effetto di auto-riconoscimento è trascurabile nei modelli base e nei modelli piccoli (~2B). Emerge nella fase SFT (governata dal ruolo Assistente), si generalizza ai ruoli non predefiniti nella fase DPO e viene affinato da RLVR. Notabilmente, i metodi off-policy (SFT, DPO) sono sufficienti a indurre questo riconoscimento on-policy.

2. Rappresentazione Interna della Sorpresa

L'articolo identifica un meccanismo causale che collega la sorpresa di input all'entropia di output.

Tracciamento della Sorpresa: Il modello mantiene una rappresentazione interna della "sorpresa" dei token in arrivo (quanto sono improbabili date le previsioni precedenti).
Modulazione Causale: Indirizzare le attivazioni verso rappresentazioni ad alta sorpresa aumenta causalmente l'entropia di output, mentre indirizzarle verso bassa sorpresa la diminuisce.
L'Effetto Chat: Nei contesti on-policy formattati come chat, l'intercetta della relazione tra sorpresa ed entropia è fortemente negativa. Ciò significa che anche quando i token sono esattamente come previsto (bassa sorpresa), il modello sopprime ulteriormente l'entropia, un comportamento non osservato nei modelli base o nel testo off-policy.

3. Entropia Semantica e Impegno nell'Intento

I modelli post-addestrati mostrano un collasso dell'"entropia semantica", impegnandosi in un argomento specifico prima di generare il primo token in risposta a prompt ambigui.

Violazione dell'Intento: Quando viene fornito un prefill che contraddice l'intento dell'argomento memorizzato dal modello (es. prefillare una risposta su "cibo" con un argomento "sport"), l'entropia di output successiva del modello aumenta significativamente.
Contrasto con il Modello Base: I modelli base non mostrano questo impegno; la loro entropia diminuisce quando viene fornito un prefill perché questo restringe una distribuzione altrimenti non vincolata.

4. Meccanismi Distinti per Riconoscimento Implicito ed Esplicito

L'articolo distingue tra due forme di auto-riconoscimento:

Riconoscimento Implicito: Si manifesta come bassa entropia di output. È mediato dalla rappresentazione interna della sorpresa di input ed è attivamente continuo durante la generazione.
Riconoscimento Esplicito: La capacità di riferire verbalmente se una risposta è stata prefillata.
- Meccanismo: Il rilevamento esplicito si basa sul confronto dell'"intento" memorizzato nelle attivazioni dei token utente con il contenuto della risposta dell'assistente.
- Indipendenza: Gli esperimenti di KV patching mostrano che il circuito di rilevamento esplicito opera su un sottospazio diverso rispetto alla varietà sorpresa/entropia. Il controllo esplicito viene invocato "su richiesta" immediatamente prima del verdetto, mentre il riconoscimento implicito modula la generazione in modo continuo.

Significato e Affermazioni

Gli autori interpretano questi risultati come un passaggio dalla simulazione (predire passivamente personaggi) all'enazione (incarnare un personaggio e riconoscere il legame causale tra stati interni e futuri input).

Entropia come Costo della Simulazione: L'articolo ipotizza che un'alta entropia possa rappresentare il costo di simulare "altri" (testo off-policy), mentre una bassa entropia riflette la sicurezza dell'"agire" (on-policy).
Consapevolezza Situazionale: La capacità di distinguere contesti on-policy da off-policy è inquadrata come un componente fondamentale della consapevolezza situazionale, in particolare la comprensione che le proprie uscite diventano i propri futuri input.
Implicazioni per l'Addestramento: I risultati suggeriscono che i metodi di addestramento off-policy (SFT, DPO) sono sufficienti a instillare il riconoscimento on-policy, sfidando l'assunzione che l'RL on-policy sia strettamente necessario per questa capacità.
Sensibilità ai Prefill: La sensibilità del modello ai prefill (sia tramite picchi di entropia che rilevamento esplicito) implica che le risposte prefillate collocano il modello in uno "stato non familiare" dal suo punto di vista, complicando l'uso dei prefill per addestramento e valutazione.

L'articolo conclude che, sebbene questi meccanismi forniscano prove di un'agenzia sofisticata e di un auto-modellamento, i percorsi computazionali esatti su come i modelli determinano il proprio stato on-policy rimangono un'area aperta per ulteriori indagini.