💬 NLP

Belief-reality separation lives in routing over a shared value slot in language models

Questo articolo identifica che i modelli linguistici separano la credenza dalla realtà attraverso due meccanismi distinti: uno slot di valore condiviso che memorizza le informazioni attribuite e un router query-position che seleziona se leggere dalla credenza del personaggio o dalla realtà oggettiva, una capacità che emerge tra i 3B e i 7B di parametri attraverso molteplici architetture.

Autori originali: Oliver Steele, Jiangtao Wen, Yuxing Han

Pubblicato 2026-07-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Oliver Steele, Jiangtao Wen, Yuxing Han

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un modello linguistico super intelligente come una biblioteca enorme e frenetica dove storie vengono scritte e lette in tempo reale. Per molto tempo, ci siamo chiesti come questa biblioteca riesca a tenere separata la credenza di un personaggio dalla realtà. Se una storia dice: "Anna pensa che la tazza sia blu, ma in realtà è rossa", il modello deve sapere che deve rispondere "blu" quando gli viene chiesto cosa pensa Anna, e "rossa" quando gli viene chiesto cosa sia effettivamente vero.

Questo articolo scosta la tendina per mostrare esattamente come il cervello del modello faccia questo. Si scopre che il modello non usa due stanze di archiviazione diverse per "verità" e "bugie". Invece, utilizza un sistema ingegnoso in due parti: uno slot di archiviazione universale e un interruttore intelligente.

Lo Slot di Archiviazione Universale

Per prima cosa, c'è un punto specifico nella memoria del modello chiamato "slot del valore". Pensate a questo come a un singolo post-it generico su una scrivania. Questo post-it non si cura di chi lo stia guardando o di cosa creda; contiene solo il colore "blu".

L'articolo mostra che questo slot viene riempito in due modi diversi:

La Scrittura Diretta: Se il testo dice esplicitamente "Anna crede che la tazza sia blu", il modello scrive "blu" direttamente sul post-it.
L'Osservazione Investigativa: Se il testo dice "Anna ha visto Ben dipingere la tazza di blu", il modello deve fare un piccolo lavoro da detective. Deve guardare indietro alla storia per vedere cosa Anna potesse effettivamente vedere, capire che il colore è blu, e poi scrivere "blu" su quello stesso post-it.

Il punto cruciale è che il post-it stesso non ha un'etichetta che dice "Questa è la credenza di Anna" o "Questa è la verità". È solo un contenitore neutro per il colore. Se si scambia il colore su questo post-it, cambia la risposta per la domanda sulla credenza e per la domanda sulla realtà allo stesso modo. Il post-it è solo il "cosa", non il "chi" o il "quando".

L'Interruttore Intelligente (Il Router)

Quindi, se il post-it è neutro, come fa il modello a sapere quale versione leggere? È qui che entra in gioco il secondo meccanismo: un router situato proprio nel momento in cui viene posta la domanda.

Immaginate un agente di polizia in piedi alla porta d'uscita della biblioteca. Quando qualcuno chiede "Cosa pensa Anna?", l'agente sposta l'interruttore sulla corsia "Credenza". Quando qualcuno chiede "Cosa è effettivamente vero?", l'agente sposta l'interruttore sulla corsia "Realtà".

Qui, i due agenti sono completamente separati. L'interruttore "Credenza" e l'interruttore "Realtà" sono come due chiavi diverse che aprono porte diverse. Non si mescolano. Se provate a usare la chiave "Credenza" sulla porta "Realtà", funziona a malapena. Questa separazione avviene specificamente al momento in cui viene posta la domanda, non nella stanza dove viene conservato il colore.

Quando è apparso questo superpotere?

I ricercatori hanno testato modelli di diverse dimensioni per vedere quando emerge questa capacità.

Modelli piccoli (3 miliardi di parametri): Questi modelli si confondono. Spesso si limitano a ripetere l'ultimo colore sentito (un trucco chiamato "recency") invece di tracciare chi ha visto cosa.
Modelli medi (7 miliardi di parametri): Improvvisamente, la capacità si manifesta con decisione. Tra i 3B e i 7B, il modello impara a separare la credenza dalla realtà in modo pulito. Quando raggiunge i 7 miliardi di parametri, risolve questi enigmi quasi perfettamente, indipendentemente dall'ordine in cui la storia viene raccontata.

Cosa NON è

L'articolo è molto attento a escludere alcune ipotesi comuni:

Non è un tag "Verità" vs "Bugia": Il modello non ha un timbro speciale "credenza" attaccato al colore. Il colore "blu" è memorizzato nello stesso modo sia che si tratti di una credenza che di un fatto. La differenza risiede interamente nel modo in cui il modello sceglie di leggerlo.
Non è solo copia: I test sono stati progettati affinché il semplice fatto di copiare l'ultima parola menzionata non funzionasse. Il modello deve effettivamente tracciare chi ha visto cosa.
Non è solo un grande "cervello della credenza": Lo studio mostra che la parte del cervello che memorizza il valore è diversa dalla parte che decide quale prospettiva utilizzare.

Il Punto Fondamentale

In breve, il modello non ha una "macchina delle credenze" e una "macchina della realtà". Ha un archivio condiviso per i valori e un interruttore intelligente che decide quale cassetto aprire in base alla domanda. Questo sistema funziona attraverso diversi tipi di modelli (come Qwen, Mistral e OLMo) ed emerge nettamente una volta che il modello diventa abbastanza grande (circa 7 miliardi di parametri).

I ricercatori hanno scoperto questo scambiando piccole parti del codice interno del modello (come scambiare il post-it o l'interruttore) e osservando come le risposte cambiano. Sono fiduciosi che questo sia il modo in cui il modello funziona perché hanno testato lo stesso schema su tre diverse architetture di modelli e hanno trovato lo stesso pattern ogni volta. Sebbene sospettino che questo stesso sistema "slot e interruttore" possa funzionare per altre situazioni complicate (come le storie di viaggi nel tempo o scenari "e se"), questo articolo specifico si concentra interamente sulla divisione tra credenza e realtà.

Sintesi Tecnica: Separazione tra Credenza e Realtà nei Modelli Linguistici

Definizione del Problema

I modelli linguistici (LM) capaci dimostrano la capacità di distinguere tra le credenze di un personaggio e la realtà oggettiva (ad esempio, rispondendo "blu" quando viene chiesto cosa crede Anna e "rosso" quando viene chiesto cosa è vero, dato che "Anna crede che la tazza sia blu; in realtà è rossa"). Tuttavia, la localizzazione meccanicistica di questa separazione all'interno del calcolo del modello rimane incerta. Lavori precedenti hanno stabilito che i modelli possono tracciare gli stati delle entità e svolgere compiti di teoria della mente (ToM), ma non è noto se la separazione tra credenza e realtà sia codificata nella rappresentazione del valore stesso o nel meccanismo che seleziona quale frame leggere. Inoltre, i benchmark comportamentali per la ToM sono spesso suscettibili di "scorciatoie" (ad esempio, bias di recenza, copia) che gonfiano le prestazioni senza un ragionamento genuino. Questo articolo mira a localizzare i specifici meccanismi computazionali responsabili della separazione tra credenza e realtà e a determinare se siano distinti dai meccanismi che memorizzano il valore attribuito.

Metodologia

Gli autori utilizzano la Distributed Alignment Search (DAS) per identificare sottospazi continui a basso rango (low-rank) all'interno dello stream residuo del modello che controllano causalmente specifici output (readout). La metodologia si basa su tre componenti principali:

Stimoli De-confounded: Per eliminare le scorciatoie comuni nei benchmark ToM (Ullman 2023; Shapira et al. 2024), gli autori hanno progettato template di coppie minime con ordini delle clausole randomizzati e set di valori distinti.
- Visibilità Selettiva: Testa se il modello attribuisce una credenza basandosi su ciò che un personaggio ha visto (ad esempio, Carol vede Anna dipingere di blu ma non vede Ben dipingere di rosso).
- Asserito vs. Derivato: Contrasta le credenze esplicitamente dichiarate nel testo ("Anna crede che...") rispetto a quelle inferite dalla visibilità ("Anna ha visto...").
- Credenza vs. Realtà: Presenta un singolo contesto con valori di credenza e realtà in conflitto per testare la selezione del frame.
- Controlli: Include design "resistenti alla copia" (copy-proof) dove restituire l'ultimo colore menzionato o un singolo valore menzionato produce risposte errate.
Protocollo di Intervento: Lo studio utilizza interventi di interscambio. Un segmento a basso rango (sottospazio) dello stato interno è identificato in una specifica posizione di token. Questo segmento viene copiato da un contesto "donatore" (ad esempio, una tazza rossa) in un contesto "ricevente" (ad esempio, una tazza blu) al momento della query. Se l'output del modello cambia verso il valore del donatore, lo spazio è responsabile del controllo causale di quel readout.
Ambito del Modello: L'analisi si concentra su modelli open-weight, principalmente Qwen2.5 (3B, 7B, 14B, 32B), Mistral-7B e OLMo-2-7B. La scalabilità comportamentale è valutata attraverso cinque famiglie, stabilendo i 7B come la scala minima in cui il meccanismo è robustamente osservabile.

Contributi Chiave

Il documento identifica che la separazione tra credenza e realtà non è una rappresentazione monolitica, ma una divisione del lavoro tra due meccanismi separabili situati in posizioni diverse del calcolo:

Uno Slot di Valore Generico: Un sottospazio a basso rango che contiene il valore attribuito (ad esempio, "blu") ma è agnostico rispetto al frame. Non appone intrinsecamente il tag "credenza" o "realtà" al valore.
Un Router Specifico per il Frame: Un sottospazio separato a basso rango situato alla posizione della query che seleziona quale frame (credenza o realtà) deve essere letto dallo slot del valore.

Risultati Chiave

1. Emergenza della Capacità con la Scala

La capacità di attribuire credenze basandosi sulla visibilità descritta emerge nettamente tra 3B e 7B di parametri.

Modelli da 3B: Falliscono il compito, spesso facendo affidamento sulla recenza (riprendendo l'ultimo colore menzionato).
Modelli da 7B (Qwen, Mistral, OLMo): Risolvono il compito con alta accuratezza e indipendenza dall'ordine.
Ciò stabilisce i 7B come substrato per l'analisi meccanicistica.

2. Due Percorsi verso un Singolo Slot di Valore

Il documento dimostra che sia le credenze asserite (esplicitamente dichiarate) sia le credenze derivate (inferite dalla visibilità) riempiono lo stesso sottospazio a basso rango.

Cross-Transfer: Un sottospazio addestrato per controllare le credenze asserite può guidare le credenze derivate (e viceversa) con alta efficienza (0.74–0.97 sui modelli base).
Asimmetria: L'instruction tuning affina un'asimmetria in cui il percorso derivato (che coinvolge un lookback mediato dalla visibilità) diventa più dominante nel guidare lo slot condiviso, sebbene lo slot stesso rimanga condiviso.
Dipendenza dalla Visibilità: Le credenze derivate sono causalmente dipendenti dalla visibilità descritta (scambiare l'attore visibile inverte la credenza nel 99% dei casi), mentre le credenze asserite sono invarianti rispetto alle clausole di visibilità. Ciò conferma due percorsi di input distinti che convergono su una singola rappresentazione.

3. Lo Slot di Valore è Agnostico rispetto al Frame

Gli interventi sullo slot di valore rivelano che esso non trasporta alcun tag di credenza-realtà.

Trasferimento Cross-Frame: Un sottospazio addestrato per controllare il readout della "credenza" sposta il readout della "realtà" con uguale forza (89–95% di trasferimento).
Conclusione: Lo slot memorizza il valore (ad esempio, "blu") indipendentemente dal fatto che sia una credenza o un fatto. La separazione non risiede qui.

4. Il Router Seleziona il Frame

La separazione tra credenza e realtà è implementata da un router alla posizione della query.

Dissociazione: I router della credenza e della realtà sono sottospazi distinti e quasi ortogonali. Scambiare un router della credenza in una query della realtà (o viceversa) non riesce a produrre l'output corretto (leakage cross-leg $\le$ 0.16).
Meccanismo: Il router seleziona quale valore del frame deve essere letto senza iniettare il valore specifico del donatore.
Validità On-Distribution: Le ablazioni di proiezione confermano che questi router vengono utilizzati durante il naturale passaggio in avanti (forward pass) del modello, non solo come target di interscambio efficaci.

Significato e Rivendicazioni

Il documento sostiene di aver risolto il "dove" della separazione tra credenza e realtà nei modelli linguistici:

La Separazione è Routing, non Codifica: La distinzione tra ciò che un personaggio crede e ciò che è vero non è codificata nella rappresentazione del valore stesso. Invece, è implementata come un meccanismo di routing che seleziona un frame su uno slot di valore condiviso.
Generalizzazione Meccanicistica: Questa architettura "slot-and-router" si mantiene attraverso tre diverse famiglie di modelli (Qwen, Mistral, OLMo) e scale (7B, 14B).
Confutazione delle Rappresentazioni Monolitiche della Credenza: I risultati contraddicono l'idea che la credenza sia uno stato singolo e auto-contenuto. Invezione, la credenza è un composito di un legame di valore (lo slot) e una selezione del frame (il router).
Fondazione per Contesti Non-Attuali: Gli autori notano che questo formato specifico slot-and-router sembra essere condiviso anche in altri contesti non attuali (controfattuali, finzione, temporali), una rivendicazione ampliata in un articolo complementare (Steele 2026).

Il documento rimane modesto riguardo alle credenze di secondo ordine e agli effetti dell'instruction-tuning, notando che questi sono risultati preliminari o a singolo substrato, ed evita esplicitamente di fare affermazioni filosofiche sullo "stato doxastico" di questi stati interni, concentrandosi strettamente sulla struttura causale rispetto ai readout.