💬 NLP

States Hidden in Hidden States: Implicit Discrete State Representations Emerge in LLMs' Hidden States

Questo articolo investiga come i Large Language Models eseguano calcoli estesi senza un esplicito ragionamento di tipo chain-of-thought attraverso la formazione e l'utilizzo di Rappresentazioni di Stato Discrete Implicite Imperfette all'interno dei loro stati latenti, caratterizzando al contempo la loro formazione e identificando il loro contributo agli errori computazionali.

Autori originali: Junhao Chen, Shengding Hu, Zhiyuan Liu, Maosong Sun

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Junhao Chen, Shengding Hu, Zhiyuan Liu, Maosong Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare un mago che tira fuori un coniglio da un cappello. Sai che il coniglio non è apparso dal nulla, ma non riesci a vedere il trucco. Per molto tempo, gli scienziati che studiano l'Intelligenza Artificiale (IA) sono stati in una situazione simile. Sanno che questi enormi cervelli informatici, chiamati Large Language Models (LLM), possono fare cose incredibili come scrivere poesie, risolvere problemi matematici e chiacchierare come esseri umani. Ma come lo fanno dentro la loro "mente" (che è solo una massiccia collezione di numeri e strati) è stato per un po' una scatola nera.

Per capire questo articolo, devi sapere due cose semplici. Primo, gli LLM funzionano prevedendo la parola successiva in una frase, una parola alla volta. Secondo, quando lo fanno, creano un "blocco note" temporaneo di informazioni chiamato stato nascosto (hidden state). Pensa a questo stato nascosto come a un appunto mentale che l'IA prende mentre pensa. Di solito, assumiamo che l'IA legga l'intera domanda e poi indovini la risposta. Ma se, mentre legge una lunga lista di numeri, l'IA stesse segretamente tenendo un totale progressivo nella sua testa, proprio come fai tu quando sommi mentalmente il conto della spesa senza scrivere nulla? Questo articolo si chiede: l'IA sta davvero facendo questo calcolo mentale, o sta solo tirando a indovinare?

Il trucco magico del calcolo mentale

Immagina di essere a una festa e che qualcuno ti consegni una lunga lista di numeri: 17, 38, 32, 87... e ti chieda di sommarli tutti istantaneamente, senza scrivere nulla o dire i passaggi a voce alta. La maggior parte delle persone farebbe fatica, ma le IA più intelligenti al mondo stanno iniziando a diventare molto brave in questo. Possono guardare una sequenza di fino a 15 numeri e sputare fuori il totale corretto immediatamente, senza mostrare i passaggi.

Questo articolo, intitolato "States Hidden in Hidden States", investiga esattamente come questi modelli di IA realizzano questo trucco. I ricercatori della Tsinghua University hanno ipotizzato che questi modelli non stiano solo indovinando; stanno segretamente costruendo delle Rappresentazioni di Stato Discreto Implicite (IDSRs).

Scomponiamo questo termine altisonante. Immagina che l'IA sia una squadra di operai che si passano un secchio d'acqua in fila.

Implicito: Non stanno gridando il numero ad alta voce (generando testo).
Stato Discreto: Stanno tenendo in mano un numero specifico ed esatto (come "37" dopo aver sommato 17 e 20).
Rappresentazione: Questo numero esiste come un pattern all'interno degli strati interni dell'IA.

I ricercatori volevano dimostrare che l'IA stia effettivamente trattenendo questi numeri intermedi mentre legge la lista, piuttosto che aspettare la fine per cercare di calcolare tutto in una volta sola.

Il lavoro da detective: sbirciare dentro il cervello

Per vedere se questo "blocco note mentale" esiste davvero, i ricercatori hanno giocato a "20 domande" con gli strati interni dell'IA. Hanno usato uno strumento chiamato sonda (probe). Pensa a una sonda come a un piccolo detective superveloce che può sbirciare negli appunti interni dell'IA in un momento specifico e chiedere: "A quale numero stai pensando proprio ora?".

Hanno testato questo su una varietà di modelli, dai più piccoli (come Llama2-7B) ai giganti (come GPT-4 e Qwen-72B). Hanno chiesto ai modelli di risolvere problemi di addizione con liste che andavano da 2 a 14 numeri.

Cosa hanno scoperto:

Il grande diventa più grande: La capacità di fare questo calcolo mentale "emerge" man mano che i modelli diventano più grandi. I modelli piccoli possono sommare due o tre numeri, ma una volta che la lista arriva a otto numeri, falliscono. I modelli più grandi, invece, possono gestire liste di 11 o persino 15 numeri con una precisione sorprendente.
L'appunto nascosto è reale: Quando i ricercatori hanno usato le loro "sonde detective" sugli strati nascosti dell'IA, hanno scoperto che i modelli stavano effettivamente trattenendo i totali progressivi. Ad esempio, dopo che l'IA ha letto "17 + 24", lo stato interno del modello conteneva una rappresentazione di "41", anche se non aveva ancora pronunciato la parola "41".
Non è perfetto: La cattiva notizia è che questo appunto mentale non è perfetto. Man mano che la lista di numeri si allunga, l'appunto diventa un po' sfuocato. I ricercatori hanno scoperto che, sebbene l'IA possa trattenere il numero perfettamente per i primi passaggi, arrivati al 15° numero, la rappresentazione interna inizia a perdere dettagli. Questa compressione "lossy" (con perdita di dati) è il motivo per cui anche le IA più intelligenti a volte sbagliano la risposta finale.

Come l'IA costruisce il numero

L'articolo ha anche scoperto come l'IA costruisce questi numeri, il che è sorprendentemente simile al modo in cui lo fanno gli esseri umani.

Un numero alla volta: L'IA non calcola l'intero numero tutto in una volta. Costruisce la risposta cifra per cifra, partendo da destra (le unità), poi le decine, poi le centinaia. È come sommare le colonne su carta, ma accade interamente dentro il cervello dell'IA.
Gli strati "superficiali" vs "profondi": L'IA ha molti strati di elaborazione. I ricercatori hanno scoperto che i primi 10 strati sono come la parte "calcolatrice" del cervello: eseguono solo il calcolo grezzo. Ma man mano che l'informazione si sposta verso gli strati più profondi (intorno allo strato 10 e oltre), l'IA inizia a mescolare il contesto della frase. È come se la calcolatrice venisse distratta dalla conversazione circostante. Questo mescolamento è ciò che causa la "sfocatura" o gli errori nella risposta finale.
Lineare, non magico: L'IA non fa il calcolo in un modo magico e simultaneo. Elabora la lista in linea retta. Se hai i numeri A, B, C e D, calcola (A+B), poi prende quel risultato e aggiunge C, poi aggiunge D. Non fa (A+B) e (C+D) separatamente per poi combinarli.

L'esperimento del "Ponte"

Per dimostrare che l'IA stesse effettivamente usando questi appunti nascosti e non stesse solo tirando a indovinare, i ricercatori hanno fatto un trucco astuto. Hanno costruito un "ponte" nel meccanismo di attenzione dell'IA. Immagina che l'IA stia leggendo una lunga frase e che loro la blocchino dal guardare indietro all'inizio della frase, costringendola a guardare solo l'ultima cosa che ha letto.

Se l'IA stesse solo indovinando basandosi sull'intera frase, questo blocco la manderebbe in crisi totale. Ma l'IA era comunque in grado di risolvere il problema matematico se poteva "vedere" il ponte (il segno più recente). Questo ha dimostrato che l'IA stava portando avanti il totale progressivo da un passaggio all'altro, proprio come farebbe un essere umano.

Conclusione

Questo articolo suggerisce che quando i grandi modelli di IA fanno matematica senza mostrare i passaggi, stanno effettivamente facendo il lavoro. Stanno creando post-it invisibili e interni che tengono il totale progressivo mentre leggono.

Tuttavia, c'è un problema. Questi post-it non sono perfetti. Man mano che la lista di numeri si allunga, i post-it diventano un po' sbiaditi e l'IA inizia a commettere errori. I ricercatori credono che se riuscissimo a capire come rendere questi appunti interni più chiari e meno "lossy", potremmo rendere l'IA molto più brava nei compiti di ragionamento complesso, non solo nella matematica.

Per ora, sappiamo che l'IA non è magica; è solo molto brava a tenere un conteggio mentale, anche se tale conteggio a volte diventa un po' confuso alla fine di una lunga lista.

Sintesi Tecnica: Stati Nascosti negli Stati Nascosti

Definizione del Problema

I Large Language Models (LLM) hanno dimostrato capacità emergenti di eseguire calcoli aritmetici, nello specifico addizioni iterative, senza generare token intermedi di catena di pensiero (Chain-of-Thought, CoT). Mentre la ricerca precedente si è concentrata sull'aritmetica binaria o sulla generalità dell'interpretabilità dei compiti matematici, il meccanismo attraverso il quale i modelli tracciano i risultati intermedi nei ragionamenti iterativi multi-step rimane poco chiaro. Nello specifico, non è noto se i modelli memorizzino i dati di addestramento, si affidino a un ragionamento esplicito o formino rappresentazioni interne degli stati intermedi per risolvere questi problemi direttamente. Questo articolo investiga l'ipotesi che gli LLM formino Rappresentazioni di Stato Discreto Implicito (IDSR - Implicit Discrete State Representations) all'interno dei loro stati nascosti per facilitare il calcolo simbolico sequenziale.

Metodologia

Gli autori impiegano una combinazione di generazione di dataset sintetici e tecniche di probing per validare l'esistenza e le proprietà delle IDSR.

1. Costruzione del Dataset

È stato creato un dataset sintetico di 131.300 problemi di addizione e sottrazione iterativa. Il dataset include:

Lunghezza Variabile: Sequenze che vanno da 2 a 14 operandi.
Operandi: Numeri interi campionati uniformemente da 1 a 100 (da 1 a 3 cifre).
Diversità dei Prompt: Sono stati utilizzati tre tipi di prompt: addizione standard, sottrazione e "prompting" (dove il prompt istruisce il modello a ignorare la formula o a rispondere con un token specifico come "apple").
Suddivisione: I dati sono stati suddivisi in set di addestramento (80%), validazione (10%) e test (10%) per l'addestramento dei probe.

2. Configurazione Sperimentale

Modelli Valutati: Una gamma diversificata di modelli open-source (es. Llama2, MiniCPM, Mistral, Qwen, DeepSeek) e closed-source (es. GPT-3.5, GPT-4, Claude) è stata testata.
Estrazione degli Stati Nascosti: Durante l'inferenza, gli stati nascosti ( $H_{i,j}$ ) corrispondenti specificamente ai token degli operatori (ad esempio, i segni "+") sono stati estratti per evitare bias dalle rappresentazioni degli operandi.
Meccanismo di Probing: Sono stati addestrati multi-layer perceptrons (MLP) e single-layer perceptrons per classificare gli stati nascosti. I probe hanno predetto:
- Probing del Numero Intero: La somma totale come numero intero.
- Probing per Cifra: Le singole cifre (unità, decine, centinaia) della somma intermedia.
Esperimenti di Intervento: È stato condotto un esperimento di "Attention Bridge" (Ponte di Attenzione) in cui le maschere di attenzione hanno impedito ai token successivi di prestare attenzione agli operandi precedenti, costringendoli a fare affidamento esclusivamente sulle informazioni passate attraverso un particolare "token ponte" (il primo segno di addizione).

Risultati Chiave e Conclusioni

1. Emergenza del Calcolo Implicito

Correlazione con la Scala: Esiste una forte correlazione tra la dimensione del modello e la capacità di eseguire addizioni iterative. I modelli più piccoli (es. 7B) mostrano una rapida degradazione dell'accuratezza all'aumentare della lunghezza della sequenza (accuratezza quasi nulla a 8 operandi), mentre i modelli più grandi (es. 72B, GPT-4) mantengono un'accuratezza >50% per sequenze fino a 8 operandi e prestazioni non nulle per 11+ operandi.
Non-Memorizzazione: La capacità non è probabilmente memorizzata, poiché lo spazio dei parametri necessario per memorizzare tutte le possibili somme di lunghe sequenze ( $O(99^L)$ ) eccede la capacità del modello, e il compito offre un'utilità trascurabile per l'ottimizzazione generale del pre-training.

2. Esistenza e Proprietà delle IDSR

Esistenza: Gli esperimenti di probing hanno confermato che gli stati nascosti ai token degli operatori contengono informazioni sulla somma intermedia corrente. Le accuratezze di predizione hanno superato significativamente il caso casuale in tutti i modelli.
Trasmissione con Perdita (Lossy): La trasmissione delle IDSR non è priva di perdite. L'accuratezza diminuisce man mano che la sequenza progredisce (es. dal 100% al secondo "+" al 37% all'ultimo "=" in Qwen-72B), contribuendo agli errori di output finale.
Linearità vs. Non-linearità:
- Strati Bassi (0–10): Le rappresentazioni sono ampiamente lineari e agnostiche rispetto al compito ("shallow-semantic"). Esse computano valori aritmetici indipendentemente dal contesto specifico del prompt (es. sottrazione vs. addizione).
- Strati Profondi (>10): Le rappresentazioni transitano verso caratteristiche non lineari ("semantic layers"). Questi strati integrano il contesto del compito, il quale reinizializza la formazione della IDSR ma riduce la risoluzione rispetto agli strati bassi.
Formazione a Livello di Cifra: Le IDSR si formano indipendentemente per ogni cifra. L'ordine in cui le cifre diventano prevedibili segue l'ordine di calcolo umano (unità $\to$ decine $\to$ centinaia), suggerendo che i modelli eseguano addizioni multi-cifra tramite addizioni iterative a singola cifra.

3. Utilizzo delle IDSR

Elaborazione Sequenziale: I modelli utilizzano le IDSR in modo sequenziale piuttosto che in modo logaritmico (a albero). Gli esperimenti di probing hanno mostrato che l'accuratezza per la somma di $n$ numeri raggiunge il picco solo dopo che l'accuratezza per la somma di $n-1$ numeri ha raggiunto il suo picco, escludendo strategie di combinazione parallela.
Validazione dell'Attention Bridge: Quando l'attenzione diretta agli operandi iniziali è stata mascherata, i modelli hanno mantenuto un'accuratezza non trascurabile se l'informazione poteva passare attraverso il "token ponte". Ciò conferma che i modelli si affidano allo stato intermedio codificato nei token degli operatori per computare i passaggi successivi.

Contributi Chiave

Validazione dell'Ipotesi: Il documento fornisce prove empiriche che gli LLM formano Rappresentazioni di Stato Discreto Implicito (IDSR) negli stati nascosti per eseguire addizioni iterative senza CoT esplicito.
Caratterizzazione della Formazione: Lo studio mappa la formazione delle IDSR attraverso tre prospettive:
- Per Cifra: Formazione indipendente e sequenziale partendo dalla cifra meno significativa.
- Per Strato: Una transizione da un calcolo aritmetico lineare e agnostico rispetto al compito negli strati bassi, a un'elaborazione semantica non lineare e consapevole del contesto negli strati profondi.
- Per Sequenza: Propagazione dell'informazione lungo la sequenza, dove i token successivi utilizzano lo stato codificato nei token degli operatori precedenti.
Meccanismo di Fallimento: Gli autori identificano che la natura "lossy" (con perdita) della trasmissione delle IDSR nei modelli open-source attuali è un contributore primario agli errori di calcolo nelle sequenze lunghe.

Significato e Rivendicazioni

Gli autori posizionano questo lavoro come un'iniziale esplorazione dei meccanismi interni degli LLM riguardo al calcolo simbolico e al ragionamento multi-step. Il significato risiede in:

Interpretabilità: Offrire un esempio concreto di come gli LLM eseguano un "ragionamento iterativo intrinseco" tracciando stati discreti, fungendo da passo fondamentale per comprendere le capacità di ragionamento complesso.
Limitazioni dei Modelli: Evidenziare che i modelli attuali non sono "lossless" (senza perdita) nel tracciamento dello stato, il che spiega perché falliscono su sequenze più lunghe nonostante le capacità emergenti.
Direzioni Future: Il documento suggerisce che comprendere e potenzialmente ridurre la perdita nella generazione di IDSR potrebbe migliorare le capacità matematiche e di ragionamento degli LLM. Si nota esplicitamente che le scoperte sono attualmente validate su dataset matematici sintetici e che la capacità è una proprietà emergente dipendente dalla scala del modello.

Il documento si conclude riconoscendo i limiti, come la mancanza di diversità nei tipi di compiti oltre la matematica sintetica, e invita a ricerche future sui fattori che influenzano la risoluzione delle IDSR e la scalabilità di queste rappresentazioni attraverso diverse dimensioni dei modelli.