💬 NLP

A Shared Subcircuit Lets LLMs Count Down Across Tasks

Questo articolo identifica un "sottocircuito di conto alla rovescia" condiviso in Llama-3.1-70B-Instruct che consente ai modelli linguistici di tracciare i token rimanenti attraverso diversi compiti, rivelando un meccanismo generalizzabile per stimare il tempo al traguardo che si trasferisce tra diversi modelli e contesti.

Autori originali: Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

Pubblicato 2026-07-15

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di giocare a un gioco in cui devi scrivere una frase, ma c'è una regola ferrea: deve essere lunga esattamente 10 parole e l'ultima parola deve essere "telescope". Se scrivi 9 parole, perdi. Se ne scrivi 11, perdi.

Per molto tempo, abbiamo pensato che i Large Language Models (LLM) — i cervelli IA super intelligenti dietro le chatbot — si limitassero a indovinare il modo per completare questi compiti. Ma un nuovo studio suggerisce che stia accadendo qualcosa di molto più organizzato all'interno della macchina. I ricercatori hanno scoperto che l'IA possiede un piccolo, specializzato "sottocircuito di conto alla rovescia" che agisce come un cronometro integrato, ticchettando verso le parole rimanenti finché non raggiunge il traguardo.

Il cronometro nascosto

I ricercatori hanno iniziato istruendo un modello specifico, Llama-3.1-70B-Instruct, a scrivere frasi di una lunghezza fissa. Volevano sapere come il modello facesse a sapere quando fermarsi. Esaminando l'interno del "cervello" del modello (guardando nello specifico come elabora le informazioni livello per livello), hanno scoperto un gruppo specifico di tre teste di attenzione (pensa a loro come piccoli lavoratori specializzati) nel livello 18 che sono responsabili di questo conto alla rovescia.

Questi tre lavoratori — etichettati come L18H24, L18H28 e L18H30 — non si limitano a indovinare. Essi misurano effettivamente la distanza tra dove la frase si trova in questo momento e dove deve finire.

Un lavoratore si attiva presto nella frase.
Un altro entra in azione durante la parte centrale.
Il terzo si attiva proprio alla fine.

Insieme, creano un segnale di "conto alla rovescia" fluido che diventa sempre più forte man mano che il modello si avvicina al numero target di parole. È come avere tre diversi sveglie impostate per suonare in momenti diversi, assicurando che il modello sappia esattamente quanto tempo (o in questo caso, quante parole) gli rimane.

La magia del conteggio "implicito"

Ecco dove la cosa diventa davvero interessante. Potresti pensare che questo conto alla rovescia funzioni solo se dici esplicitamente all'IA: "Scrivi una frase di 10 parole". Ma i ricercatori hanno scoperto che il modello è più intelligente di così.

Hanno testato il modello con prompt che non fornivano alcun numero. Invece, hanno fornito un pattern. Per esempio, hanno mostrato al modello una lista di sequenze di DNA o codici base64, tutti della stessa identica lunghezza. Quando al modello veniva chiesto di continuare la lista, non aveva bisogno di un numero; ha semplicemente "capito" il pattern. Ha inferito la lunghezza target dai precedenti esempi e ha usato lo stesso sottocircuito di conto alla rovescia per fermarsi nel punto giusto.

Lo studio suggerisce che il modello memorizza questa informazione sulla lunghezza "invisibile" proprio alla fine delle stringhe precedenti (come una nota nascosta che dice "La prossima dovrebbe essere lunga così"). Quando il modello vede la fine di una stringa, legge quella nota e avvia il proprio conto alla rovescia per la successiva.

Uno strumento universale tra modelli e compiti

I ricercatori non si sono fermati qui. Hanno utilizzato una tecnica chiamata "probing non supervisionato" per vedere dove altro questo strumento di conto alla rovescia si nascondeva nel mondo reale. Hanno scansionato enormi quantità di testo, inclusi articoli di notizie, chat log e codice, cercando i punti in cui questi specifici lavoratori stavano operando.

Hanno scoperto il sottocircuito di conto alla rovescia apparire in molti altri posti sorprendenti:

Tweet incorporati: Il modello ha capito di stare leggendo un tweet e ha contato a ritroso fino al limite di 280 caratteri, anche se il testo non diceva "tweet".
Tabelle ASCII: Quando formattava una tabella, il modello contava gli spazi per assicurarsi che ogni colonna avesse la stessa larghezza.
Haiku: Tracciava il conteggio delle sillabe per la struttura 5-7-5.
Hash SHA: Sapeva esattamente quando un codice di 64 caratteri era terminato.

Ciò suggerisce che il modello non sta solo memorizzando regole per compiti specifici; possiede un "motore di conto alla rovescia" general-purpose che riutilizza per quasi tutto ciò che richiede il monitoraggio di una lunghezza.

Un blueprint condiviso?

Forse la scoperta più affascinante è che questo non è solo un vezzo del modello Llama. I ricercatori hanno confrontato la "geometria" interna (la forma dei dati) di questo sottocircuito di conto alla rovescia con un modello diverso, Claude 3.5 Haiku, studiato su un compito differente (l'andare a capo del testo per adattarlo a una riga).

Hanno scoperto che entrambi i modelli utilizzano la stessa identica forma matematica per memorizzare ed elaborare le informazioni sulla lunghezza. È come se due diversi produttori di auto, lavorando in fabbriche diverse, avessero deciso di usare esattamente lo stesso design di motore per le loro auto. Questo suggerisce che questo "motivo di conto alla rovescia" potrebbe essere un elemento fondamentale che molti modelli di IA scoprono autonomamente quando devono tenere traccia del tempo o dello spazio.

Cosa significa (e cosa non significa)

Il documento specifica con cura che hanno ingegnerizzato al contrario questo specifico comportamento. Hanno dimostrato che se si altera il segnale in queste teste specifiche, il modello smette di contare correttamente. Hanno misurato i segnali e osservato i pattern.

Tuttavia, non pretendono di aver risolto il mistero di come l'IA pensi in generale. Stanno semplicemente mostrando che, per il compito specifico di "sapere quando fermarsi", l'IA utilizza uno strumento molto specifico, riutilizzabile e sorprendentemente universale. È un piccolo ma potente pezzo del puzzle, che mostra come anche nel mondo complesso e caotico dell'IA, esistano sottoprogrammi ordinati e precisi che aiutano la macchina a dare un senso al mondo.

Quindi, la prossima volta che vedrete un'IA scrivere un haiku perfetto o formattare una tabella senza che le venga detto esattamente quanti spazi usare, ricordate: da qualche parte nel profondo, tre piccoli lavoratori nel livello 18 stanno silenziosamente contando alla rovescia, assicurandosi che tutto termini nel modo giusto.

Sintesi Tecnica: Un sottocircuito condiviso permette agli LLM di contare a ritroso tra i task

Problema

I Large Language Models (LLM) eseguono frequentemente task che richiedono il monitoraggio del conteggio dei token rispetto a un obiettivo prefissato, come scrivere una frase di una lunghezza specifica, formattare tabelle ASCII o terminare sequenze di DNA al corretto codone. Sebbene gli LLM dimostrino competenza in questi compiti, i meccanismi interni che consentono loro di tracciare il "tempo rimanente" fino a una lunghezza target non sono ancora pienamente compresi. Nello specifico, non è chiaro se i modelli possiedano un meccanismo generalizzabile di conteggio a ritroso che operi attraverso contesti diversi (target espliciti vs impliciti) e se tale meccanismo sia condiviso tra diversi modelli.

Metodologia

Gli autori hanno impiegato un approccio bottom-up di interpretabilità meccanicistica, concentrandosi sul modello Llama-3.1-70B-Instruct. La metodologia si è articolata in tre fasi:

Localizzazione Causale tramite Patching:
- Task: Il modello è stato sottoposto a un prompt di "pianificazione della frase": scrivere una frase di una lunghezza specificata ( $N$ ) che termini con una parola specifica.
- Tecnica: Gli autori hanno eseguito il residual stream patching. Hanno costruito prompt "source" (lunghezza target $n_{src}$ ) e prompt "destination" (lunghezza target $n_{dst}$ , dove $n_{dst} > n_{src}$ ). Le attivazioni del token della lunghezza target e del token dell'unità di lunghezza del prompt source sono state patchate nel prompt destination in vari layer.
- Obiettivo: Identificare i layer e i token specifici dove l'informazione sulla lunghezza è causalmente sufficiente a determinare la lunghezza dell'output.
Identificazione dei Head di Attenzione:
- Una volta identificato il layer critico, gli autori hanno analizzato le norme di output degli head di attenzione a quel layer, guardando specificamente al flusso di informazioni dal token dell'unità di lunghezza ai token successivi.
- Hanno esaminato la geometria delle rappresentazioni (chiavi e query) utilizzate da questi head per determinare come confrontano la posizione corrente con la lunghezza target.
Probing Non Supervisionato e Generalizzazione:
- Lunghezza Implicita: Gli autori hanno investigato scenari in cui la lunghezza target non era esplicitamente dichiarata ma inferita dal contesto (ad esempio, stringhe ripetute di lunghezza identica in Base64 o sequenze di DNA). Hanno utilizzato il patching per verificare se i delimitatori finali di queste stringhe memorizzassero causalmente l'informazione sulla lunghezza.
- Analisi Geometrica: Hanno confrontato i manifold geometrici del sottocircuito identificato in Llama-3.1-70B con un precedente sottocircuito di "line-wrapping" (andata a capo) in Claude 3.5 Haiku utilizzando l'Analisi delle Componenti Principali (PCA) e la similarità del coseno.
- Scoperta Non Supervisionata: Utilizzando le attivazioni di output degli "head di countdown" identificati, hanno costruito probe lineari. Questi probe sono stati applicati su un vasto corpus non etichettato (The Pile e il dataset LMSYS-1M chat) per trovare esempi diversificati ad alta attivazione in cui il modello stava contando a ritroso implicitamente.

Contributi Chiave e Risultati

1. Identificazione del Sottocircuito di Countdown

Lo studio ha isolato con successo un sottocircuito specifico in Llama-3.1-70B-Instruct responsabile del monitoraggio dei token rimanenti:

Localizzazione: L'informazione sulla lunghezza viene spostata al "token dell'unità di lunghezza" a partire circa dal Layer 4 ed è usata causalmente fino al Layer 18.
Head Specifici: Tre head di attenzione al Layer 18 (L18H24, L18H28, L18H30) sono stati identificati come gli "head di countdown".
Meccanismo: Questi head mostrano un pattern di campi recettivi sovrapposti. L18H28 si attiva precocemente, L18H24 a metà percorso e L18H30 verso la fine. La loro norma di output combinata raggiunge il picco immediatamente prima della lunghezza target, indicando un meccanismo di countdown continuo piuttosto che un picco improvviso al raggiungimento del target.

2. Memorizzazione della Lunghezza Implicita e Universalità

Gli autori hanno dimostrato che questo sottocircuito funziona anche quando la lunghezza target non è fornita esplicitamente nel prompt:

Memorizzazione Implicita: In scenari di "stringhe ripetute" (ad esempio, molteplici stringhe Base64 della stessa lunghezza), il modello inferisce la lunghezza target dal contesto. Gli esperimenti di patching hanno confermato che i delimitatori finali di queste stringhe memorizzano causalmente l'informazione sulla lunghezza target implicita.
Similarità di Rappresentazione: L'analisi della similarità del coseno ha rivelato che le attivazioni delle chiavi per le lunghezze implicite (nei delimitatori) e le lunghezze esplicite (nei token del prompt) giacciono su manifold simili. La relazione tra lunghezza implicita ed esplicita è altamente lineare ( $0.93 \le r^2 \le 0.97$ ), suggerendo una rappresentazione unificata dell'informazione sulla lunghezza.
Motivo Cross-Model: La struttura geometrica del sottocircuito di countdown (manifold curvi per chiavi e query con specifiche proprietà di allineamento) è risultata essere identica al sottocircuito di "line-wrapping" precedentemente identificato in Claude 3.5 Haiku. Ciò suggerisce che il motivo è condiviso tra diversi modelli e task.

3. Scoperta Non Supervisionata di Applicazioni Diverse

Utilizzando il probing non supervisionato sugli output degli head di countdown, gli autori hanno identificato una vasta gamma di task in cui questo sottocircuito è attivo, tra cui:

Tweet Incorporati: Predire la fine di un tweet di 280 caratteri incorporato in un testo di notizie.
Sequenze di DNA: Terminare le sequenze al corretto codone basandosi sulle sequenze precedenti.
Hash SHA-256: Rilevare la fine di una stringa esadecimale di 64 caratteri.
Generazione di Haiku: Monitorare il conteggio delle sillabe e le interruzioni di riga.
Tabelle ASCII: Allineare le celle a una larghezza specifica.
Lancio di Moneta e Arrotondamento: Monitorare il conteggio di caratteri o cifre in sequenze generate.

Significato e Rivendicazioni

Il paper sostiene che l'ingegneria inversa di un sottocircuito da un singolo task ristretto (pianificazione della frase) permetta ai ricercatori di comprendere come comportamenti specifici si generalizzino a un ampio spettro di task e persino tra diversi modelli.

Generalizzazione: Il lavoro dimostra che un singolo sottocircuito viene riutilizzato sia per il conteggio esplicito (specificato nel prompt) che per il conteggio implicito (inferito dal contesto).
Meccanismi Condivisi: L'identificazione dello stesso motivo geometrico in Llama-3.1 e Claude 3.5 Haiku suggerisce che certi primitivi computazionali per il monitoraggio di tempo/lunghezza siano fondamentali e condivisi tra i modelli di frontiera.
Approccio Metodologico: Gli autori propongono un workflow "bottom-up" per l'interpretabilità meccanicistica: isolare un sottocircuito su un task controllato, eseguire l'ingegneria inversa della sua geometria e poi utilizzare il probing non supervisionato per mappare il suo utilizzo attraverso l'intero spazio operativo del modello. Suggeriscono che questo approccio potrebbe essere automatizzato, similmente all'analisi del dizionario delle feature, per scoprire sistematicamente altri comportamenti generalizzati negli LLM.

Gli autori rimangono modesti, osservando che, sebbene abbiano identificato un motivo condiviso, il lavoro si concentra sulle interazioni causali e sulla geometria dell'elaborazione della lunghezza, piuttosto che rivendicare di aver risolto tutti gli aspetti della pianificazione o della generalizzazione degli LLM.