Latent Planning Emerges with Scale

Titolo: Latent Planning Emerges with Scale (La pianificazione latente emerge con la scala)

Autori: Michael Hanna (ILLC, University of Amsterdam) ed Emmanuel Ameisen (Anthropic).

1. Il Problema e la Motivazione

I Large Language Models (LLM) sono in grado di eseguire compiti che sembrano richiedere una pianificazione complessa (come scrivere storie coerenti o codice funzionante) senza verbalizzare esplicitamente un piano. Tuttavia, l'estensione e la natura di questa pianificazione latente (o implicita) rimangono poco chiare.

• Rischio di Sicurezza: La capacità di pianificare senza rivelare le proprie intenzioni potrebbe permettere ai modelli di "macchinare" (scheming) per raggiungere obiettivi nascosti, eludendo i monitoraggi esterni.
• Limiti della Ricerca Precedente: La maggior parte degli studi precedenti si basava su evidenze osservative (es. estrarre informazioni sui token futuri dalle attivazioni del modello tramite probing). Il paper sostiene che il semplice fatto che un token futuro sia decodificabile non prova che il modello lo stia "pianificando" attivamente; potrebbe trattarsi di informazioni non utilizzate nel processo decisionale.
• Obiettivo: Fornire prove causali e meccanicistiche su come i modelli LLM pianificano internamente e come questa capacità evolve con l'aumento delle dimensioni del modello (scaling).

2. Definizione di Pianificazione Latente

Gli autori definiscono un LLM come impegnato in pianificazione latente solo se possiede una rappresentazione interna di un token o concetto pianificato ($t$) che soddisfa due condizioni causali:

1. Pianificazione in Avanti (Forward Planning): La rappresentazione di $t$ causa la generazione del token $t$ in una posizione futura ($n+k$).
2. Pianificazione all'Indietro (Backward Planning): La rappresentazione di $t$ causa la generazione di un contesto precedente che "licenzia" o rende grammaticalmente/logicamente appropriato il token $t$.

3. Metodologia

Lo studio si concentra sulla famiglia di modelli Qwen-3 (da 0.6B a 14B parametri, con analisi comportamentali fino a 32B).

Strumenti di Analisi Meccanicistica

• Transcoders: Vengono utilizzati per decomporre le attivazioni dense e polisemiche dei layer MLP in caratteristiche sparse e monosemantiche (feature). Questo permette di identificare concetti specifici (es. "accountant") all'interno del modello.
• Feature Circuits (Circuiti di Caratteristiche): Vengono costruiti grafi aciclici pesati che mappano le relazioni causali tra le input, le feature dei transcoder e i logit di output. Questo permette di tracciare esattamente come una feature influenza l'output finale.
• Interventi Causali: Gli autori eseguono esperimenti di ablation (azzeramento delle feature) e steering (aumento dell'attivazione delle feature) per verificare se le feature identificate sono la causa diretta del comportamento di pianificazione.

Compiti di Valutazione

1. Compiti Semplici di Concordanza (a/an, is/are, el/la):
   • Esempio: "Someone who handles financial records is → a/an (accountant)".
   • Il modello deve pianificare la parola "accountant" e scegliere l'articolo corretto ("an") in anticipo.
2. Completamento di Coppette Rimate:
   • Il modello deve completare una seconda riga di una poesia che rima con la prima.
   • Obiettivo: Verificare la pianificazione a lungo raggio (es. scegliere la parola finale prima di iniziare a scrivere la riga).
3. Steering su Parole Pianificate:
   • Testare se forzando l'attivazione di feature di pianificazione si può indurre il modello a modificare il contesto precedente per adattarlo alla parola target.

4. Risultati Chiave

A. Emergere della Pianificazione con la Scala

• Compiti Semplici (a/an, is/are):
  • I modelli piccoli (0.6B - 1.7B) falliscono quasi sistematicamente sui casi minoritari (es. "an"), prediligendo sempre la classe maggioritaria ("a").
  • I modelli medi (4B - 8B) mostrano capacità nascenti: riescono a pianificare ma con minore affidabilità.
  • I modelli grandi (14B+) riescono consistentemente nel compito.
  • Analisi Meccanicistica: I modelli possiedono feature specifiche che rappresentano la parola pianificata (es. "accountant"). Queste feature attivano a loro volta altre feature che aumentano la probabilità dell'articolo corretto ("an").
  • Evidenza Causale: L'ablazione delle feature di pianificazione danneggia le prestazioni (specialmente sui casi "an"), mentre il loro potenziamento le migliora drasticamente.

B. Pianificazione nei Compiti Complessi (Rime)

• Pianificazione in Avanti: I modelli più grandi (8B-14B) identificano la rima prima di scriverla. Esiste un circuito che attiva feature "near end of line" (vicino alla fine della riga) che richiamano le feature della rima dalla prima riga.
• Assenza di Pianificazione all'Indietro Forte: A differenza dei compiti semplici, i modelli raramente pianificano all'indietro per modificare l'intero contesto della seconda riga in funzione della rima finale. Il contesto intermedio non sembra essere "licenziato" attivamente dalla rima scelta.
• Pianificazione Locale: In alcuni casi, i modelli più grandi mostrano feature di pianificazione locale (es. "say 'night'") che adattano frasi brevi (es. "in the night"), ma questo fenomeno è raro e sensibile alla forza dello steering.

C. Confronto tra Modelli di Diverse Dimensioni

• Modelli "Nascenti" (4B-8B): Hanno circuiti di pianificazione parzialmente formati. Quando falliscono, hanno molte meno feature di pianificazione attive rispetto ai casi in cui hanno successo.
• Modelli Grandi (14B+): Hanno un gran numero di feature di pianificazione attive sia nei casi di successo che di fallimento, suggerendo che il meccanismo è robusto ma non sempre sufficiente da solo.
• Asimmetria: La capacità di pianificazione in avanti (Forward Planning) si sviluppa prima e più rapidamente rispetto alla pianificazione all'indietro (Backward Planning).

5. Contributi Principali

1. Definizione Causale: Spostano il focus dalla decodifica osservativa alla verifica causale della pianificazione, richiedendo che le rappresentazioni interne causino sia l'output futuro che il contesto precedente.
2. Evidenza Meccanicistica su Modelli Open Source: Forniscono il più grande studio su circuiti di feature su modelli open source (Qwen-3) fino a 14B parametri, identificando i meccanismi specifici (feature di transcoder) responsabili della pianificazione.
3. Analisi dello Scaling: Dimostrano che la pianificazione non è un comportamento binario (presente/assente), ma emerge gradualmente con la scala, passando da meccanismi "nascenti" a circuiti robusti.
4. Distinzione tra Forward e Backward Planning: Evidenziano che i modelli migliorano prima nella capacità di prevedere il futuro (forward) che nella capacità di adattare il passato per supportare quel futuro (backward).

6. Significato e Implicazioni

• Sicurezza AI (AI Safety): La scoperta che i modelli possiedono rappresentazioni causali di obiettivi futuri, anche senza verbalizzarli, è rilevante per il rischio di "scheming". Sebbene i modelli attuali (fino a 14B) mostrino una pianificazione latente ancora "nascente" e limitata a compiti semplici, la tendenza è che queste capacità crescano con la scala.
• Monitoraggio Futuro: Il framework proposto (feature circuits) offre un metodo per monitorare l'emergere di capacità di pianificazione complesse man mano che i modelli diventano più grandi e capaci.
• Limiti Attuali: I modelli attuali mostrano poca pianificazione a lungo raggio complessa (es. su intere frasi o storie) e la pianificazione all'indietro è debole. Tuttavia, la capacità di pianificare localmente (es. concordanza grammaticale) è già presente e scalabile.

In sintesi, il paper dimostra che la pianificazione latente è un fenomeno reale e misurabile nei LLM, che si evolve da meccanismi fragili a circuiti robusti all'aumentare delle dimensioni del modello, offrendo nuovi strumenti per comprendere e monitorare il comportamento interno degli agenti AI.