What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering

Sintesi Tecnica: "Qual è il Piano? Metriche per la Pianificazione Implicita negli LLM e la Loro Applicazione alla Generazione di Rime e alla Risposta a Domande"

Enunciato del Problema
Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) siano addestrati sulla previsione del token successivo, è in crescita il dibattito su whether essi esibiscano una "pianificazione implicita" – la capacità di rappresentare obiettivi futuri nelle attivazioni nascoste per condizionare la generazione intermedia. Prove precedenti, come lo studio di Lindsey et al. (2025) su Claude 3.5 Haiku utilizzando trascondensatori cross-layer, suggerivano che i modelli potrebbero pianificare in anticipo le parole in rima. Tuttavia, tali risultati erano limitati a un singolo modello closed-source e si basavano su metodi computazionalmente costosi e difficili da riprodurre. Inoltre, permane lo scetticismo riguardo alle capacità di pianificazione generali degli LLM, con alcuni argomenti che suggeriscono che la generazione di token in tempo costante escluda un ragionamento principiato. Questo articolo mira a stabilire se la pianificazione implicita sia un meccanismo universale presente in diverse famiglie e dimensioni di modelli, e a sviluppare metodi scalabili e quantitativi per valutarla.

Metodologia
Gli autori propongono una serie di tecniche più semplici e scalabili per rilevare e quantificare la pianificazione in avanti e all'indietro implicita, evitando la necessità di apprendimento di dizionari complessi o di trascondensatori cross-layer. La metodologia si basa sull'indirizzamento basato sulla differenza media di attivazione (Arditi et al., 2024) applicato a posizioni specifiche nella sequenza di input.

1. Definizioni di Pianificazione:

   • Pianificazione in avanti: La creazione di rappresentazioni in posizioni precedenti che codificano proprietà dei token obiettivo futuri.
   • Pianificazione all'indietro: L'uso di tali rappresentazioni per condizionare la generazione di token intermedi che portano all'obiettivo.
   • Pianificazione implicita: Le rappresentazioni esistono all'interno delle attivazioni nascoste piuttosto che negli output espliciti (ad esempio, Catena di Pensiero).

2. Compiti Sperimentali:

   • Generazione di Rime: Ai modelli viene chiesto di completare una coppia di versi. L'obiettivo è prevedere la famiglia di rime della seconda riga basandosi sulla prima.
   • Risposta a Domande (QA): I modelli rispondono a domande in cui il sostantivo target determina l'articolo grammaticale ("un" vs "uno"). L'obiettivo è prevedere la risposta sostantivale.

3. Procedura di Indirizzamento:

   • Stima del Vettore: I vettori di indirizzamento sono calcolati come la differenza media nelle attivazioni nascoste tra due categorie (ad esempio, righe che terminano in "-ato" vs "-ito") in posizioni specifiche (ad esempio, l'ultima parola della prima riga, il token di nuova riga o il punto interrogativo).
   • Intervento: Durante la generazione, il vettore di indirizzamento viene aggiunto al flusso residuo nella posizione e nel livello scelti.
   • Metriche:
     • Pianificazione in avanti: Misurata dalla "Frazione di Famiglia di Rime/Risposta Corretta" nelle generazioni indirizzate.
     • Pianificazione all'indietro: Misurata dalle "Metriche di Rigenerazione". Al modello viene chiesto di rigenerare l'ultima parola di una riga generata senza il contesto originale. Se il modello ha pianificato con successo all'indietro, la parola rigenerata dovrebbe ancora allinearsi con la famiglia di rime/risposta prevista.
     • Metriche di Probabilità: Analisi della divergenza KL e degli spostamenti del token top-1 nei passaggi intermedi per rilevare cambiamenti nelle distribuzioni di probabilità causati dall'indirizzamento.

4. Dataset e Modelli:

   • Dataset: 1.050 righe per 10 famiglie di rime e 500 domande per 20 coppie di sostantivi (distinguendo tra sostantivi che iniziano con vocale e quelli che iniziano con consonante).
   • Modelli: 23 modelli open-weight appartenenti a quattro famiglie (Gemma2, Gemma3, Qwen3, Llama3.1/3.2) con dimensioni comprese tra 1B e 32B parametri, incluse sia versioni base che versioni addestrate alle istruzioni.

Risultati Chiave

• Universalità della Pianificazione Implicita: Sono state trovate prove di pianificazione in avanti e all'indietro di successo in tutti i 23 modelli, inclusi quelli grandi quanto 1B parametri. Ciò suggerisce che la pianificazione è un meccanismo universale, non limitato ai modelli massicci.
• Efficacia dell'Indirizzamento:
  • L'indirizzamento alla fine della prima riga (ultima parola o token di nuova riga) ha alterato con successo la famiglia di rime generata nella seconda riga.
  • L'indirizzamento ha spostato con successo la scelta dell'articolo ("un" vs "uno") nei compiti QA prima che venisse generata la risposta sostantivale, confermando la pianificazione all'indietro.
  • I modelli addestrati alle istruzioni hanno generalmente esibito comportamenti di pianificazione più forti e una maggiore efficacia dell'indirizzamento rispetto alle loro controparti base.
• Validazione della Pianificazione all'Indietro: Le metriche di rigenerazione hanno mostrato che le righe generate sotto indirizzamento avevano maggiori probabilità di essere completate con la rima/risposta target anche quando il contesto originale veniva rimosso. Ciò indica che la rappresentazione di pianificazione ha influenzato i token intermedi, non solo l'output finale.
• Analisi dei Circuiti (Gemma2 9B): Gli autori hanno identificato specifiche teste di attenzione (L30H3 e L31H15) che leggono dalla direzione di indirizzamento e prestano attenzione all'ultima parola della prima riga e al token di nuova riga. L'applicazione di patch a queste teste con attivazioni indirizzate ha recuperato il 59–93% dell'effetto di indirizzamento, suggerendo un circuito dedicato alla pianificazione delle rime.
• Differenze tra Modelli: Sebbene il meccanismo sia universale, l'implementazione specifica varia. Ad esempio, Gemma2 9B e Gemma3 27B utilizzano il token di nuova riga per la pianificazione, mentre i modelli Llama si basano principalmente sul token dell'ultima parola.

Significato e Affermazioni
L'articolo afferma di fornire le prime prove ampie e quantitative che la pianificazione implicita è una caratteristica pervasiva negli LLM, presente anche in modelli con 1B parametri. Introducendo una metodologia che scala facilmente su molti modelli senza costosi addestramenti, gli autori offrono un modo diretto per studiare queste capacità.

Gli autori sottolineano che i loro risultati supportano la visione secondo cui gli LLM si impegnano in una pianificazione euristica simile a quella umana, piuttosto che in una semplice previsione reattiva di token. Sostengono che comprendere questi circuiti di pianificazione è fondamentale per la sicurezza e il controllo dell'IA, poiché la pianificazione implicita permette ai modelli di manipolare i passaggi intermedi per raggiungere obiettivi specifici, potenzialmente nascosti. Lo studio conclude che, sebbene i circuiti specifici differiscano tra modelli e compiti (rime vs QA), la capacità sottostante di rappresentare e agire su obiettivi futuri è una proprietà generale dell'architettura.

Limitazioni e Direzioni Future
Gli autori notano che l'indirizzamento di parole specifiche (ad esempio, forzare una parola specifica come "coniglio" piuttosto che una famiglia di rime) è meno efficace dell'indirizzamento a livello di famiglia, suggerendo che la pianificazione di parole specifiche potrebbe richiedere modelli più grandi. Riconoscono inoltre che la natura esatta dei circuiti di pianificazione in modelli diversi da Gemma2 9B rimane una domanda aperta. La metodologia è proposta come fondamento per ulteriori analisi della pianificazione in altri domini, come l'adesione alle istruzioni e il ragionamento a Catena di Pensiero.