Sintesi Tecnica: Quando ri-pianificare: Persistenza dei Sotto-obiettivi nel Ragionamento Latente Gerarchico

Definizione del Problema

Il ragionamento a lungo termine richiede che un sistema bilanci stabilità (impegnarsi in un intento a medio termine) con adattività (rivedere tale intento quando necessario). Nel ragionamento esternalizzato (ad esempio, Chain-of-Thought), ogni token impegna implicitamente il sistema verso un percorso specifico. Tuttavia, nelle architetture di ragionamento latente (dove il calcolo avviene all'interno degli stati nascosti piuttosto che nelle tracce dei token), non è imposto un simile impegno esplicito. Un ragionatore latente può teoricamente rivedere il proprio intento a medio termine ad ogni micro-passo o mai.

Il problema centrale affrontato è determinare la scala temporale ottimale per la pianificazione negli spazi latenti: Per quanto tempo un ragionatore latente dovrebbe impegnarsi in un intento prima di rivederlo? Gli esistenti Modelli di Ragionamento Gerarchico (HRM) accoppiano cicli lenti e veloci ma mancano di un segnale esplicito per l'intento a medio termine, affidandosi esclusivamente a dinamiche ricorrenti emergenti. Questo articolo investiga se l'introduzione di un'interfaccia manager-worker in stile "feudale" con un periodo di persistenza del sotto-obiettivo ($P$) controllabile possa risolvere il compromesso tra stabilità e adattività.

Metodologia

Gli autori propongono lo Subgoal-Augmented HRM, un'estensione del Modello di Ragionamento Gerarchico (HRM) che operazionalizza l'intento latente persistente attraverso un'architettura manager-worker.

Architettura e Meccanismo

1. Interfaccia Manager-Worker:

   • Manager (Alto Livello): Un modulo lento che si aggiorna ogni $T$ passi di basso livello. Emette un vettore di sotto-obiettivo direzionale normalizzato $g_k$ ogni $P$ passi di basso livello.
   • Worker (Basso Livello): Un modulo veloce che esegue micro-passi. Gli aggiornamenti del suo stato nascosto sono influenzati da un bias dal sotto-obiettivo attivo $g(t)$ tramite una proiezione appresa $V_L$.
   • Periodo di Persistenza ($P$): Il way-point iperparametrico centrale. Definisce il numero di passi di basso livello in cui un sotto-obiettivo rimane attivo prima di essere rivisto.
     • $P=1$: Il sotto-obiettivo viene sovrascritto a ogni passo (mancanza di coerenza temporale).
     • $P>1$: Il sotto-obiettivo persiste, permettendo al worker di comporre molteplici aggiornamenti attorno a un singolo intento.

2. Emissione del Sotto-obiettivo:

   • Il manager proietta il proprio stato $z^H$ in un vettore direzionale $\tilde{g}_k$, che viene normalizzato a lunghezza unitaria per codificare "dove muoversi" nello spazio latente senza forzare un target assoluto specifico (il quale sarebbe fragile in dinamiche non stazionarie).
   • Un gate di impegno scalare $\alpha_k$ modula opzionalmente la forza dell'influenza in base all'incertezza del manager.

3. Obiettivo di Addestramento:

   • La perdita totale combina l'obiettivo baseline di HRM ($L_{HRM}$) con una perdita di allineamento intrinseco ($L_{align}$):
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • Perdita di Allineamento: Una perdita basata sul coseno che premia lo spostamento netto dello stato nascosto del worker ($\Delta z^L_k$) nell'intervallo di impegno $P$ per allinearsi con il sotto-obiettivo emesso $g_k$.
   • Iperparametro $\lambda$: Il peso della perdita di allineamento, che controlla il compromesso tra il prior di allineamento e il gradiente del compito.

Setup Sperimentale

• Dataset: ARC-AGI e ConceptARC (specificamente arc-aug-1000 e ConceptARC-mini).
• Metriche: Metrica primaria è la Perdita LM a livello di Token (cross-entropy); metriche secondarie includono accuratezza e perdita di allineamento.
• Sweep (Scansioni):
  • Sweep di Persistenza: Variazione di $P$ (da 1 a 8) con $\lambda$ fisso a 1.
  • Sweep del Peso di Allineamento: Variazione di $\lambda$ (da 0.01 a 1.0) con $P$ fisso a 4.
  • Studio di Ablazione: Un esperimento controllato a tre celle a $\lambda=0.10$ (oltre l'ottimo) per isolare la fonte di interferenza.

Risultati Chiave

1. La Persistenza del Sotto-obiettivo è il Nodo Centrale

Lo studio trova che la persistenza è necessaria, non opzionale.

• Sotto-impegno ($P=1$): Quando i sotto-obiettivi vengono rivisti a ogni passo, le prestazioni calano significativamente (LM Loss 1.674) rispetto al baseline senza sotto-obiettivo (1.640). Il meccanismo di iniezione da solo, senza coerenza temporale, danneggia le prestazioni.
• Punto di Equilibrio ($P \in [3, 6]$): Le prestazioni migliorano bruscamente a $P=3$ (LM Loss 1.544, un calo di 0.13 rispetto al baseline) e rimangono robuste fino a $P=6$.
• Sovra-impegno ($P=8$): Le prestazioni decadono solo gradualmente all'aumentare di $P$ oltre l'ottimo. Ciò indica che la obsolescenza (staleness) è un modo di fallimento più blando rispetto all'instabilità; un sotto-obiettivo leggermente obsoleto fornisce comunque coerenza direzionale, mentre un sotto-obiettivo istantaneamente rivisto non ne fornisce alcuna.
• Replicazione: La configurazione $P=3$ è stata replicata su 5 seed, ottenendo una media di LM loss di 1.595 (std 0.045), confermando che il risultato non è un artefatto di un singolo seed.

2. Ottimo Stretto per il Peso di Allineamento ($\lambda$)

• Il peso di allineamento mostra un ottimo stretto a $\lambda \approx 0.05$.
• A $\lambda = 0.10$, le prestazioni si avvicinano al baseline, e a $\lambda \ge 0.20$, degradano al di sotto del baseline.
• Ciò suggerisce che la perdita di allineamento funziona meglio come un leggero prior di pianificazione che modella delicatamente la dinamica del worker, piuttosto che come un vincolo geometrico dominante che compete con il gradiente del compito.

3. Fonte di Interferenza (Studio di Ablazione)

A $\lambda=0.10$ (oltre l'ottimo), il meccanismo completo performa peggio del baseline. Un'ablazione controllata ha isolato la causa:

• $A_{full}$ (Direzioni Apprese): Performano peggio del baseline (+0.100 LM loss).
• $E_{random}$ (Direzioni Casuali): Performano quasi identicamente al baseline (+0.003 LM loss).
• Conclusione: L'interferenza è specificamente guidata dalla struttura direzionale appresa, non dalla capacità architettonica o dal termine di perdita ausiliario in sé. Quando il peso di allineamento è troppo alto, le direzioni apprese catturano la capacità rappresentativa che il worker userebbe altrimenti per il compito, trascinando il worker verso direzioni che servono l'allineamento ma non l'obiettivo LM.

Significato e Rivendicazioni

L'articolo sostiene di aver identificato un principio di design fondamentale per il ragionamento composizionale nei sistemi di ragionamento latente: l'intento a medio termine deve essere coerente attraverso abbastanza passi computazionali affinché si formi una struttura compositiva.

• Principio di Design: Un meccanismo di sotto-obiettivo senza persistenza ($P=1$) possiede la forma architettonica della composizionalità (manager, worker, vettore di intento) ma ne manca la funzione. Non può produrre la struttura temporalmente estesa necessaria per distinguere "pianificare una sequenza di passi" dal "prendere un singolo passo con un segnale extra".
• Compromesso Stabilità-Adattività: I risultati quantificano il compromesso, mostrando che i pianificatori latenti richiedono un orizzonte di coerenza minimo ($P \ge 3$) per organizzare il calcolo, ma che l'obsolescenza (long $P$) è più tollerabile dell'instabilità.
• Ruolo dell'Allineamento: Il segnale di allineamento agisce come un soft prior. È più efficace quando guida il worker senza sovrastare i gradienti specifici del compito, come dimostrato dall'ottimo stretto a $\lambda \approx 0.05$.

Gli autori inquadrano questo lavoro come un contributo all'apprendimento composizionale, dimostrando che i segnali di intento a medio termine espliciti, se persistiti correttamente, consentono l'assemblaggio di aggiornamenti dello stato nascosto condizionati dai sotto-obiettivi in calcoli a lungo termine. Il lavoro è empiricamente modesto, notando che i guadagni sono relativi al baseline e limitati ai compiti di tipo ARC, ma il tradeoff identificato è presentato come un vincolo generalizzabile per il ragionamento gerarchico latente.