Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) attuali, basati sull'architettura Transformer standard, affrontano limiti fondamentali nel ragionamento complesso:

• Profondità Fissa: La profondità computazionale è vincolata al numero fisso di layer del Transformer. Un modello a 32 layer esegue esattamente 32 passaggi di elaborazione, indipendentemente dalla difficoltà del problema (che richieda un semplice matching di pattern o una valutazione ricorsiva profonda).
• Limiti del "Chain-of-Thought" Orizzontale (HCoT): L'attuale paradigma di ragionamento (CoT) genera token di pensiero in sequenza. Questo approccio consuma rapidamente la finestra di contesto finita, è soggetto a errori cumulativi (ogni token predetto porta rischi di allucinazione) e non aumenta la profondità computazionale per token, ma solo la lunghezza della sequenza.
• Generalizzazione Fuori Distribuzione (OOD): I modelli faticano a generalizzare a compiti che richiedono un ragionamento a più passi (es. attraversamento di grafi multi-hop, logica nidificata) quando la complessità del test supera quella osservata durante l'addestramento.

2. Metodologia: Vertical Chain-of-Thought (VCoT)

L'autore propone un paradigma ortogonale chiamato Vertical Chain-of-Thought, in cui il modello "pensa più in profondità" applicando ricorsivamente un blocco Transformer con pesi condivisi nello spazio latente, invece di generare più token orizzontalmente.

L'architettura si compone di:

1. Interfaccia di Percezione Specifica del Task: Codifica l'input grezzo in uno stato iniziale nascosto $H^{(0)}$.
2. Nucleo di Ragionamento Invariante: Un singolo blocco Transformer $f_\theta$ con pesi condivisi, applicato ricorsivamente per $T$ passi.
3. Testata di Lettura (Readout): Estrae la previsione finale dallo stato $H^{(T)}$.

Per rendere stabile la ricorsione profonda (20+ passi) e prevenire il collasso delle rappresentazioni o l'esplosione/vanishing dei gradienti, vengono introdotti tre meccanismi chiave:

• Obiettivo "Silent Thinking" (Pensiero Silenzioso):
  • La supervisione (perdita) viene calcolata solo sull'ultimo passo di ricorsione ($T$), senza perdite ausiliarie sui passi intermedi.
  • Questo costringe il modello a sviluppare percorsi di ragionamento genuini a più passi, impedendo l'apprendimento di scorciatoie euristiche che soddisferebbero la supervisione passo-passo ma fallirebbero su compiti complessi.
• Inizializzazione LayerScale:
  • Dopo ogni sotto-layer (attention e feed-forward), le uscite sono scalate da un vettore $\Gamma$ inizializzato a $10^{-4}$.
  • Questo forza la dinamica iniziale ad agire quasi come una mappatura identità, proteggendo gli stati logici fragili dal rumore dei pesi casuali durante le prime fasi dell'addestramento.
• Ricorrenza a Gate con Bias Identità:
  • Viene utilizzata una porta di tipo GRU per combinare il nuovo candidato $\tilde{H}^{(t)}$ con lo stato precedente $H^{(t-1)}$.
  • Il bias della porta $b_z$ è inizializzato a -2.0. Poiché $\sigma(-2.0) \approx 0.12$, il modello tende a conservare l'88% dello stato precedente.
  • Questo crea un "autostrada del gradiente" temporale, garantendo che il segnale non si degradi rapidamente durante l'espansione temporale profonda.

3. Contributi Chiave

• Architettura Depth-Recurrent: Proposta di un Transformer che disaccoppia la profondità computazionale dal numero di parametri e dalla lunghezza del contesto, permettendo di scalare il calcolo in fase di inferenza aumentando i passi di ricorsione.
• Generalizzazione OOD Robusta: Dimostrazione di capacità di generalizzazione su tre domini con bias induttivi decrescenti, superando i limiti di profondità del training set.
• Identificazione della "Frontiera Computazionale": Rilevamento di un confine netto nelle mappe di calore (passi di pensiero vs. complessità del task) dove le prestazioni passano dal caso fortuito alla perfezione quasi assoluta.
• Dimostrazione del Danno della Supervisione Intermedia: Evidenza empirica che la supervisione passo-passo può essere dannosa, portando i modelli a imparare scorciatoie statistiche che collassano sotto shift di distribuzione.

4. Risultati Sperimentali

Il modello è stato valutato su tre compiti con complessità strutturale decrescente:

1. Raggiungibilità di Grafi (Graph Reachability):
   • Setup: Determinare se esiste un percorso tra due nodi in un grafo diretto, con mascheramento topologico rigoroso.
   • Risultati: Si osserva una frontiera computazionale netta. Il modello risolve perfettamente query a $N$ hop con esattamente $N$ passi di pensiero. La generalizzazione è perfetta fino a 8 hop (1.6x rispetto al training), ma crolla bruscamente a 10 hop, dimostrando un vincolo fisico rigido imposto dalla maschera.
2. Valutazione di Espressioni Booleane Nidificate:
   • Setup: Valutare espressioni booleane annidate (es. !((T&F)|...)).
   • Risultati: La frontiera è più graduale. Il modello mostra una generalizzazione robusta, mantenendo >90% di accuratezza fino a profondità 14 (1.75x OOD). Le prestazioni non collassano con passi eccessivi (fino a 24), confermando la stabilità del bias di porta negativo.
3. Composizione Relazionale in Testo Non Strutturato:
   • Setup: Risolvere relazioni familiari (es. "Alice è sorella di Eve") da frasi in linguaggio naturale mescolate casualmente, senza maschere strutturali o indizi di posizione.
   • Risultati: Il nucleo invariante scopre autonomamente percorsi di "pointer chasing" latenti. Nonostante l'assenza di indizi strutturali, il modello generalizza a profondità 6-7 e migliora con passi di pensiero OOD (16-20), dimostrando capacità di ragionamento autonomo su testo non strutturato.

Ablazione Critica: Il confronto tra "Silent Thinking" e supervisione intermedia ha mostrato che quest'ultima porta il modello a ottenere un'accuratezza ingannevolmente alta (73%) su percorsi lunghi con un solo passo (impossibile fisicamente), indicando l'apprendimento di scorciatoie statistiche che distruggono la capacità di generalizzazione reale.

5. Significato e Implicazioni

Questo lavoro offre una prospettiva meccanicistica sul ragionamento verticale, complementare al paradigma orizzontale di generazione di token.

• Efficienza: Permette di aumentare la capacità di ragionamento senza consumare la finestra di contesto, un limite critico per i LLM attuali.
• Stabilità: Risolve il problema della stabilità nella ricorsione profonda attraverso un design architetturale specifico (LayerScale e bias di porta), rendendo fattibile l'uso di 20+ passi ricorsivi.
• Futuro: Suggerisce che l'integrazione di questi nuclei di ragionamento ricorrente in LLM pre-addestrati potrebbe essere la chiave per superare i limiti attuali nella risoluzione di problemi algoritmici e di pianificazione complessa, spostando il focus dalla "lunghezza" della generazione alla "profondità" del pensiero latente.