Sintesi Tecnica: AGCLR – Adaptive Gated Continuous Latent Reasoning

Identificazione del Problema: Il Collo di Bottiglia dei Concetti (Concept Bottleneck)

I Large Language Models (LLM) hanno dimostrato forti capacità di ragionamento, in particolare quando guidati dal prompting Chain-of-Thought (CoT). Tuttavia, il CoT è limitato a un singolo passaggio in avanti (forward pass) dove ogni token generato diventa l'input per il successivo, costringendo a un impegno precoce su un percorso di ragionamento. Per affrontare questo problema, è stato introdotto il paradigma CoCoNuT (Chain of Continuous Thought), che consente ai modelli di ragionare in uno spazio latente continuo, fornendo l'ultimo stato nascosto come prossimo embedding di input. Ciò consente una ricerca a ricerca esaustiva (breadth-first search) implicita sui percorsi di ragionamento senza l'uso di token discreti.

Nonostante la sua promessa, gli autori identificano un limite critico nel vanilla CoCoNuT denominato collo di bottiglia dei concetti. Nel ragionamento multi-passaggio, gli stati nascosti intermedi vengono progressivamente sovrascritti man mano che vengono generati nuovi token latenti. Senza un meccanismo di preservazione delle informazioni, i fatti critici calcolati nei passaggi di ragionamento precedenti vanno perduti all'aumentare della profondità del ragionamento. L'evidenza empirica mostra che, mentre il vanilla CoCoNuT offre prestazioni comparabili al CoT su compiti superficiali, le sue prestazioni degradano su catene di ragionamento profonde (ad esempio, su GSM8K e ProsQA), non riuscendo a migliorare rispetto ai baseline standard di CoT su compiti di multi-hop QA come HotpotQA.

Metodologia: AGCLR

Per risolvere il collo di bottiglia dei concetti, gli autori propongono AGCLR (Adaptive Gated Continuous Latent Reasoning). Questo metodo aumenta il CoCoNuT con un Gated Concept Stream (Flusso di Concetti Gated), un vettore di memoria residua persistente ($c_t$) mantenuto attraverso tutti i passaggi di ragionamento.

Architettura

In ogni posizione del token latente, il modello calcola uno stato nascosto ($h_t$) che viene elaborato attraverso tre porte sigmoidali apprese per controllare il flusso di informazioni tra lo stato corrente e la memoria persistente:

1. Write Gate ($w_t$): Determina quanto dello stato nascosto filtrato corrente ($h'_t$) debba essere conferito allo stream dei concetti. Questo impedisce a stati a bassa confidenza o irrilevanti di inquinare la memoria.
2. Read Gate ($r_t$): Controlla quanto dello stream di concetti precedente ($c_{t-1}$) venga recuperato e integrato nello stato nascosto corrente, permettendo al modello di accedere ai fatti dei passaggi precedenti.
3. Forget Gate ($f_t$): Determina quanto dello stato nascosto corrente debba essere preservato rispetto a quanto sostituito dalla memoria recuperata, consentendo la potatura selettiva del contesto irrilevante.

Le equazioni di aggiornamento sono definite come:
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

Lo stato nascosto filtrato $h'_t$ sostituisce $h_t$ come input per la successiva posizione del token latente, mentre $c_t$ funge da memoria persistente per i passaggi successivi.

Protocollo di Addestramento

AGCLR utilizza un approccio di apprendimento curricolare multi-stadio ispirato al CoCoNuT:

• Stadio 0: Il modello viene addestrato su dati CoT standard con passaggi di ragionamento espliciti.
• Stadi Successivi: I passaggi di ragionamento espliciti vengono progressivamente sostituiti con token latenti continui. Allo stadio $k$, i primi $k$ passaggi sono sostituiti da $k \times c$ token latenti.
• Stadio Finale: Tutto il ragionamento viene condotto nello spazio latente.
  Il modello è addestrato su GPT-2 (117M parametri) utilizzando questo curriculum su tre dataset: GSM8K (aritmetica), HotpotQA (multi-hop QA) e ProsQA (pianificazione).

Contributi Chiave

1. Identificazione del Collo di Bottiglia dei Concetti: Gli autori dimostrano empiricamente che il vanilla CoCoNuT soffre di perdita di informazioni negli stati intermedi all'aumentare della profondità del ragionamento, portando a una degradazione delle prestazioni su compiti complessi.
2. Architettura AGCLR: La proposta di un meccanismo di memoria residua con porte (gated) che risolve questo collo di bottiglia con un incremento di soli 1,41% dei parametri rispetto al modello base GPT-2.
3. Guadagni di Prestazione: AGCLR supera costantemente il vanilla CoCoNuT in tutti i dataset testati, con un vantaggio di prestazioni che si accumula all'aumentare della profondità del curriculum (complessità del ragionamento).

Risultati

La valutazione su tre benchmark rivela quanto segue:

• GSM8K (Matematica): AGCLR raggiunge il 34,0% di accuratezza, superando il vanilla CoCoNuT (31,4%) [il baseline CoT è 40,6%, ma le varianti CoCoNuT sono generalmente inferiori nel caso di matematica a singolo step; AGCLR migliora significativamente rispetto al baseline latente].
• HotpotQA (Multi-hop QA): AGCLR raggiunge il 14,0% di Exact Match (EM), un miglioramento di +3,6% rispetto al vanilla CoCoNuT (10,4%) e un guadagno significativo rispetto al baseline CoT (11,0%).
• ProsQA (Pianificazione): AGCLR raggiunge il 96,0% di accuratezza, rispetto al 92,0% del vanilla CoCoNuT. Significativamente, le prestazioni del vanilla CoCoNuT degradano allo stadio di curriculum più profondo (Stadio 6), mentre AGCLR mantiene il miglioramento.

Analisi della Ritenzione della Memoria

L'analisi della similarità del coseno tra lo stato nascosto iniziale e i passaggi successivi mostra che il vanilla CoCoNuT soffre di un decadimento monotono della memoria (la similarità scende da 1,0 a 0,126 entro il passaggio 6, rappresentando una perdita di informazioni dell'87%). Al contrario, AGCLR si stabilizza dopo il passaggio 3, mantenendo una similarità di circa 0,22, il che corrisponde a una ritenzione di informazioni del 71% superiore rispetto al baseline.

Gli studi di ablazione confermano che i guadagni derivano dal meccanismo di memoria persistente piuttosto che dal semplice aumento dei parametri:

• Rimuovendo la porta di scrittura (write gate), le prestazioni scendono all'8,8% di EM (al di sotto del vanilla CoCoNuT).
• Congelando la porta di scrittura dopo il passaggio 2, si ottiene solo un calo dello 0,8% (13,2% vs 14,0% EM), suggerendo che la cattura precoce delle informazioni sia sufficiente e che le porte di lettura (read) e dimenticanza (forget) mantengano la qualità delle informazioni memorizzate.
• Rimuovere la porta di dimenticanza (forget gate) causa un calo significativo (8,4% EM), evidenziando la necessità di potare il contesto irrilevante per prevenire l'inquinamento della memoria.

Significato e Rivendicazioni

Il paper sostiene che AGCLR affronta direttamente il collo di bottiglia dei concetti introducendo una memoria residua persistente e controllata da porte, che permette ai modelli di mantenere fatti critici attraverso cicli di ragionamento iterativi. A differenza degli approcci precedenti che operano nello spazio del linguaggio (es. iCoT, pause tokens) o mancano di uno stato persistente, AGCLR consente il ragionamento in uno spazio latente non vincolato preservando al contempo gli stati computazionali necessari per i compiti multi-hop.

Gli autori sottolineano che il miglioramento è guidato dalla capacità dell'architettura di memorizzare, mantenere e recuperare informazioni attraverso i passaggi, piuttosto che dal semplice aumento della capacità del modello. Sebbene i risultati siano coerenti attraverso diversi compiti di ragionamento (matematica, QA, pianificazione), il paper mantiene la modestia riguardo alla propria portata, notando che gli esperimenti sono stati condotti su un singolo seed con un modello base GPT-2 da 124M. La scalabilità su modelli più grandi e distribuzioni di compiti più ampie rimane oggetto di futura validazione.