Sintesi Tecnica: PLaT (Planning with Latent Thoughts)

1. Definizione del Problema

L'attuale ragionamento Chain-of-Thought (CoT) nei Large Language Models (LLM) affronta due colli di bottiglia primari:

1. Collasso del Percorso di Ragionamento (Reasoning Path Collapse): Il CoT standard opera in spazi di token discreti. Ad ogni fase di generazione, il modello deve selezionare un singolo token dal vocabolario, effettuando di fatto una potatura delle alternative validi percorsi di ragionamento. Ciò impedisce al modello di mantenere una sovrapposizione di più strategie, portando spesso ad errori irrecuperabili una volta scelto un token subottimale.
2. Inefficienza Computazionale: La generazione di lunghe sequenze di token testuali intermedi comporta costi computazionali elevati.

Recenti approcci di "ragionamento latente" tentano di mitigare questi problemi eseguendo il ragionamento all'interno di stati nascosti continui. Tuttavia, i metodi esistenti funzionano tipicamente come mappature end-to-end opache che richiedono un numero predefinito e fisso di passi latenti durante l'inferenza. Essi mancano della capacità di determinare dinamicamente quando il ragionamento è completato e offrono una interpretabilità limitata degli stati intermedi.

2. Metodologia: Framework PLaT

Gli autori propongono PLaT (Planning with Latent Thoughts), un framework che scinde fondamentalmente il processo di ragionamento (pensiero) dalla verbalizzazione (linguaggio). L'ipotesi centrale è che il ragionamento debba avvenire come una traiettoria deterministica in uno spazio latente continuo, con la generazione di testo che funge solo da proiezione a bassa dimensione quando necessario.

Architettura

PLaT consiste di due componenti distinti che interagiscono tramite proiettori lineari:

• Il Planner: Opera autoregressivamente in un manifold continuo ad alta dimensionalità. Evolve una sequenza di stati di pianificazione latenti ($\tilde{S}$) basandosi sulla domanda di input e sugli stati precedenti. A differenza dei metodi precedenti che campionano da distribuzioni per la pianificazione, il Planner genera vettori deterministici. Esso mantiene una densità probabilistica su molteplici possibilità logiche fino a quando non è richiesta una decisione.
• Il Decoder: Agisce come interfaccia con il mondo testuale. Prende lo stato latente aggregato ($S_k$) e lo verbalizza in segmenti di testo ($y_k$). Il Decoder è addestrato per ricostruire i passaggi di ragionamento reali (ground-truth) a partire dagli stati latenti.

Strategia di Addestramento

1. Fine-Tuning Supervisionato (SFT): L'intera pipeline è ottimizzata utilizzando una perdita di ricostruzione (Cross-Entropy) tra il testo reale e la predizione del modello condizionata allo stato latente. Per evitare che il modello memorizzi mappature punto a punto e per apprendere la struttura del manifold, viene iniettato rumore Gaussiano negli stati accumulati durante l'addestramento. Un meccanismo di Media Mobile Esponenziale (EMA) viene utilizzato per stabilizzare la traiettoria di pianificazione, aggregando le informazioni attraverso micro-step.
2. Apprendimento per Rinforzo (RL): Per raffinare la politica di ricerca, gli autori impiegano la Group Relative Policy Optimization (GRPO). Fondamentalmente, i parametri del Planner sono congelati per mantenere l'integrità strutturale del manifold latente. La diversità viene introdotta esclusivamente durante la fase di verbalizzazione, abilitando il campionamento con temperatura nel Decoder. Ciò consente al modello di esplorare diversi percorsi di verbalizzazione dallo stesso stato latente fisso, convergendo su quello che massimizza la probabilità di una soluzione corretta.

Inferenza: Lazy Decoding

PLaT introduce un protocollo di inferenza efficiente chiamato Lazy Decoding. Poiché il Planner opera nello spazio latente, il modello genera la traiettoria degli stati senza generare il testo completo.

• Il sistema esegue una "sonda semantica" decodificando solo il primo token del potenziale testo.
• Se il token non è un token di risposta, il modello lo scarta e procede al successivo stato latente.
• Se il token indica una risposta, il modello interrompe il ragionamento e decodifica completamente la risposta finale.
  Questo approccio salta la costosa generazione token per token di tutti gli step intermedi, riducendo significativamente la latenza pur mantenendo la capacità di ispezionare la catena di ragionamento su richiesta.

3. Risultati Chiave

Gli esperimenti sono stati condotti su benchmark matematici (GSM8k, GSM-HARD, SVAMP, MultiArith) utilizzando un backbone GPT-2 (small).

• Trade-off tra Precisione e Diversità: PLaT esibisce un pattern comportamentale distinto rispetto ai baseline (CoT-SFT, Coconut, CODI).
  • Accuratezza Greedy: PLaT raggiunge generalmente un'accuratezza greedy inferiore rispetto ai baseline. Il paper attribuisce ciò alla perdita di informazione inerente alla mappatura del ragionamento in uno spazio latente compresso e ai limiti di parametri del piccolo backbone.
  • Pass@k (Diversità): PLaT dimostra una scalabilità superiore nella diversità del ragionamento. Sui metriche Pass@128, PLaT supera significativamente i baseline (ad esempio, 74.2% contro 66.7% di Coconut su GSM8k). Le curve di diversità dei baseline tendono a appiattirsi (saturare) a valori di $k$ più elevati, mentre PLaT mantiene una pendenza più ripida, indicando che apprende uno spazio di soluzioni più ampio e robusto piuttosto che un overfitting su una traiettoria ristretta.
• Efficienza: PLaT ottiene un incremento di velocità significativo rispetto all'Explicit CoT (riduzione della latenza di circa il 56%) saltando la generazione dei token intermedi. Sebbene sia leggermente più lento del metodo opaco Coconut, PLaT offre un'interpretabilità che Coconut non possiede.
• Analisi dello Stato Latente: L'analisi dei fattori di ramificazione rivela che PLaT mantiene un fattore di ramificazione più elevato durante l'intero processo di ragionamento rispetto al CoT. Mentre il CoT pota aggressivamente i percorsi precocemente (collassando a una singola traiettoria), PLaT conserva un intervallo più ampio di potenziali percorsi, con il numero di rami validi che alla fine supera il CoT nelle fasi successive.

4. Contributi e Significato

Il paper rivendica i seguenti contributi:

1. Riformulazione del Ragionamento Latente: PLaT sposta il paradigma dal pattern matching implicito alla pianificazione in uno spazio latente continuo, scindendo esplicitamente il ragionamento dalla verbalizzazione.
2. Architettura Decoupled: L'introduzione di un'architettura Planner-Decoder consente il ragionamento intermedio interpretabile e la terminazione dinamica dell'inferenza, affrontando la natura "black box" e i limiti di step fissi dei metodi latenti precedenti.
3. Scoperta del Trade-off Empirico: Il lavoro identifica un trade-off critico tra precisione greedy e potenziale di esplorazione. Gli autori sostengono che la capacità di PLaT di apprendere un manifold di soluzioni ampio ed esplorabile lo renda una base superiore per algoritmi di ricerca al tempo di inferenza (es. Tree-of-Thoughts o rejection sampling), anche se la sua accuratezza greedy standalone è inferiore.

Significato:
Gli autori sostengono che PLaT offra una base trasparente e scalabile per futuri sistemi di ragionamento "System 2". Trattando gli stati latenti come traiettorie di pianificazione esplorabili piuttosto che come meri artefatti di compressione, PLaT sposta l'attenzione dal memorizzare "tracce d'oro" all'apprendere spazi di ricerca generalizzabili. Questo approccio consente la terminazione dinamica e fornisce un meccanismo per ispezionare i pensieri interni senza interrompere il flusso di ragionamento continuo, aprendo la strada a un avanzato scaling dell'inferenza e alla ricerca basata su rinforzo.