Riassunto Tecnico: CoLT – Chain of Latent Thoughts

1. Problematica

Sebbene il ragionamento Chain-of-Thought (CoT) abbia potenziato significativamente le capacità dei modelli linguistici multimodali (MLLM) in compiti visivi complessi, l'attuale paradigma basato sul testo affronta tre criticità fondamentali:

1. Latenza di Inferenza: Generare lunghe catene di ragionamento in linguaggio naturale è un processo autoregressivo e intensivo in termini di token, il che spesso consuma centinaia o miglia di token, costituendo il principale collo di bottiglia computazionale durante l'inferenza.
2. Vincoli di Espressività: Il ragionamento basato sul testo è intrinsecamente deterministico. Una volta che un passaggio di ragionamento viene impegnato in una specifica forma di linguaggio naturale, esso collassa la ricca distribuzione di potenziali traiettorie di risoluzione in una singola realizzazione superficiale, eliminando percorsi di ragionamento alternativi.
3. Propagazione dell'Errore: Gli errori commessi nei primi passaggi del ragionamento possono propagarsi e amplificarsi nei passaggi successivi, un fenomeno particolarmente dannoso nelle catene di ragionamento lunghe.

I tentativi esistenti di "ragionamento latente" (ragionamento in spazi di rappresentazione continui) hanno incontrato difficoltà legate all'instabilità dell'addestramento e alla generazione di vettori semanticamente privi di significato. Inoltre, i recenti approcci di ragionamento visivo latente che si affidano a immagini ausiliarie per la supervisione introducono elevati costi di annotazione e problemi di scalabilità.

2. Metodologia: Framework CoLT

Gli autori propongono CoLT (Chain of Latent Thoughts), un framework che consente agli MLLM di ragionare attraverso una catena di rappresentazioni di pensiero latente ($h_1, \dots, h_K$) invece di verbali token testuali. Il framework sostituisce il processo standard di generazione di testo con $K$ passi latenti discreti (dove $K \ll L$, il numero di token di testo), aggirando il collo di bottiglia della generazione di testo pur preservando l'esplorazione multi-percorso nello spazio latente.

Per affrontare la sfida di un addestramento stabile e significativo del ragionamento latente, CoLT introduce una strategia di supervisione completa composta da tre meccanismi complementari:

A. Rappresentazione del Pensiero Latente

Invece di generare token di testo, il modello produce vettori di stato nascosto in posizioni di ragionamento designate. Questi vettori vengono reimmessi nel modello linguistico come embedding di input per i passi successivi, mantenendo la natura autoregressiva del modello senza estendere il vocabolario.

B. Supervisione del Decoder Esterno

Un decoder esterno leggero ($D_\phi$), che condivide lo stesso tokenizer e vocabolario del modello principale, fornisce la supervisione a livello di passo in due direzioni:

• Decodifica Forward (In avanti): Il decoder prende il pensiero latente precedente $h_k$ come input ed è addestrato a decodificare il contenuto del ragionamento testuale del passo successivo ($r_{k+1}$). Ciò garantisce che i pensieri latenti codifichino informazioni sufficienti per ricostruire il ragionamento esplicito.
• Decodifica Backward (All'indietro): Il decoder riceve i passaggi di ragionamento testuale precedenti ($r_{k-1}$) e produce stati nascosti ($\tilde{h}_k$) che sono allineati con il pensiero latente $h_k$ del modello. Questo ancora lo spazio latente alla struttura semantica delle catene di ragionamento esplicite.

C. Supervisione Interna a Livello di Passo

Una testa di proiezione leggera ($f_\theta$) incoraggia transizioni coerenti tra passi latenti consecutivi. Essa predice la rappresentazione del passo successivo ($\hat{h}_{k+1}$) a partire da quello corrente ($h_k$), regolarizzando la catena latente attraverso la coerenza passo-passo.

D. Obiettivo di Addestramento

La funzione di perdita totale combina la perdita del task standard (generazione della risposta finale) con i tre segnali di supervisione:
$$\mathcal{L} = \mathcal{L}_{task} + \alpha \mathcal{L}_{fwd} + \beta \mathcal{L}_{bwd} + \gamma \mathcal{L}_{int}$$
L'addestramento procede in due fasi:

1. Supervised Fine-Tuning (SFT): Il backbone e il decoder vengono addestrati sulle annotazioni CoT (dal dataset OneThinker) utilizzando la perdita combinata per apprendere pensieri latenti strutturati.
2. Reinforcement Learning (RL): Viene applicata l'ottimizzazione Group Relative Policy Optimization (GRPO) sui campioni CoT. In questa fase, il decoder ausiliario e la supervisione interna vengono rimossi, permettendo al modello di aggiornare i pensieri latenti liberamente in base ai premi basati sull'esito (outcome-based rewards).

Durante l'inferenza, il decoder esterno e la testa di proiezione vengono scartati, non comportando alcun overhead computazionale aggiuntivo.

3. Contributi Chiave

• Framework Innovativo: Introduzione di CoLT, che insegna agli MLLM a ragionare tramite vettori latenti anziché token di testo, ottenendo un ragionamento efficace con appena 3 passi.
• Meccanismo di Stabilizzazione: Un framework di supervisione basato su principi che utilizza un decoder esterno leggero (modalità forward e backward) e la predizione interna per prevenire il collasso delle rappresentazioni latenti in semantiche prive di significato.
• Efficienza di Annotazione: A differenza dei metodi di ragionamento visivo latente, CoLT opera interamente all'interno dello spazio latente del modello linguistico, non richiedendo annotazioni di immagini ausiliarie o encoder specializzati.
• Efficienza: Il metodo elimina la necessità di una verbosa generazione di testo durante la fase di ragionamento, riducendo significativamente i tempi di inferenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su otto diversi benchmark multimodali (SeedBench, MMBench, ChartQA, TextVQA, ScienceQA, MMStar, AI2D e MMT-Bench) utilizzando un backbone Qwen3-VL-8B.

• Performance: CoLT supera i metodi di ragionamento latente esistenti (es. CODI, SIM-CoT) e gli approcci di ragionamento visivo latente (es. LVR). Nello specifico, supera il baseline latente più forte (SIM-CoT) del +5,1% in accuratezza media e il più forte baseline visivo latente (LVR) del +5,5%.
• Confronto con il Testo CoT: CoLT ottiene un'accuratezza media del +3,4% superiore rispetto al CoT basato su testo, con guadagni significativi su ChartQA (+9,6%) e TextVQA (+6,1%).
• Efficienza: CoLT riduce il tempo di inferenza di 10,1× e il tempo di decodifica del testo di 22,6× rispetto ai metodi di testo CoT, mantenendo un'accuratezza superiore.
• Robustezza: Sotto rumore visivo (sfocatura Gaussiana, occlusione) e rumore testuale (errori di ortografia, cancellazione di parole chiave), CoDT dimostra una robustezza superiore, con un degrado dell'accuratezza significativamente inferiore rispetto ai baseline Direct Answer e Text CoT.
• Studi di Ablazione:
  • Tutti e tre i segnali di supervisione (forward, backward, internal) non sono ridondanti; la combinazione completa produce le prestazioni ottimali.
  • Un decoder leggero da 0,6B è sufficiente per una supervisione efficace; decoder più grandi forniscono guadagni trascurabili.
  • Il numero ottimale di passi latenti è $K=3$; le prestazioni degradano leggermente con un numero eccessivo di passi.

5. Significato e Rivendicazioni

Il paper sostiene che CoLT rappresenti un cambiamento fondamentale nel modo in cui i modelli multimodali eseguono il ragionamento. Passando dalla generazione di testo esplicito ai vettori di pensiero latente, CoLT affronta l'inefficienza intrinseca e i limiti di espressività del CoT basato su testo. Gli autori sottolineano che il loro metodo raggiunge una efficienza superiore (fino a 22,6× di velocità in più) senza sacrificare, e spesso migliorando, la qualità del ragionamento.

La significatività risiede nella capacità di eseguire il "pensiero" in uno spazio continuo che è sia interpretabile (verificato tramite visualizzazione della decodifica forward) sia robusto al rumore di input. Il framework dimostra che il complesso ragionamento visivo può essere interiorizzato in rappresentazioni latenti compatte, eliminando la dipendenza da costose annotazioni ausiliarie e dalla latenza della generazione token per token. Gli autori concludono che questo approccio offre una via scalabile verso agenti ad alta intelligenza capaci di ragionare in modo efficiente.