Latent Chain-of-Thought Improves Structured-Data Transformers

Riepilogo Tecnico: Catene di Pensiero Latenti Migliorano i Trasformatori per Dati Strutturati

Enunciato del Problema
I recenti progressi nei grandi modelli linguistici (LLM) hanno dimostrato che scalare il calcolo al momento del test, in particolare attraverso il ragionamento a Catena di Pensiero (CoT), può migliorare significativamente le capacità di ragionamento, superando talvolta la semplice scalatura dei parametri. Sebbene meccanismi come "Coconut" (alimentare gli stati nascosti indietro come embedding) e la profondità ricorrente (applicare iterativamente blocchi di trasformatori condivisi) siano stati esplorati nel linguaggio naturale, non è ancora chiaro se questi benefici si trasferiscano ai domini dei dati strutturati. I modelli all'avanguardia per la previsione su tabelle (ad esempio, TabPFN, TabICL) e la previsione delle serie temporali (ad esempio, Chronos, TimesFM) operano attualmente tramite un singolo passaggio in avanti sulle osservazioni strutturate. Questo documento indaga se l'introduzione di una catena di pensiero latente—multiple round di calcolo latente prima della previsione—possa migliorare le prestazioni in questi contesti di dati strutturati.

Metodologia
Gli autori propongono uno schema ricorrente per trasformatori su dati strutturati che consente multiple round di calcolo prima di generare una previsione finale. Il meccanismo centrale opera come segue:

1. Passaggio Iniziale: Un trasformatore $f_\theta$ elabora l'input (token di contesto e token di query) per produrre stati nascosti.
2. Compressione: Gli stati nascosti alle posizioni di query ($H_q$) vengono compressi tramite un piccolo Multi-Layer Perceptron (MLP) $\phi_\theta$ in "token di feedback" ($Z$).
3. Ricorrenza: Questi token di feedback vengono aggiunti alla sequenza di input originale. Il trasformatore viene quindi eseguito nuovamente su questa sequenza aumentata.
4. Iterazione: Questo processo si ripete per $R$ ricorrenze. La previsione finale viene decodificata dagli stati nascosti alle posizioni di query originali dopo il $R$-esimo passaggio.

Lo studio valuta questo approccio su due domini:

• Previsione su Tabelle: Utilizzando l'architettura a tre stadi di TabICL (trasformatori per colonna, per riga e per apprendimento in contesto). La ricorrenza viene applicata specificamente allo stadio di apprendimento in contesto, dove i token di feedback vengono aggiunti alla sequenza di embedding delle righe.
• Previsione di Serie Temporali: Utilizzando un trasformatore per previsione basato su patch. Gli stati nascosti delle query future vengono compressi e aggiunti alla sequenza di input prima di rieseguire lo stack del trasformatore.

Design Sperimentale e Baseline
Per isolare i contributi specifici della CoT latente, gli autori addestrano modelli da zero su singoli dataset e li confrontano con tre distinte baseline:

1. Baseline Stessa Profondità: Un trasformatore standard senza ricorrenza ($R=0$) e con lo stesso numero di livelli. Questo controlla il numero di parametri.
2. Baseline Più Profonda: Un trasformatore con il doppio dei livelli ($2L$) addestrato senza ricorrenza. Questo corrisponde alla profondità effettiva del passaggio in avanti e ai FLOPs di un modello CoT con $R=1$, ma raddoppia il numero di parametri, isolando i guadagni derivanti dalla profondità/capacità rispetto alla ricorrenza.
3. Baseline a Ciclo: Modelli che condividono i pesi tra i passaggi (profondità ricorrente) ma non aggiungono token di feedback all'input. Questi includono il looping a blocco singolo con pesi vincolati e il looping in stile Universal-Transformer su stack multi-blocco. Questo isola il contributo dei token CoT espliciti rispetto alla mera ricorrenza con pesi vincolati.

Risultati Chiave
L'approccio è stato valutato su 36 dataset: 9 provenienti dal benchmark LTSF-9 per le serie temporali e 27 da un sottoinsieme OpenML utilizzato nelle valutazioni di TabPFN.

• Miglioramenti delle Prestazioni: La CoT latente ha migliorato le prestazioni rispetto alla baseline stessa profondità su 8/9 dataset di serie temporali (guadagno medio del +10,99% nella perdita quantile) e su 22/27 dataset tabulari (guadagno medio del +5,31% in accuratezza).
• Confronto con Baseline Più Profonde: I modelli CoT hanno superato le baseline più profonde e non ricorrenti in media del 21,01% (serie temporali) e del 4,75% (tabelle). Le baseline più profonde hanno spesso ottenuto prestazioni peggiori rispetto alla baseline originale stessa profondità su compiti di serie temporali, suggerendo un overfitting su dataset più piccoli.
• Confronto con Baseline a Ciclo: I modelli CoT hanno superato i modelli a ciclo con pesi vincolati (che mancano di token di feedback) del 7,74% (serie temporali) e del 3,82% (tabelle).
• Scalatura della Profondità:
  • Serie Temporali: Le prestazioni sono migliorate su tutte le profondità testate ($R \in \{1, 2, 4, 8\}$), senza una tendenza monotona chiara, sebbene i guadagni si siano stabilizzati. Nota bene, un modello addestrato a $R=4$ si è generalizzato a $R=8$ durante la valutazione.
  • Tabelle: Le prestazioni hanno mostrato una tendenza non monotona; una singola ricorrenza ($R=1$) ha leggermente degradato le prestazioni, ma ricorrenze aggiuntive ($R=2, 4$) hanno recuperato e superato la baseline.

Significato e Affermazioni
Il documento afferma che la catena di pensiero è un asse utile per scalare il calcolo al momento del test per i dati strutturati, distinto dal semplice aumento della profondità del modello o del numero di parametri. I risultati dimostrano che:

1. Meccanismo di Miglioramento: I guadagni non sono dovuti esclusivamente all'aumento del calcolo o all'associazione dei pesi. Il meccanismo specifico di comprimere gli stati nascosti alle posizioni di query in token di feedback e riprocessarli è critico. La sottoperformance delle baseline a ciclo suggerisce che il beneficio deriva dalla capacità di "scrivere" il calcolo intermedio in una sequenza a cui i passaggi successivi possono prestare attenzione, piuttosto che dalla semplice raffinamento iterativo di uno stato nascosto.
2. Trasferibilità: Il paradigma della CoT latente, precedentemente di successo nella modellazione linguistica, si trasferisce con successo ai compiti di previsione su tabelle e serie temporali.
3. Limitazioni: Gli autori notano che i loro risultati si basano su modelli addestrati da zero; l'efficacia della CoT latente su grandi modelli fondazionali pre-addestrati rimane una questione empirica aperta. Inoltre, l'implementazione attuale utilizza una profondità di ricorrenza fissa per modello piuttosto che un meccanismo adattivo per input, e l'interazione con lo spostamento della distribuzione non è stata esplorata.