Latent Chain-of-Thought Improves Structured-Data Transformers

Technische Samenvatting: Latente Chain-of-Thought Verbetert Transformers voor Gestructureerde Data

Probleemstelling
Recente vooruitgang in grote taalmodellen (LLMs) heeft aangetoond dat het schalen van compute tijdens het testen, met name via Chain-of-Thought (CoT)-redenering, de redeneercapaciteiten aanzienlijk kan verbeteren, soms zelfs beter dan eenvoudige schaling van parameters. Hoewel mechanismen zoals "Coconut" (het terugvoeren van verborgen toestanden als embeddings) en recurrente diepte (iteratief toepassen van gedeelde transformer-blokken) in natuurlijke taal zijn onderzocht, is het onduidelijk of deze voordelen overdragen naar domeinen met gestructureerde data. State-of-the-art modellen voor tabelvoorspelling (bijv. TabPFN, TabICL) en tijdreeksvoorspelling (bijv. Chronos, TimesFM) werken momenteel via een enkele forward-pass over gestructureerde observaties. Dit artikel onderzoekt of het introduceren van latente chain-of-thought—meerdere rondes van latente berekening voorafgaand aan de voorspelling—de prestaties in deze situaties met gestructureerde data kan verbeteren.

Methodologie
De auteurs stellen een recurrente schematiek voor voor transformers voor gestructureerde data die meerdere rondes van berekening toestaat voordat een definitieve voorspelling wordt gegenereerd. De kernmechaniek werkt als volgt:

1. Initiële Pass: Een transformer $f_\theta$ verwerkt de invoer (context- en query-tokens) om verborgen toestanden te produceren.
2. Compressie: De verborgen toestanden op de query-posities ($H_q$) worden gecomprimeerd via een kleine Multi-Layer Perceptron (MLP) $\phi_\theta$ tot "feedback-tokens" ($Z$).
3. Recurrentie: Deze feedback-tokens worden toegevoegd aan de oorspronkelijke invoersequentie. De transformer wordt vervolgens opnieuw uitgevoerd op deze uitgebreide sequentie.
4. Iteratie: Dit proces wordt herhaald voor $R$ recurrenties. De definitieve voorspelling wordt gedecodeerd uit de verborgen toestanden op de oorspronkelijke query-posities na de $R$-de pass.

De studie evalueert deze aanpak over twee domeinen:

• Tabelvoorspelling: Met gebruikmaking van de drie-staps architectuur van TabICL (kolomsgewijze, rijgewijze en in-context learning transformers). Recurrentie wordt specifiek toegepast op het in-context learning-stadium, waarbij feedback-tokens worden toegevoegd aan de rij-embedding-sequentie.
• Tijdreeksvoorspelling: Met gebruikmaking van een op patches gebaseerde voorspellende transformer. Toekomstige query-verborgen toestanden worden gecomprimeerd en toegevoegd aan de invoersequentie voordat de transformer-stack opnieuw wordt uitgevoerd.

Experimenteel Ontwerp en Baselines
Om de specifieke bijdragen van latente CoT te isoleren, trainen de auteurs modellen vanaf nul op afzonderlijke datasets en vergelijken ze met drie verschillende baselines:

1. Zelfde-Diepte Baseline: Een standaard transformer zonder recurrentie ($R=0$) en met hetzelfde aantal lagen. Dit controleert voor het aantal parameters.
2. Diepere Baseline: Een transformer met het dubbele aantal lagen ($2L$) getraind zonder recurrentie. Dit komt overeen met de effectieve forward-pass-diepte en FLOPs van een CoT-model met $R=1$, maar verdubbelt het aantal parameters, waardoor winst door diepte/capaciteit wordt geïsoleerd van winst door recurrentie.
3. Geloopsde Baselines: Modellen die gewichten delen over passes (recurrente diepte) maar geen feedback-tokens toevoegen aan de invoer. Deze omvatten gewicht-gekoppelde single-block looping en Universal-Transformer-stijl looping over multi-block stacks. Dit isoleert de bijdrage van de expliciete CoT-tokens versus louter gewicht-gekoppelde recurrentie.

Belangrijkste Resultaten
De aanpak werd geëvalueerd op 36 datasets: 9 uit de LTSF-9 tijdreeks-benchmark en 27 uit een OpenML-subset die wordt gebruikt in TabPFN-evaluaties.

• Prestatiewinst: Latente CoT verbeterde ten opzichte van de zelfde-diepte baseline op 8/9 tijdreeksdatasets (gemiddelde winst van +10,99% in quantile loss) en 22/27 tabeldatasets (gemiddelde winst van +5,31% in nauwkeurigheid).
• Vergelijking met Diepere Baselines: CoT-modellen presteerden beter dan de diepere, niet-recurrente baselines met gemiddeld 21,01% (tijdreeks) en 4,75% (tabel). De diepere baselines presteerden vaak slechter dan de oorspronkelijke zelfde-diepte baseline op tijdreeks-taken, wat wijst op overfitting op kleinere datasets.
• Vergelijking met Geloopsde Baselines: CoT-modellen presteerden beter dan gewicht-gekoppelde geloopsde modellen (die geen feedback-tokens hebben) met 7,74% (tijdreeks) en 3,82% (tabel).
• Diepteschaling:
  • Tijdreeks: De prestaties verbeterden over alle geteste dieptes ($R \in \{1, 2, 4, 8\}$), zonder een duidelijke monotoon trend, hoewel de winsten plateauerden. Opmerkelijk is dat een model getraind bij $R=4$ zich generaliseerde naar $R=8$ tijdens evaluatie.
  • Tabel: De prestaties toonden een niet-monotoon patroon; een enkele recurrentie ($R=1$) verslechterde de prestaties licht, maar extra recurrenties ($R=2, 4$) herstelden en overtroffen de baseline.

Betekenis en Claims
Het artikel claimt dat chain-of-thought een nuttige as is voor het schalen van compute tijdens het testen voor gestructureerde data, onderscheiden van het simpelweg verhogen van de modeldiepte of het aantal parameters. De resultaten tonen aan dat:

1. Mechanisme van Verbetering: De winst is niet uitsluitend toe te schrijven aan verhoogde compute of gewichtskoppeling. Het specifieke mechanisme van het comprimeren van verborgen toestanden op query-posities tot feedback-tokens en het opnieuw verwerken daarvan is kritiek. De onderprestatie van geloopsde baselines suggereert dat het voordeel voortkomt uit het vermogen om tussentijdse berekening te "schrijven" in een sequentie waarnaar volgende passes kunnen attenderen, in plaats van slechts iteratieve verfijning van een verborgen staat.
2. Overdraagbaarheid: Het paradigma van latente CoT, eerder succesvol in taalmodellering, transferreert succesvol naar taken voor tabel- en tijdreeksvoorspelling.
3. Beperkingen: De auteurs merken op dat hun bevindingen gebaseerd zijn op modellen getraind vanaf nul; de effectiviteit van latente CoT op grote schaal vooraf getrainde foundation-modellen blijft een open empirische vraag. Bovendien gebruikt de huidige implementatie een vaste recurrentiediepte per model in plaats van een adaptief mechanisme per invoer, en is de interactie met distributieverandering onontdekt.