Technische Samenvatting: Over de "Inductieve Bias" in Sequentiële Modellen

Probleemstelling

Hoewel transformer-gebaseerde taalmodellen opmerkelijk praktisch succes hebben behaald, heeft recente literatuur gewezen op hun fundamentele beperkingen in toestandsbewaking (state tracking), met name met betrekking tot out-of-distribution (OOD) generalisatie zoals lengte-extrapolatie. De vraag is echter in welke mate deze beperkingen zich manifesteren in-distribution—specifiek wat betreft data-efficiëntie en het vermogen om te generaliseren over verschillende sequentielengtes binnen de trainingsdistributie—blijft minder goed begrepen.

Dit werk stelt dat de kern van het probleem ligt in de inductieve bias van de architecturen. Transformers berekenen outputs door te attentioneren op alle voorgaande inputs en outputs binnen een contextvenster, wat theoretisch een globale herberekening van de toestand mogelijk maakt. In contrast hiertoe moeten recurrente neurale netwerken (RNN's) alle relevante informatie uit het verleden coderen in een enkele verborgen toestandsvector (hidden state vector) bij elke tijdstap. De auteurs argumenteren dat deze beperking in RNN's een "stap-voor-stap" mechanisme voor toestand-updates stimuleert (analoog aan de inductiestap in wiskundige bewijzen), wat zij de "inductieve bias" noemen. Deze bias faciliteert het delen van oplossingsmechanismen over variërende sequentielengtes, terwijl transformers mogelijk lengtespecifieke oplossingen in isolatie leren.

Methodologie

De auteurs voeren een grootschalige, systematische empirische studie uit om de data-efficiëntie van transformers versus recurrente modellen te kwantificeren op synthetische taken voor toestandsbewaking.

Taken

De studie formaliseert toestandsbewaking als het behouden van een latente toestand onder een reeks updates binnen een groepentheoretisch kader. Twee canonieke taken worden gebruikt:

1. Modulaire Additie: Een commutatieve operatie over de cyclische groep $\mathbb{Z}_m$.
2. Permutatie Compositie: Een niet-commutatieve operatie over de symmetrische groep $S_5$.

Deze synthetische taken maken het mogelijk om de sequentielengte ($n$) en de toestandsruimte-grootte (modulus $m$) onafhankelijk van elkaar te controleren, waardoor toestandsbewakingscomputatie wordt geïsoleerd van taalbegrip of memorisatie-artefacten.

Supervisie-regimes

Drie taakformaten worden geëvalueerd om de dichtheid van het supervisiesignaal te variëren:

1. Outcome Supervision: Het model voorspelt alleen de uiteindelijke som/toestand.
2. Chain-of-Thought (CoT): Het model genereert een sequentie van tussenliggende partiële sommen autoregressief.
3. Aligned Chain-of-Thought (ACoT): Het model geeft de partiële som weer die overeenkomt met elke input-token (per-token supervisie).

Modellen

De studie vergelijkt:

• Transformers: Multi-layer decoder-only architecturen (GPT-2 stijl, 6 lagen).
• Recurrente Modellen: Long Short-Term Memory (LSTM) en Dense State-Space Models (Dense-SSM's), die gebruikmaken van input-afhankelijke, dense transitiematrices.
• Selectieve SSM's: Mamba is opgenomen voor de analyse van gewichtsdeling.

Metrieken

De primaire metriek is sample-efficiëntie, gedefinieerd als de minimale datasetgrootte ($N^*$) die nodig is voor een model om een validatieverlies onder een convergentiedrempel te bereiken. Daarnaast introduceren de auteurs een Sharing Factor ($\kappa$) om het delen van mechanismen over lengtes te kwantificeren:
$$\kappa = \frac{\sum_{n=2}^{L} N^*_n}{N^*_{joint}}$$
Waarbij $N^*_n$ de samples zijn die nodig zijn voor een vaste lengte $n$, en $N^*_{joint}$ de samples zijn die nodig zijn om alle lengtes simultaan te leren.

• $\kappa > 1$: Wijst op geamortiseerd leren (gedeelde mechanismen).
• $\kappa \approx 1$: Wijst op geïsoleerd, lengtespecifiek leren.
• $\kappa < 1$: Wijst op destructieve interferentie.

Belangrijkste Resultaten

1. Divergerende voorkeuren voor supervisie

• Transformers presteren het meest efficiënt met Chain-of-Thought (CoT) supervisie. Ze hebben aanzienlijke moeite met Aligned CoT en Outcome Supervision, en falen vaak in het convergeren op niet-triviale configuraties.
• Recurrente Modellen (LSTM/Dense-SSM) vertonen superieure sample-efficiëntie met Aligned CoT (ACoT) en Outcome Supervision. Ze hebben moeite met CoT, waarschijnlijk door een "recall bottleneck" waarbij ze tussenliggende berekeningen moeten uitrollen na het verwerken van de volledige input.

2. Data-efficiëntie en sequentielengte

• Transformers: De hoeveelheid benodigde trainingsdata groeit snel met de sequentielengte en de grootte van de toestandsruimte. Cruciaal is dat transformers geen gebruik maken van de extra supervisiesignalen die door langere sequenties in CoT-formaten worden geboden; de sample-complexiteit neemt niet af zoals verwacht bij langere sequenties.
• Recurrente Modellen: In het ACoT-regime vertonen recurrente modellen verbeterde data-efficiëntie naarmate de maximale sequentielengte toeneemt, wat suggereert dat ze de toegenomen dichtheid van supervisiesignalen effectief benutten. In het Outcome Supervision-regime bieden kortere sequenties een sterker leersignaal voor RNN's dan langere sequenties.

3. Gewichtsdeling en Inductieve Bias

• Transformers vertonen een lage sharing factor ($\kappa \approx 1$ of $\kappa < 1$) over alle taakformaten. Dit geeft aan dat ze lengtespecifieke oplossingen in isolatie leren. In het CoT-regime vertonen transformers destructieve interferentie ($\kappa \ll 1$), waarbij trainen op gemengde lengtes minder efficiënt is dan het trainen van aparte modellen voor elke lengte.
• Recurrente Modellen vertonen hoge sharing factoren ($\kappa \gg 1$) in hun geprefereerde regimes (Outcome en ACoT). Dit bevestigt dat zij een herbruikbare transitie-operator internaliseren, waardoor data van de ene sequentielengte de leerkosten voor andere lengtes kan amorteren.
• Correlatie met OOD: Het paper vindt een sterke correlatie tussen een hoge sharing factor en het vermogen om te generaliseren naar ongeziene sequentielengtes (OOD). Modellen met lage sharing factoren falen in extrapolatie.

Betekenis en Claims

De auteurs stellen dat toestandsbewaking een fundamentele uitdaging blijft voor de transformer, zelfs wanneer de trainings- en evaluatiedistributies overeenkomen. De studie demonstreert dat:

1. Transformers extreem grote hoeveelheden trainingsdata vereisen om te generaliseren op eenvoudige taken voor toestandsbewaking, zelfs in-distribution.
2. Het gebrek aan "inductieve bias" in transformers hen verhindert effectieve gewichtsdeling over sequentielengtes, wat leidt tot geïsoleerd leren van lengtespecifieke heuristieken.
3. De data-efficiëntie van transformers schaalt slecht met de sequentielengte, wat kan helpen verklaren waarom er problemen zijn met "context rot" in grote contextvensters.
4. Hoewel transformers deze taken kunnen leren met specifieke supervisie (CoT), doen ze dit door onderscheidende mechanismen voor elke lengte te leren in plaats van een generaliseerbaar algoritme.

Het paper concludeert dat deze bevindingen suggereren dat end-to-end leren in "agentische" scenario's (bijv. robotica, GUI-besturing) die langdurige toestandsbewaking vereisen, aanzienlijk uitdagender kan zijn voor transformers dan voorheen aangenomen, omdat zij niet beschikken over de inherente inductieve bias om effectief toestands-update mechanismen te delen over variërende temporele schalen.

Beperkingen

De auteurs erkennen dat hun studie beperkt is tot een representatieve set van synthetische taken en modellen. Hoewel deze taken toestandsbewaking isoleren, leggen ze niet alle complexiteiten van real-world sequentiële voorspelling vast. Bovendien beperkt de uitgebreide zoekruimte die vereist is voor de experimenten het aantal architecturen en taalfamilies die direct geëvalueerd konden worden. De transfer van deze data-efficiëntiepatronen naar realistische domeinen (code-executie, belichaamde controle) blijft een richting voor toekomstig onderzoek.