Technische Samenvatting: Haal Je Adem: Adaptieve Berekening voor Zelfgestuurde Sequentieproductie

Probleemstelling

Hoewel schalen tijdens de inferentie voor fundamentele modellen grotendeels is gericht op het vergroten van de modeldiepte (bijvoorbeeld door laagherhaling) of het toepassen van redeneerstrategieën zoals Chain-of-Thought, biedt een veelbelovend alternatief schalen op basis van breedte. Deze benadering voegt speciale <PAUSE>-tokens toe aan de invoerstream, waardoor het model extra doorlopen krijgt om de context te verwerken voordat het een antwoord genereert.

Bestaande methoden voor het gebruik van pauzetokens, met name het "Think Before You Speak" (TBYS)-kader, lijden echter onder een kritieke beperking: het aantal berekeningsstappen wordt extern bepaald door de dataloader. In TBYS wordt een vast aantal <PAUSE>-tokens ingevoegd, en wordt de output van het model genegeerd totdat de laatste pauzestap is bereikt. Dit dwingt het model om bij elke tussenstap gretig te handelen, zonder toekomstige pauzes te kunnen anticiperen of de eigen verwerking te reguleren. Bijgevolg kan het model geen signaal geven dat het klaar is om te reageren, noch kan het rekbronnen adaptief toewijzen op basis van de complexiteit van de huidige token; het behandelt extra stappen als een statische barrière in plaats van een dynamische hulpbron.

Methodologie: Haal Je Adem (CYB)

De auteurs stellen Haal Je Adem (CYB) voor, een supervised verliesfunctie die wordt geformuleerd als een sequentieel-besluitprobleem en modellen in staat stelt om autonoom het aantal benodigde berekeningsstappen voor elke invoertoken te bepalen.

Kernmechanisme

In plaats van een vaste pauzesequentie, stelt CYB het model in staat om bij elke stap $i$ te beslissen of het:

1. Reageert: De volgende token in de sequentie genereert.
2. Zich onthoudt: Een speciale <IK WEET HET NIET>-token uitzendt, waarmee het een extra <PAUSE>-stap aanvraagt om de verwerking voort te zetten.

Dit creëert een systeem met variabele latentie waarbij het model zich meerdere keren achter elkaar kan onthouden, waardoor het de berekeningsdiepte per token effectief kan schalen op basis van interne onzekerheid.

De Verliesfunctie

Het CYB-verlies is afgeleid van de verwachte afgepaste nauwkeurigheid van het besluitproces van het model. Laat $d_i$ de waarschijnlijkheid zijn dat het model zich bij stap $i$ onthoudt, en $t_i$ de waarschijnlijkheid dat bij stap $i$ het juiste doeltoken wordt geselecteerd. Het model genereert een output bij stap $S$ (ofwel zelfgeïnduceerd via onthouding ofwel wereldgeïnduceerd via een geforceerde stop).

Het verlies wordt gedefinieerd als het negatieve log-likelihood van de verwachte afgepaste nauwkeurigheid:
$$\ell_{CYB}(t, d; \omega, \gamma) = -\log \mathbb{E}_{S \sim \text{Pr}(S|d, \omega)} [\gamma_S t_S]$$
Waarbij:

• $\omega$ de verdeling van wereldgeïnduceerde stoptijden vertegenwoordigt (waardoor geforceerde beëindiging mogelijk is).
• $\gamma$ stapsgewijze afkortingsfactoren vertegenwoordigt, waardoor het model wordt gestraft voor het uitstellen van antwoorden tenzij de nauwkeurigheid verbetert.
• De verwachting wordt berekend door te sommeren over alle mogelijke stoptreden, gewogen naar de waarschijnlijkheid om bij die stap te stoppen.

Trainingsimplementatie

Om efficiëntie te waarborgen, stellen de auteurs een parallelle trainingsprocedure voor. Tijdens training worden $W_{max} - 1$ pauzetokens ingevoegd na elke echte invoertoken. De transformer verwerkt deze stappen parallel met causale masking. Het verlies wordt zo berekend dat, als het model ervoor kiest om vroeg te reageren (lage $d_i$) of als de wereld een stop forceert, de daaropvolgende pauzestappen niet bijdragen aan het verlies voor die specifieke token. Deze aanpak behoudt dezelfde reken- en geheugenvoetafdruk als standaard cross-entropy-training met vaste pauzes.

Belangrijkste Bijdragen

1. Principiële Verliesfunctie: Introductie van CYB, een verliesfunctie die transformers traint om zelf het aantal berekeningsstappen te bepalen, in tegenstelling tot de statische, extern opgelegde vertragingen van TBYS.
2. Efficiënte Parallelle Training: Een trainingsprocedure die de reken- en geheugenefficiëntie van standaard cross-entropy evenaart, terwijl het adaptieve berekening mogelijk maakt.
3. Validatie van Hypothesen: Het artikel valideert vier hypothesen:
   • H1: CYB presteert beter dan TBYS omdat het zelf het moment van uitlezen bepaalt.
   • H2: CYB levert een goed gekalibreerd model op waarbij de kans op <IK WEET HET NIET> correleert met het potentieel voor nauwkeurigheidsverbetering door uitstel.
   • H3: Het verwijderen van modelcontrole over stoptijden (via geforceerd vroegtijdig stoppen) verslechtert de prestaties, wat de waarde van autonomie bevestigt.
   • H4: De afweging tussen snelheid en nauwkeurigheid kan worden gemanipuleerd via afkortingsfactoren ($\gamma_0$), waardoor het model sneller kan reageren ten koste van enige nauwkeurigheid.
4. Empirische Superioriteit: Aantonen dat CYB de perplexiteit verlaagt en de downstream-nauwkeurigheid verbetert in zowel pretraining- als fine-tuning-scenario's, zonder extra rekenkosten ten opzichte van TBYS.

Resultaten

Experimenten werden uitgevoerd met Gemma1-2B en Gemma3-4B-modellen op het C4-dataset en diverse downstream-benchmarks (HellaSwag, MMLU, GSM8K).

• Perplexiteitsreductie: CYB presteerde consequent beter dan TBYS. Opmerkelijk is dat een CYB-model met slechts één pauzetoken een lagere perplexiteit bereikte dan een TBYS-model met drie pauzetokens. Bij pretraining toonde CYB met 3 pauzes een relatieve perplexiteitsverbetering van 3,6% ten opzichte van TBYS, vergeleken met 2,7% bij fine-tuning.
• Data-efficiëntie: CYB vereiste slechts 33% van de data om de baseline-prestaties te evenaren en minder dan 66% van de data om het TBYS-model met 3 pauzes te verslaan, wat wijst op echte verbeteringen in leerefficiëntie in plaats van artefacten van datasaturatie.
• Downstream-nauwkeurigheid: Met CYB getrainde modellen behaalden een hogere top-1-nauwkeurigheid op HellaSwag, MMLU en GSM8K in vergelijking met zowel de baseline als TBYS.
• Kalibratie en Gedrag: Analyse toonde een statistisch significante positieve correlatie aan tussen de kans op <IK WEET HET NIET> en het potentieel voor nauwkeurigheidswinst door een extra stap. Kwalitatieve analyse onthulde dat pauzeduur contextgevoelig is; bijvoorbeeld, het model pauzeert langer bij complexe tokens (bijvoorbeeld "traditioneel"), maar niet bij voorspelbare sequenties (bijvoorbeeld cijfers).

Betekenis en Beweringen

Het artikel beweert dat autonomie in toewijzing van rekenkracht het belangrijkste onderscheidende kenmerk is tussen CYB en bestaande methoden voor schalen op basis van breedte. Door het model de mogelijkheid te geven te beslissen wanneer het klaar is om te reageren, transformeert CYB pauzetokens van een statische barrière in een dynamische hulpbron voor het integreren van informatie.

De auteurs benadrukken dat CYB niet primair wordt gemotiveerd door besparingen in ruwe rekenkracht tijdens de inferentie, maar eerder door het bieden van flexibele, contextafhankelijke controle aan de architectuur over haar berekening. Dit weerspiegelt menselijk leesgedrag, waarbij de fixatieduur varieert afhankelijk van de verwerkingsvereisten. Het artikel positioneert CYB als een structureel superieur alternatief voor dieptegerichte adaptieve methoden (zoals geloopte transformers) vanwege zijn parallelle uitvoerbaarheid, eenvoud en formele expressiviteit, en biedt een nieuw paradigma voor schalen tijdens de inferentie dat de modelprestaties verbetert zonder de rekenlast te verhogen.