Technische Samenvatting: Adaptieve GoGI-Skip

Probleemstelling

Chain-of-Thought (CoT) prompting verbetert de redeneercapaciteiten van Large Language Models (LLMs) aanzienlijk, maar introduceert prohibitieve inferentielatentie en memorykosten door de generatie van omvangrijke, redundante redeneersporen. Bestaande compressiestrategieën staan voor een fundamentele afweging:

1. Statische Gradient/Importantiemethoden: Benaderingen zoals TokenSkip of die welke vertrouwen op semantische gelijkenis behandelen tokens onafhankelijk. Ze verbreken vaak sequentiële logica door structureel kritieke maar semantisch eenvoudige tokens (bijv. logische connectors) te verwijderen, of ze onderscheiden niet tussen functionele redundantie en noodzakelijke uitweiding.
2. Op onzekerheid gebaseerde Pruning: Methoden die uitsluitend vertrouwen op voorspellende entropie of perplexiteit vangen lokale ambiguïteit, maar negeren het uiteindelijke doel van antwoordcorrectheid. Ze kunnen tokens behouden die verrassend zijn maar functioneel irrelevant voor de uiteindelijke oplossing.
3. Statische Compressiepercentages: Vaste compressieverhoudingen kunnen de heterogene moeilijkheidsgraad van redeneerstappen niet accommoderen, wat leidt tot ofwel excessief verlies aan nauwkeurigheid bij complexe taken, ofwel onvoldoende efficiëntiewinst bij eenvoudigere taken.

De kernuitdaging is het bereiken van een "thinking-optimaal" evenwicht waarbij modellen slechts zo veel redeneren als strikt noodzakelijk is, wat een compressieparadigma vereist dat zowel doelbewust (gealigneerd met antwoordcorrectheid) als dynamisch adaptief is (reagerend op lokale redeneercomplexiteit).

Methodologie: Adaptieve GoGI-Skip

De auteurs stellen Adaptive GoGI-Skip voor, een kader dat Goal-Gradient Importance (GoGI) koppelt aan Adaptive Dynamic Skipping (ADS) om CoT-sporen te snoeien zonder in te leveren op redeneernauwkeurigheid. De methode wordt geïmplementeerd via Supervised Fine-Tuning (SFT) op gecomprimeerde sporen.

1. Goal-Gradient Importance (GoGI)

In tegenstelling tot generieke importantiemetingen, kwantificeert GoGI de functionele bijdrage van een token aan de correctheid van het uiteindelijke antwoord via gradientgevoeligheid.

• Definitie: Voor een token $x_t$ op een doel-laag $l^*$ is de GoGI-score $G_t$ de $L_1$-norm van de gradient van de voorspellingverlies voor het antwoord ($L_{ans}$) met betrekking tot de verborgen toestand $h_t^{l^*}$:
  $$G_t = \left\| \frac{\partial L_{ans}(A|c; \theta)}{\partial h_t^{l^*}} \right\|_1$$
• Laagselectie: Empirische analyse toont aan dat piekgevoeligheid optreedt in midden- tot late lagen (bijv. Laag 23 in Gemma3-4B). De methode selecteert een representatieve laag waarbij de downstream-prestaties ongevoelig zijn voor de exacte keuze, waardoor lokale en globale signalen in evenwicht worden gebracht.
• Inzicht: GoGI identificeert tokens die functioneel kritiek zijn voor het uiteindelijke antwoord, zelfs als ze semantisch eenvoudig zijn, en onderscheidt deze van tokens die louter verrassend zijn (hoge entropie) maar irrelevant.

2. Adaptieve Dynamische Skipping (ADS)

ADS moduleert de snoeistrategie dynamisch op basis van runtime-context, door GoGI te combineren met twee regelmechanismen:

• Entropie-gedreven Rate (EDR) Regeling:
  • Gebruikt voorspellende entropie $H_t$ als signaal voor informatiedichtheid en vertakkingspunten.
  • Map $H_t$ naar een lokaal behoudpercentage $\gamma_t$. Hoge entropie (onzekerheid) triggert conservatieve pruning (hoger behoud), terwijl lage entropie toestaat tot agressieve pruning.
  • Dit past de dynamische GoGI-drempel $\tau_t$ (het percentiel van GoGI-scores dat vereist is voor behoud) aan op basis van lokale onzekerheid.
• Adaptieve N-Constraint (ANC):
  • Om structurele coherentie te behouden, beperkt ANC het aantal opeenvolgende gesnoeide tokens ($N_t$).
  • $N_t$ wordt gemoduleerd door lokale venster-entropie. In gebieden met hoge entropie (overgangen) wordt $N_t$ verlaagd om strengere coherentie af te dwingen, waardoor wordt voorkomen dat het model vitale logische connectors (bijv. "daarom") overslaat, zelfs als hun individuele GoGI-scores laag zijn.
  • Dit fungeert als een "veiligheidsnet" om gefragmenteerde redeneerketens te voorkomen.

3. Snoeialgoritme

Het algoritme iteratieert door de CoT-sequentie. Een token wordt behouden als:

1. Zijn gewogen GoGI-score de dynamische drempel overschrijdt ($G'_t \geq \tau_t$), OF
2. Het verwijderen ervan de constraint voor opeenvolgende skips zou schenden ($C_{t-1} + 1 \geq N_t$).

De resulterende gecomprimeerde sequenties vormen een dataset voor SFT, waarbij het compressiebeleid direct in de modelgewichten wordt gedistilleerd. Dit zorgt voor zero-runtime overhead tijdens inferentie, aangezien het model eenvoudigweg een kortere, dichter sequentie genereert.

Belangrijkste Bijdragen

1. Kaderontwerp: Introductie van Adaptive GoGI-Skip, het eerste kader dat teleologisch doel-uitlijning (GoGI) niet-lineair koppelt aan epistemische onzekerheid (ADS) voor CoT-compressie.
2. Zero-Shot Universaliteit: Demonstratie dat een enkel compressiebeleid, getraind op slechts 7.472 MATH-sporen, effectief overdraagbaar is naar diverse benchmarks (AIME, GPQA, GSM8K) en model families (Gemma, Qwen) zonder taakspecifieke tuning.
3. Efficiëntie-Nauwkeurigheid Grens: Bereiking van significante efficiëntiewinsten (>45% tokenreductie, tot 2,0× snelheidswinst) terwijl de oorspronkelijke nauwkeurigheid op rigoureuze benchmarks wordt behouden of verbeterd, waardoor de starre afweging die bij statische baselines wordt gezien, wordt doorbroken.

Experimentele Resultaten

Geëvalueerd op Gemma3 en Qwen2.5 modellen over AIME 2024/2025, GPQA Diamond en GSM8K:

• Prestaties: Adaptieve GoGI-Skip presteert consistent beter dan statische baselines (TokenSkip, Spiritft) en externe distillers (C3oT).
  • Op GSM8K behaalde het 89,9% nauwkeurigheid (een winst van 0,3% ten opzichte van het origineel) met een 1,9× snelheidswinst en 45% tokenreductie.
  • Op AIME 2024 behield het 14,1% nauwkeurigheid (vs. 14,5% origineel) met een 1,7× snelheidswinst.
  • Op GPQA Diamond behaalde het 29,3% nauwkeurigheid (vs. 29,6% origineel) met een 1,8× snelheidswinst.
• Generalisatie: De methode schaalt positief met modelgrootte (1B tot 12B), wat suggereert dat grotere modellen een duidelijkere scheiding vertonen tussen redeneersignalen en ruis.
• Ablatiestudies: Het verwijderen van dynamische regeling (ADS) of de N-constraint (ANC) resulteerde in significante dalingen in nauwkeurigheid, wat bevestigt dat statische compressie niet om kan gaan met variabele redeneercomplexiteit. Het vervangen van GoGI door op perplexiteit gebaseerde metrieken (LLMLingua) degradeerde ook de prestaties, wat de superioriteit van gradient-gebaseerde doeluitlijning valideert.

Betekenis en Claims

Het artikel beweert dat structurele redundantie in redeneren een leerbare, taak-agnostische eigenschap is die verschilt van semantiek. Door belangrijkheid te verankeren aan de antwoord-verliesgradient in plaats van oppervlakkige perplexiteit of statische heuristieken, isoleert de methode kern deductieve signalen van overbodige inhoud.

De auteurs betogen dat thinking-optimale compressie synergie vereist tussen teleologische doelen en epistemische onzekerheid. De voorgestelde methode biedt een stabiele, directe optimalisatiepad (via SFT) dat de trainingsinstabiliteit en reward hacking vermijdt die geassocieerd zijn met Reinforcement Learning (RL) benaderingen. Bovendien dient het als een complementair post-processor voor RL-geoptimaliseerde redenaars (zoals DeepSeek-R1) die steeds omvangrijkere sporen produceren, waardoor efficiënte implementatie van modellen met hoge capaciteit mogelijk is onder vaste infrastructuurbeperkingen, terwijl tegelijkertijd Green AI-initiatieven worden ondersteund door verminderd energieverbruik.