💬 NLP

Dynamic Thinking-Token Selection for Efficient Reasoning in Large Reasoning Models

Dit artikel stelt Dynamic Thinking-Token Selection (DynTS) voor, een methode die de efficiëntie van Large Reasoning Models verbetert door alleen de Key-Value cache-toestanden van beslissingskritieke tokens in redeneersporen te identificeren en te behouden, terwijl redundante vermeldingen worden verwijderd.

Oorspronkelijke auteurs: Zhenyuan Guo, Tong Chen, Wenlong Meng, Chen Gong, Xin Yu, Chengkun Wei, Wenzhi Chen

Gepubliceerd 2026-06-05

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhenyuan Guo, Tong Chen, Wenlong Meng, Chen Gong, Xin Yu, Chengkun Wei, Wenzhi Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Overdenker" met een Volgepakte Rugzak

Stel je een briljante student voor (het Large Reasoning Model) die ongelooflijk goed is in het oplossen van moeilijke wiskunde- en wetenschapsproblemen. In tegenstelling tot een normale student die gewoon het antwoord raadt, heeft deze student een bijzondere gewoonte: voordat hij het definitieve antwoord opschrijft, schrijft hij een enorme, stapsgewijze "denkproces" op een whiteboard. Hij schrijft elke gedachte op, elke doodlopende weg, elk "wacht even, laat ik dat even controleren," en elke berekening.

Dit "denkspoor" helpt hem om het juiste antwoord te vinden. Er is echter een addertje onder het gras: geheugen.

Om dit denkproces gaande te houden, moet de student elk woord dat hij ooit op het whiteboard heeft geschreven, in zijn kortetermijngeheugen bewaren (de KV Cache). Naarmate het probleem moeilijker wordt, wordt het whiteboard langer en langer. Uiteindelijk wordt de rugzak van de student (het geheugen van de computer) zo zwaar met al deze aantekeningen dat hij niet meer snel kan bewegen. Hij wordt traag, en de computer die hem draait, raakt de ruimte kwijt.

De Ontdekking: De "80/20-regel" van het Denken

De onderzoekers stelden een eenvoudige vraag: Heeft de student werkelijk elk woord dat hij heeft opgeschreven nodig om het uiteindelijke antwoord te vinden?

Ze analyseerden de aantekeningen van de student en ontdekten een verrassend patief, dat ze de Pareto-regel noemen (of de 80/20-regel):

Het Inzicht: Van een lange keten van 100 gedachten zijn er slechts ongeveer 20 tot 30 de "gouden" gedachten die daadwerkelijk leiden tot de oplossing.
De Rest: De andere 70+ gedachten zijn slechts "opvulling". Het zijn zaken als de student die zegt: "Oké, laten we beginnen," of "Hm, misschien," of het herhalen van een getal. Deze gedachten zijn nodig voor de flow van het gesprek, maar ze veranderen het uiteindelijke antwoord niet echt. Als je ze zou wissen, zou de student het probleem nog steeds even goed kunnen oplossen.

De Oplossing: DYNTS (De Slimme Bibliothecaris)

De onderzoekers hebben een nieuw systeem gebouwd genaamd DYNTS (Dynamic Thinking-Token Selection). Zie DYNTS als een super-slimme bibliothecaris die naast de student staat terwijl hij nadenkt.

Zo werkt de bibliothecaris:

De "Belangrijkheid-Voorspeller" (De Radar van de Bibliothecaris):
De bibliothecaris heeft een speciale radar die direct kan zien welke gedachten "Goud" zijn (cruciaal voor het antwoord) en welke "Opvulling" zijn (overbodig). Deze radar is een klein, lichtgewicht instrument dat aan het brein van de student is bevestigd en heeft geleerd om belangrijke ideeën te herkennen.
De "Dual-Window" Strategie (De Rugzak):
De student heeft een rugzak met drie specifieği vakken:
- Vak A (De Vraag): De oorspronkelijke vraag wordt nooit verwijderd. Deze blijft voor altijd veilig.
- Vak B (Het Lokale Venster): De laatste paar gedachten die de student net heeft opgeschreven, worden hier bewaard om ervoor te zorgen dat de zin logisch is (grammatica en flow).
- Vak C (Het Selectie-Venster): Hier gaat de lange geschiedenis van gedachten naartoe.
De Actie (De Schoonmaak):
Terwijl de student steeds meer schrijft, raakt de rugzak vol. Wanneer de limiet wordt bereikt, grijpt de bibliothecaris in:
- Hij kijkt naar de lange geschiedenis in Vak C.
- Met behulp van zijn radar identificeert hij de "Gouden" gedachten.
- Hij bewaart de Gouden gedachten.
- Hij gooit weg (verwijdert) de "Opvul"-gedachten die er niet toe doen.

Het Resultaat: Sneller en Lichter

Door dit te doen, ontdekten de onderzoekers het volgende:

Snelheid: De student kan 1,8 tot 2,6 keer sneller denken omdat hij geen zware rugzak meer draagt vol nutteloze aantekeningen.
Geheugen: De rugzak is 3 tot 5 keer kleiner, wat betekent dat je deze slimme student op kleinere, goedkopere computers kunt draaien.
Nauwkeurigheid: Verrassend genoeg wordt de student niet minder slim. Omdat de bibliothecaris alleen de "opvulling" heeft weggegooid en de "gouden" gedachten heeft bewaard, krijgt de student nog steeds even vaak het juiste antwoord als voorheen.

Samenvattende Analogie

Stel je voor dat je probeert een lang verhaal te onthouden om aan een vriend te vertellen.

De Oude Manier: Je probeert elk woord te onthouden, inclusief "eh", "ah" en "laat me eens denken", totdat je hersenen pijn doen en je de hoofdzaak vergeet.
De DYNTS-Manier: Je onthoudt de belangrijkste plotpunten en de punchlines (de kritieke tokens) en houdt alleen de laatste paar zinnen in je hoofd om de flow soepel te houden. Je vergeet de "eh's" en "ah's". Je vertelt het verhaal net zo goed, maar het kost de helft van de moeite en je krijgt geen hoofdpijn.

Het paper bewijst dat voor deze "denkende" AI-modellen, we niet elke gedachte hoeven te bewaren. We hoeven alleen de belangrijke te bewaren, en een slim systeem kan uitzoeken welke dat zijn in real-time.

Technische Samenvatting: Dynamische Selectie van Denk-Tokens voor Efficiënt Redeneren in Large Reasoning Models

1. Probleemstelling

Large Reasoning Models (LRMs), zoals DeepSeek-R1 en Gemini-3-Pro, verbeteren het probleemoplossend vermogen door expliciete redeneersporen (Chain-of-Thought) te genereren voordat ze een definitief antwoord produceren. Hoewel effectief, brengt dit uitgebreide generatieproces aanzienlijke geheugenvoetafdrukken en computationele overhead met zich mee door de accumulatie van Key-Value (KV) cache-toestanden tijdens autoregressieve decodering.

Bestaande KV-cache compressiemethoden kampen met twee primaire beperkingen wanneer ze worden toegepast op LRMs:

Scenario-mismatch: Methoden die zijn ontworpen voor lang-context prefilling zijn minder geschikt voor de scenario's met korte prefill en lange decodering die typerend zijn voor LRMs.
Prestatieverlies: Methoden die zijn afgestemd op lange decodering slagen er vaak niet in om de redeneerprestaties van de volledige KV-cache baseline te evenaren. Ze vertrouwen doorgaans op heuristische regels of lokale aandachtmetingen die geen onderscheid kunnen maken tussen tokens die essentieel zijn voor het uiteindelijke antwoord en redundante syntactische steunstructuren. Dit leidt tot de onbedoelde verwijdering van beslissingskritieke tokens, wat een significante daling in de nauwkeurigheid van het redeneren veroorzaakt.

2. Methodologie: DYNTS

De auteurs stellen Dynamic Thinking-Token Selection (DYNTS) voor, een methode die is ontworpen om alleen "beslissingskritieke" denk-tokens te identificeren en te behouden, terwijl redundante tokens worden verwijderd tijdens inferentie.

2.1. Kerninzicht: Het Pareto-principe in redeneren

Door een analyse van aandachtskaarten (attention maps) observeren de auteurs een spaarzaamheidsfenomeen in redeneersporen:

Vraag-tokens vertonen consistent hoge belangscores.
Denk-tokens vertonen een zeer spaarzame verdeling. Slechts een klein subset (ongeveer 20–30%) van de denk-tokens ontvangt aanzienlijke aandacht van de uiteindelijke antwoord-tokens, en fungeert als "pivotal nodes" (cruciale knooppunten). De overige tokens dragen marginaal bij aan de uiteindelijke uitkomst en dienen vaak slechts als syntactische steunstructuur.
Deze observatie komt overeen met het Pareto-principe, wat suggereert dat een klein deel van de kritieke denk-tokens het model naar het juiste antwoord stuurt.

2.2. Belangrijkheid-voorspeller (Importance Predictor)

Omdat de werkelijke belangrijkheid van een denk-token (gedefinieerd door de aandachtsgewichten van het uiteindelijke antwoord) pas beschikbaar is nadat het volledige redeneerproces is voltooid, introduceert DYNTS een trainbare, lichtgewicht Belangrijkheid-voorspeller die geïntegreerd is in de laatste laag van de LRM.

Architectuur: Een lichtgewicht Multi-Layer Perceptron (MLP) head gekoppeld aan de laatste verborgen toestand (hidden state).
Training: De voorspeller wordt getraind op de MATH-dataset met behulp van de werkelijke belangscores (berekend door de aandachtsgewichten van antwoord-tokens naar denk-tokens te aggregeren) als supervisiesignalen. De verliesfunctie minimaliseert de Mean Squared Error (MSE) tussen de voorspelde en werkelijke scores.
Functie: Tijdens inferentie schat de voorspeller de belangscore van elk gegenereerd denk-token in real-time in.

2.3. Dual-Window KV Cache Selectiestrategie

DYNTS beheert het geheugen met behulp van een dual-window mechanisme om contextbehoud en efficiëntie in evenwicht te houden:

Vraag-window ( $W_q$ ): Slaat de KV-caches op voor alle prompt-tokens. Deze krijgen een oneindige belangscore en worden nooit verwijderd.
Lokaal Window ( $W_l$ ): Houdt de meest recent gegenereerde tokens vast om lokale linguïstische coherentie te waarborgen.
Selectie-window ( $W_s$ ): Slaat de geschiedenis van de denk-tokens op. Wanneer het totale KV-cache budget is bereikt, behoudt het systeem de top- $k$ tokens met de hoogste voorspelde belangscores binnen dit venster en verwijdert de rest.

3. Belangrijkste Bijdragen

Ontdekking van Token-spaarzaamheid: Het paper demonstreert empirisch dat slechts een kleine subset van de denk-tokens (ca. 20–30%) de uiteindelijke antwoorden in LRMs significant beïnvloedt, terwijl de meerderheid redundant is.
DYNTS-framework: Een nieuwe methode die een geleerde Belangrijkheid-voorspeller combineert met een dynamische KV-cache selectiestrategie om kritieke redeneerstappen te behouden zonder vooraf kennis te hebben van het antwoord.
Theoretische Analyse: De auteurs leiden een "Break-Even Conditie" af die bewijst dat de computationele besparingen door het verwijderen van redundante tokens opwegen tegen de overhead die de Belangrijkheid-voorspeller introduceert, mits het verwijderingsvolume voldoet aan een specifieke drempelwaarde ten opzichte van de verborgen dimensie en het aantal lagen van het model.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee LRMs (DeepSeek-R1-Distill-Llama-8B en DeepSeek-R1-Distill-Qwen-7B) over zes benchmarks (AIME24/25, AMC23, GPQA-D, GK23EN, MATH500).

Redeneernauwkeurigheid: DYNTS presteert beter dan state-of-the-art KV-cache compressiemethoden (bijv. R-KV, SnapKV, H2O). Onder hetzelfde geheugenbudget verbetert het de Pass@1 met 2,6% ten opzichte van de beste baseline. Cruciaal is dat de prestaties op gelijke voet liggen met de volledige KV-cache baseline (bijv. 61,9% vs. 61,6% op R1-Llama), wat aantoont dat agressieve compressie de redeneerkracht niet in gevaar brengt.
Efficiëntiewinst:
- Latentie: Vermindert de inferentie-latentie met 1,84–2,62× vergeleken met vanilla Transformers.
- Geheugen: Vermindert de piek KV-cache geheugenvoetafdruk met 3,32–5,73×.
- Doorvoersnelheid (Throughput): Behaalt pieksnelheden van tot wel 4,51× naarmate de sequentielengte toeneemt, waarbij het resourceverbruik effectief wordt begrensd door periodieke verwijdering.
Ablatie-studies: Experimenten bevestigen dat het behouden van enkel kritieke denk-tokens (via de voorspeller) superieur is aan willekeurige of bottom-k selectie. Het verwijderen van het lokale window of de vraag-tokens verslechtert de prestaties aanzienlijk, wat de noodzaak van het dual-window ontwerp valideert.

5. Betekenis en Claims

Het paper beweert dat DYNTS een kritiek implementatieknelpunt voor Large Reasoning Models in omgevingen met beperkte middelen aanpakt. Door gebruik te maken van de inherente spaarzaamheid van redeneersporen, maakt de methode het volgende mogelijk:

Schaalbaarheid: De mogelijkheid om complexe redeneertaken uit te voeren op hardware met beperkt geheugen door de KV-cache voetafdruk drastisch te verkleinen zonder nauwkeurigheid op te offeren.
Efficiëntie: Een theoretische en empirische demonstratie dat dynamische, op belang gebaseerde tokenselectie superieur is aan statische of op heuristieken gebaseerde compressie voor redeneertaken.
Generaliseerbaarheid: Hoewel getraind op wiskundig redeneren, vertoont de methode robuuste prestaties over diverse datasets, inclus_ief wetenschappelijke QA en code-redeneren (HumanEval), wat suggereert dat het onderliggende principe van token-spaarzaamheid overdraagbaar is.

De auteurs concluderen dat hun werk een praktisch pad biedt voor de implementatie van krachtige LRMs op edge-apparaten door de redeneerprestaties los te koppelen van lineaire geheugengroei.