🤖 AI

OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping

Het artikel introduceert OS-Pruner, een lichtgewicht plug-in framework dat chain-of-thought pruning formuleert als een optimaal stop-probleem om dynamisch het meest efficiënte eindpunt voor redeneerketens te bepalen, waardoor de generatielengte met 20–60% wordt verminderd met minimaal verlies van nauwkeurigheid.

Oorspronkelijke auteurs: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammed Ehab, Aymane El Gadarri, Vivek F. Farias, Adam Jozefiak, Ciamac C. Moallemi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lastig wiskundepuzzel oplost. Je begint hardop na te denken, schrijft elke stap op, controleert je werk en controleert het zelfs nog een keer voor de zekerheid. Maar dan besef je dat je het antwoord al hebt gevonden! Toch gaat je brein (of in dit geval, een superintelligent computerbrein genaamd een Large Language Model) door. Het schrijft meer paragrafen, herhaalt oude argumenten, of doet extra berekeningen die eigenlijk niet helpen. Dit is wat het artikel "computational overthinking" (computationeel overdenken) noemt. Het is als een leerling die blijft schrijven op het examen lang nadat hij het probleem heeft opgelost, waardoor hij alleen maar tijd en papier verspilt zonder een beter cijfer te halen.

Het artikel introduceert een nieuwe tool genaamd OS-Pruner om dit op te lossen. Zie OS-Pruner als een superintelligente "stopwatch" of een wijze coach die naast de computer staat. Zijn taak is om het denkproces van de computer stap voor stap te observeren en na elke paragraaf een simpele vraag te stellen: "Is het de moeite waard om nog een zin te schrijven, of moeten we gewoon het antwoord geven?"

Het "Stop of Ga"-spel

De auteurs realiseerden zich dat beslissen wanneer je moet stoppen niet alleen gaat over raden of het antwoord juist is. Het is een evenwichtsoefening.

De Kosten: Elke extra zin die de computer schrijft, kost geld (in "tokens") en tijd (latentie).
De Beloning: De enige reden om door te schrijven is als er een goede kans is dat de volgende zin het uiteindelijke antwoord nauwkeuriger maakt.

Het artikel stelt dat de meeste huidige methoden lijken op een strenge leraar die zegt: "Stop na precies 10 zinnen!" of "Stop als je 90% zelfvertrouwen voelt!" De auteurs suggereren dat deze methoden te rigide zijn. In plaats daarvan kaderen ze het probleem als een Optimal Stopping-spel (optimaal stoppen). Dit betekent dat de computer leert om de kosten van het schrijven af te wegen tegen de kans op een beter antwoord. Als de volgende stap waarschijnlijk niet veel zal helpen, zegt de "coach" (OS-Pruner): "Stop! We zijn klaar!"

Wat ze hebben afgewezen

Het artikel spreekt zich expliciet uit tegen een aantal veelvoorkomende ideeën:

Vaste budgetten: Ze zeggen dat het simpelweg dwingen van het model om na een vast aantal stappen te stoppen (zoals "denk precies 5 minuten na") niet goed werkt, omdat sommige problemen makkelijk zijn en slechts een paar stappen nodig hebben, terwijl andere moeilijk zijn en veel stappen vereisen.
Simpele vertrouwenscontroles: Ze laten zien dat alleen vragen, "Ben je zelfverzekerd genoeg?", niet voldoende is. Soms is een model weliswaar zelfverzekerd, maar is er nog een beter pad voor de koop, of is het model weliswaar onzeker, maar is het eigenlijk al klaar. Het artikel bewijst wiskundig dat een eenvoudige "vertrouwensdrempel" enorme verbeteringen kan missen in vergelijking met hun methode.
Het hele brein hertrainen: Veel andere methoden proberen het hele computermodel te hertrainen om korter te zijn. De auteurs zeggen dat dit duur en traag is. OS-Pruner is een "plug-in", wat betekent dat het een kleine toevoeging is die geen volledige herbouw van het brein vereist.

Hoe ze het hebben getest

De onderzoekers hebben niet alleen gegokt; ze hebben serieuze experimenten uitgevoerd. Ze namen verschillende krachtige redeneermodellen (zoals DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B, en DRPO-7B) en testten deze op wiskundeproblemen variërend van eenvoudig rekenwerk voor het basisonderwijs tot uitdagende Olympiade-niveau uitdagingen.

Ze ontdekten dat door OS-Pruner te gebruiken:

De modellen hun denkduur met 20% tot 60% verkortten op veel taken.
Bijvoorbeeld, op de GSM8K (makkelijkere wiskunde) dataset, verkortte het model DeepSeek-R1-Distill-Qwen-7B het denken met 59,3% terwijl de nauwkeurigheid nauwelijks veranderde (slechts een minimale daling van 0,7 procentpunt).
Op moeilijkere problemen zoals AIME, was het model voorzichtiger en verkortte het de lengte slechts met 6,9%, omdat extra denken daar daadwerkelijk nodig was.

Het artikel suggereert dat zelfs modellen die al getraind waren om kort te zijn (zoals het DRPO-7B model), nog steeds leden onder overdenken, en dat OS-Pruner hen zelfs nog beter kon maken.

De essentie

Het artikel beweert niet dat het AI-redeneren voor altijd heeft "opgelost". In plaats daarvan suggereert het dat door de beslissing om te stoppen te behandelen als een slimme afweging tussen tijd en nauwkeurigheid, we deze krachtige modellen veel sneller en goedkoper kunnen laten draaien zonder hun intelligentie te verliezen. Het is als het aanleren aan een genieus student om te stoppen met praten zodra hij zijn punt heeft gemaakt, waardoor ieders tijd wordt bespaard terwijl hij nog steeds een A+ haalt.

De auteurs hebben deze resultaten gemeten op specifieke datasets en vonden dat OS-Pruner consequent op de Pareto frontier ligt — een chique manier om te zeggen dat het de best mogelijke deal biedt: de meeste nauwkeurigheid voor de minste hoeveelheid tekst. Ze hebben zelfs aangetoond dat je deze afweging kunt controleren met één enkel getal (genaamd $\lambda$ ), waardoor gebruikers kunnen beslissen of ze willen dat het model super snel is (en misschien iets minder nauwkeurig) of super voorzichtig (en dus iets langer nodig heeft).

Technische Samenvatting: OS-Pruner

Probleemstelling

Large Language Models (LLMs) die gebruikmaken van Chain-of-Thought (CoT) prompting hebben aanzienlijk succes geboekt bij complexe redeneertaken. Deze modellen vertonen echter vaak "computationeel overdenken", waarbij ze redundante redeneerstappen genereren die de latentie en de kosten van inferentie verhogen zonder de nauwkeurigheid van het uiteindelijke antwoord te verbeteren. Dit gedrag omvat het herhalen van argumenten, het verifiëren van reeds vastgestelde conclusies of het nastreven van laagwaardige berekeningen. Hoewel recente studies suggereren dat CoT-trajecten gepruned kunnen worden, kampen bestaande oplossingen met specifieke beperkingen:

Statische budgetten: Methoden zoals budgetforcing leggen een vaste denklimiet van buitenaf op, waarbij de evoluerende staat van het redeneertraject wordt genegeerd.
Model-zijde compressie: Technieken zoals lengte-gepenaliseerde fine-tuning of token skipping vereisen kostbare hertraining van het basismodel en kunnen de prestaties op niet-redeneertaken verslechteren.
Heuristische vroege stopmethoden: Huidige dynamische methoden vertrouwen vaak op classificatie of drempelwaarden (bijv. stoppen wanneer het vertrouwen een vaste waarde overschrijdt), wat geen rekening houdt met de afweging tussen de kosten van extra tokens en de verwachte verbetering in antwoordkwaliteit.

De auteurs stellen dat CoT-pruning fundamenteel een sequentiële beslissingsprobleem is dat het beste kan worden geformuleerd als een optimaal stopprobleem, waarbij het systeem bij elke stap moet beslissen of de verwachte winst in nauwkeurigheid de kosten van het genereren van nog een token rechtvaardigt.

Methodologie: OS-Pruner

OS-Pruner is een lichtgewicht, plug-in framework dat is ontworpen om CoT-pruning te formuleren als een optimaal stopprobleem. Het werkt zonder het bevroren basisredeneermodel aan te passen.

1. Probleemformulering

Gegeven een invoerprobleem $x$ en een gedeeltelijk gegenereerd CoT-prefix $y_{\le i}$ , leert OS-Pruner een parametrische stopbeleid $\pi_\theta$ die de waarschijnlijkheid van stoppen output. Het doel is om een expliciete nutfunctie te maximaliseren die de nauwkeurigheid van het antwoord afweegt tegen de gegenereerde lengte:
$r(y_{\le i}|x) = A(y_{\le i}|x) - \lambda L(y_{\le i})$
Waar:

$A(y_{\le i}|x)$ de nauwkeurigheid van het antwoord afgeleid van de prefix is (1 als correct, 0 anders).
$L(y_{\le i})$ het aantal tot stap $i$ gegenereerde tokens is.
$\lambda$ een scalaire parameter is die de straf voor lengte controleert, waardoor gebruikers een specifiek werkpunt op de nauwkeurigheid-efficiëntie-frontier kunnen selecteren.

2. Theoretisch Voordeel

Het artikel onderscheidt OS-Pruner van vertrouwen-drempelmethoden via een Waardefunctie-perspectief.

Classificatie-gebaseerde methoden stoppen als $A(y_{\le i}|x) \ge \gamma$ (een vaste drempelwaarde).
Optimale Stop (OS-Pruner) stopt als de directe waarde van stoppen de continuatiewaarde overtreft: $A(y_{\le i}|x) \ge C_\lambda(x, y_{\le i})$ .
De continuatiewaarde $C_\lambda$ vertegenwoordigt de verwachte toekomstige beloning minus de kosten van extra tokens. De auteurs bewijzen (Theorema 1) dat vaste-drempelclassifiers een arbitrair grote prestatiekloof kunnen hebben vergeleken met het optimale stopbeleid, omdat ze geen rekening houden met de staat-afhankelijke waarde van toekomstige redeneerpaden.

3. Implementatie en Architectuur

Data Preprocessing: Het basismodel genereert volledige redeneertrajecten. Voor training grijpt het systeem in na elke redeneerstap, dwingt het model om een definitief antwoord te produceren (om "denken" in de antwoordsectie te voorkomen), en beoordeelt dit tegen de grondwaarheid met behulp van Math-Verify. Dit creëert fijnmazige supervisie voor elke prefix.
Beleid-architectuur: De beleid is een lichtgewicht lineaire kop ( $\sigma(W^\top h_l + b)$ ) toegepast op de laatste verborgen toestand $h_l$ van de prefix. Om de prestaties te verbeteren, worden de laatste $n$ (meestal 2) self-attention lagen van het basismodel gefinetuned, terwijl de rest van het model bevroren blijft.
Efficiëntie van Training: Omdat het basismodel causaal is, wordt de verborgen toestand van een paragraaf niet beïnvloed door daaropvolgende tokens. Dit maakt het mogelijk om het volledige redeneetraject in één enkele forward pass te verwerken, waarbij de lineaire laag parallel aan relevante verborgen toestanden wordt toegepast.
Progressieve Training: Om te voorkomen dat het beleid vastloopt in lokale minima waarbij het nooit stopt, begint de training met een hoge $\lambda$ (hoge kosten voor lengte) en wordt deze progressief afgesteld naar lagere waarden.

4. Inferentie

Tijdens inferentie wordt de beleid alleen aangeroepen op de grenzen van redeneerstappen (bijv. het einde van een paragraaf). Het systeem controleert de stopwaarschijnlijkheid; als de beslissing is om te stoppen, roept het direct het definitieve antwoord op. Dit ontwerp zorgt voor hoge efficiëntie op moderne LLM-serving systemen (bijv. vLLM) door gebruik te maken van parallelle pre-fill verwerking en het minimaliseren van KV-cache herberekening.

Belangrijkste Bijdragen

Rigoureuze Formulering: Het artikel biedt een formalisering van CoT-pruning als een optimaal stopprobleem met een expliciete beloningsfunctie die nauwkeurigheid afweegt tegen lengte.
Lichtgewicht Plug-in: OS-Pruner is een training-gebaseerd stopbeleid dat opereert op redeneerprefixes zonder het bevroren basisredeneermodel te wijzigen, waarbij slechts de fine-tuning van een kleine beleidskop en enkele transformerlagen nodig is.
Empirische Prestaties: Experimenten tonen aan dat OS-Pruner de redeneerlengte aanzienlijk vermindert terwijl de nauwkeurigheid behouden blijft over diverse modellen en benchmarks.
Complementariteit: De methode laat zien dat er aanvullende winsten zijn, zelfs wanneer deze wordt toegepast op modellen die al geoptimaliseerd zijn voor beknoptheid via model-zijde methoden.

Experimentele Resultaten

De auteurs evalueerden OS-Pruner op drie modellen (DeepSeek-R1-Distill-Qwen-7B, GPT-OSS-20B, en DRPO-7B) over benchmarks van variërende moeilijkheidsgraad (GSM8K, MATH-500, AIME).

Lengte Reductie: OS-Pruner bereikte een reductie in generatie-lengte van 20–60% met minimale opoffering van nauwkeurigheid.
- Op DeepSeek-R1-Distill-Qwen-7B verminderde het de lengte met 59,3% op GSM8K en 52,8% op MATH-500, met nauwkeurigheidsveranderingen van respectievelijk slechts -0,7% en +2,7%.
- Op GPT-OSS-20B (een model dat al geoptimaliseerd is voor beknoptheid), bereikte het nog steeds significante reducties (bijv. 21% op MATH-500) terwijl het concurrerende nauwkeurigheid behield.
Vergelijking met Baselines: OS-Pruner presteerde consequent beter dan training-gebaseerde baselines (Classification Probe, Answer Convergence, FlashThink) in de Accuracy-Efficiency Score (AES). Het ligt op of nabij de Pareto-frontier, terwijl fixed-threshold baselines sterker degradeerden naarmate de lengtebudgetten werden verlaagd.
Robuustheid: De methode presteerde goed over verschillende moeilijkheidsgraden, waarbij het agressiever was op eenvoudigere taken (waar overdenken veel voorkomt) en conservatiever op moeilijke taken (AIME), waar extra berekening waardevol is.

Betekenis en Claims

Het artikel claimt dat OS-Pruner een meer natuurlijke en optimale benadering van CoT-pruning biedt dan bestaande heuristische of statische methoden. Door het probleem te formuleren als een sequentieel beslissingsproces, beoordeelt het dynamisch het voldoende punt van terminatie op basis van de specifieke redeneerstaat in plaats van een globale drempelwaarde.

De auteurs benadrukken dat OS-Pruner:

Computationele Kosten Vermindert: Door onnodige tokens te schrappen, verlaagt het de inferentie-latentie en de energievoetafdruk.
Fijnmazige Controle Biedt: De parameter $\lambda$ stelt gebruikers in staat om expliciet de afweging tussen redeneerinspanning en nauwkeurigheid af te stemmen.
Werkt met Bestaande Modellen: Het vereist geen hertraining van de basisgenerator, wat het een praktische "plug-in" maakt voor bestaande redeneermodellen.
Complementair is aan Model-zijde Methoden: Zelfs modellen die getraind zijn voor beknoptheid (zoals DRPO) profiteren van de extra pruning, wat suggereert dat model-zijde compressie en optimaal stoppen verschillende aspecten van efficiëntie aanpakken.

Het werk concludeert dat hoewel het zich richt op wiskundig redeneren, het framework toepasbaar is op bredere contexten, hoewel toekomstig werk nodig is om coding en wetenschappelijk redeneren en de schaling naar frontier-modellen te verkennen.