🤖 AI

Nice Fold or Hero Call: Learning Budget-Efficient Thinking for Adaptive Reasoning

Dit artikel introduceert Budget-Efficient Thinking (BET), een tweestapskader dat de compute tijdens het testen van grote redeneringsmodellen optimaliseert door te leren dynamisch budgetten toe te wijzen op basis van verwachte opbrengsten in plaats van waargenomen moeilijkheidsgraad, waardoor aanzienlijke tokenreductie wordt bereikt terwijl de prestaties worden verbeterd via adaptief "short solve"-, "nice fold"- en "hero call"-gedrag.

Oorspronkelijke auteurs: Zhaomeng Zhou, Lan Zhang, Junyang Wang, Mu Yuan, Junda Lin

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhaomeng Zhou, Lan Zhang, Junyang Wang, Mu Yuan, Junda Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante, maar iets te enthousiaste assistent hebt die voor jou een enorme stapel puzzels probeert op te lossen. Deze assistent is geweldig in nadenken, maar heeft een slechte gewoonte: soms besteden ze uren aan het staren naar een puzzel die onoplosbaar is, en andere keren analyseren ze een simpele puzzel die in een minuut had kunnen worden opgelost, te diep. Dit kost je tijd en geld (in de vorm van rekenkracht).

Dit artikel introduceert een nieuwe trainingsmethode genaamd BET (Budget-Efficient Thinking) om deze assistent te leren slimmer te zijn over hoeveel "denk-energie" ze aan elke puzzel besteden.

Hier is hoe BET werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "Overdenker" versus de "Onderdenker"

Op dit moment gedragen grote AI-modellen zich als een student die niet weet wanneer hij moet stoppen met studeren.

De Eenvoudige Puzzel: Als je vraagt: "Wat is 2+2?", schrijft de student misschien een essay van 10 pagina's om te bewijzen waarom 2+2 gelijk is aan 4, wat tijd kost.
De Onoplosbare Puzzel: Als je een vraag stelt die op dit moment te moeilijk is voor de student (zoals een complex wiskundeprobleem dat ze nog niet hebben geleerd), blijven ze misschien urenlang proberen, zonder resultaat, alleen omdat ze niet weten dat ze het niet kunnen oplossen.
De Moeilijke Maar Oplosbare Puzzel: Als de puzzel moeilijk maar oplosbaar is, moet de student blijven nadenken. Maar huidige methoden snijden hen soms te vroeg af, waardoor ze een puzzel opgeven die ze hadden kunnen oplossen.

De Oplossing: De Drie Superkrachten van BET

Het artikel leert de AI drie specifieke gedragingen, die de auteurs "Short Solve", "Nice Fold" en "Hero Call" noemen. Denk hierbij aan pokerspellen:

Short Solve (De Snelle Winst):
- De Analogie: Je ziet een simpele hand in poker. Je weet dat je gaat winnen, dus je hoeft niet te bluffen of te veel te analyseren. Je pakt gewoon de fiches en gaat verder.
- Wat BET doet: Als de AI een eenvoudige vraag ziet, antwoordt ze snel en beknopt. Ze stopt met het verspillen van energie aan dingen die ze al weet.
Nice Fold (Weten wanneer je moet stoppen):
- De Analogie: Je speelt poker en je realiseert je dat je hand verschrikkelijk is en de kansen tegen je zijn. Een slimme speler "foldt" (geeft op) direct om zijn geld te sparen voor betere handen. Ze gooien geen geld meer weg in een verliezend spel.
- Wat BET doet: Als de AI beseft dat een vraag te moeilijk is voor haar huidige denkkracht, zegt ze: "Ik kan dit niet oplossen," en stopt direct. Ze verspillen geen tijd aan het forceren van een antwoord op een probleem dat ze niet kunnen kraken. Dit bespaart een enorme hoeveelheid rekenkracht.
Hero Call (Alles op het juiste moment inzetten):
- De Analogie: Je hebt een sterke hand in poker, maar het is nog niet duidelijk. Je weet dat je meer geld moet investeren om de grote pot te winnen. Je doet een "hero call" en blijft diep spelen.
- Wat BET doet: Als de AI een moeilijke vraag ziet die ze wel kan oplossen als ze hard genoeg nadenkt, spaart ze haar energie en gaat ze door. Ze snijdt zichzelf niet te vroeg af.

Hoe Ze de AI Leerden (De Twee-Fase Training)

De onderzoekers vertelden de AI niet zomaar "wees efficiënt". Ze leerden haar in twee stappen:

Fase 1: Het Lesplan (Koude Start): Ze toonden de AI voorbeelden van hoe ze zich moet gedragen. Ze toonden haar: "Hier is een eenvoudig probleem; zo beantwoord je het snel." "Hier is een onmogelijk probleem; zo zeg je 'Ik geef op'." "Hier is een moeilijk probleem; zo blijf je nadenken."
Fase 2: Het Oefenspel (Versterkend Leren): Ze lieten de AI het spel spelen. Elke keer dat de AI probeerde een probleem op te lossen, controleerde het systeem: "Heb je tijd verspild aan een onmogelijk probleem? Heb je te snel opgegeven bij een moeilijke?" Op basis van de resultaten gaven ze de AI een score (een beloning). Als de AI geld bespaarde op onmogelijke problemen maar toch de moeilijke oploste, kreeg ze een hoge score.

De Resultaten

Toen ze deze nieuwe methode testten op zeven verschillende wiskunde- en logistieke tests:

Het bespaarde ongeveer 55% van de denktijd. De AI gebruikte ongeveer de helft van de rekenkracht die ze daarvoor gebruikte.
Het werd beter in het oplossen van problemen. Omdat het geen tijd verspilde aan onmogelijke taken of te veel over simpele dingen nadacht, loste het eigenlijk meer moeilijke problemen correct op.
Het werkt op nieuwe soorten puzzels. Hoewel ze het alleen hadden getraind op wiskunde, paste het deze "slimme bestedings"-gewoonten toe op wetenschapsvragen en logische puzzels die het nog nooit had gezien.

De Conclusie

BET leert AI-modellen zich te gedragen als een slimme investeerder. In plaats van geld (rekenkracht) blind uit te geven, berekent het de "return on investment" voor elke vraag.

Als de return laag is (eenvoudige vraag), geef weinig uit.
Als de return negatief is (onmogelijke vraag), geef niets uit.
Als de return hoog is (moeilijk maar oplosbaar), investeer zwaar.

Dit maakt AI sneller, goedkoper om te draaien en verrassend beter in het oplossen van de moeilijke dingen.

Technische Samenvatting: Budget-efficiënt Denken (BET)

Probleemstelling

Grote Redeneringsmodellen (LRMs) zoals OpenAI-o1 en DeepSeek-R1 verbeteren de probleemoplossende capaciteiten door middel van uitgebreide, meerstaps redenering. Deze capaciteit gaat echter gepaard met onhoudbare inferentiekosten. Een kritieke inefficiëntie die in het artikel wordt geïdentificeerd, is de verkeerde toewijzing van compute tijdens de testfase. Bestaande efficiëntiemethoden vallen doorgaans in twee categorieën:

Uniforme Compressie: Technieken die redeneringssporen globaal inkorten of gedachtenketens comprimeren. Deze onderdrukken vaak productieve exploratie bij moeilijk-oplosbare queries.
Moeilijkheidsgeconditioneerde Controle: Methoden die de redeneringsdiepte aanpassen op basis van de waargenomen moeilijkheidsgraad van de query. Deze onderscheiden vaak niet tussen "moeilijk-oplosbare" queries (die profiteren van diepere redenering) en "effectief onoplosbare" queries (waarbij het model, ongeacht het budget, de capaciteit mist).

Het kernprobleem is dat huidige methoden geen oplosbaarheidsbewustzijn hebben. Ze kunnen aanzienlijke compute verspillen aan queries die buiten de capaciteit van het model liggen (vruchteloze exploratie), terwijl ze tegelijkertijd redenering bij moeilijke queries voortijdig afkappen die met voldoende investering wel opgelost hadden kunnen worden. De uitdaging is om compute tijdens de testfase toe te wijzen op basis van de verwachte opbrengst van redenering, en niet enkel op basis van de waargenomen moeilijkheidsgraad.

Methodologie: Budget-efficiënt Denken (BET)

De auteurs stellen Budget-efficiënt Denken (BET) voor, een kader dat compute tijdens de testfase behandelt als een computatie-investering onder onzekerheid. BET streeft ernaar drie distincte gedragingen te leren:

Korte Oplossing (Short Solve): Beantwoorden van eenvoudige queries beknopt.
Vroegtijdig Afzien (Nice Fold): Vroegtijdig afzien wanneer verdere redenering een verwachte opbrengst van bijna nul heeft (d.w.z. de query is onoplosbaar door het huidige beleid).
Hero Call: Voldoende compute bewaren voor moeilijk-oplosbare queries waar diepere redenering het antwoord kan veranderen.

Kerncomponenten

BET opereert op het principe dat oplosbaarheid beleid-afhankelijk is. Een query kan onoplosbaar zijn voor een huidig beleid, maar oplosbaar voor een capabeler beleid. Daarom schat BET oplosbaarheid dynamisch in op basis van het eigen gedrag van het model, in plaats van te vertrouwen op statische moeilijkheidslabels.

Het kader bestaat uit twee fasen:

1. Gedragsmatige Cold-Start (Supervised Fine-Tuning)

Doel: Het beleid initialiseren met de noodzakelijke gestructureerde outputindeling en gedragsrepertoire.
Proces: Het model wordt gefinetuned op een gecureerde dataset die is afgeleid van offline profilering van het basismodel. Queries worden onderverdeeld in:
- Korte Oplossing: Oplosbare queries met lage efficiënte kosten.
- Hero Call: Oplosbare queries met hoge efficiënte kosten.
- Vroegtijdig Afzien: Queries waarbij het basismodel faalt om een correcte oplossing te produceren in $K$ rollouts.
Output: Het model leert een gestructureerd <predict>-blok uit te zenden dat een oplosbaarheidsschatting ( $\hat{s}$ ) en een begrotingsschatting ( $\hat{b}$ ) bevat voordat het het redeneringsspoor genereert.

2. Investeringskostenbewuste Training (GRPO)

Doel: Het beleid optimaliseren om beslissingen over oplossen of af te zien af te stemmen op empirische oplosbaarheid.
Mechanisme: De auteurs maken gebruik van Group Relative Policy Optimization (GRPO). Voor elke query genereert het beleid $K=16$ onafhankelijke rollouts.
Groepsprofiel: Uit deze rollouts worden twee statistieken online berekend:
- Groepsuccespercentage ( $\hat{s}(x)$ ): Het aandeel correcte rollouts, dienend als de schatting van oplosbaarheid.
- Efficiënte Oplossingskosten ( $\hat{c}^*(x)$ ): De gemiddelde lengte van de kortste correcte trajecten (bijvoorbeeld de top 30%), wat de kostenplafond voor productieve redenering vertegenwoordigt.
Composiete Beloningsfunctie: De beloning $R(y|x)$ $R (y ∣ x)$ bestaat uit drie termen:
- $R_{VAL}$ (Waarde met Afzien-gate): Toekennen van een positieve beloning ( $+\delta$ ) voor afzien bij onoplosbare queries (waarbij $\hat{s}(x) < \epsilon_{abs}$ ) en een zware straf ( $-\lambda$ ) voor afzien bij oplosbare queries. Onjuiste pogingen leiden tot een kostenproportionele straf.
- $R_{EFF}$ (Query-adaptieve Efficiëntie): Belonen van correcte oplossingen die korter zijn dan de geschatte efficiënte kosten $\hat{c}^*(x)$ . Dit stimuleert beknoptheid bij eenvoudige queries zonder noodzakelijke diepte bij moeilijk-oplosbare queries te straffen.
- $R_{CAL}$ (Oplosbaarheidskalibratie): Het straffen van discrepanties tussen de door het model voorspelde oplosbaarheid/begroting en het empirische groepsprofiel. Dit zorgt ervoor dat de pre-redeneringsschattingen van het model gegrond zijn in de realiteit.

Belangrijkste Bijdragen

Oplosbaarheidsbewuste Diagnose: Het artikel identificeert dat bestaande adaptieve redeneringsmethodes oplosbaarheid over het hoofd zien, wat leidt tot excessieve compute bij queries die buiten de capaciteit liggen en onder-investering bij moeilijk-oplosbare queries.
Investeringsbewuste Training (BET): Een tweefasig kader dat een gedragsmatige cold-start combineert met GRPO onder een composiete beloning. Dit induceert de drie doelgedragingen (Korte Oplossing, Vroegtijdig Afzien, Hero Call) door beslissingen af te stemmen op uit rollouts afgeleide oplosbaarheid.
Evidentie op Schaal: Uitgebreide experimenten die aantonen dat BET tokengebruik reduceert terwijl het de nauwkeurigheid behoudt of verbetert, en dat het generaliseert naar taken buiten het domein.

Experimentele Resultaten

De auteurs evalueerden BET op zeven benchmarks (vier binnen het domein van wiskunde, drie buiten het domein) met behulp van drie basismodellen (Qwen3-4B, DeepSeek-R1-Distill-7B en 14B).

Efficiëntie en Nauwkeurigheid: Bij alle modellen reduceerde BET redeneringstokens met gemiddeld ongeveer 55% terwijl het algehele prestatieverbeteringen behaalde.
- Bij Qwen3-4B steeg de nauwkeurigheid op Omni-Math van 73,64% naar 74,41%, terwijl het aantal tokens daalde van 10.516 naar 4.561.
- Bij DeepSeek-R1-Distill-7B behaalde BET de laagste gemiddelde tokenkosten, terwijl het binnen 0,54 punten bleef van de beste nauwkeurigheid.
Selectieve Compressie: In tegenstelling tot baselines die uniform comprimeren, reduceert BET selectief tokens bij onoplosbare queries (met meer dan 90% voor deze gevallen) terwijl het de diepte behoudt voor verdienste queries.
Zero-Shot Transfer: Gezien uitsluitend op wiskundige redenering, transferreerde BET effectief naar wetenschappelijke QA (GPQA-Diamond), meerstaps narratieve redenering (MUSR) en logisch redeneren (LSAT-AR), met 53–59% tokenbesparing en vergelijkbare nauwkeurigheidswinsten.
Pareto-grens: BET positioneert zich op de Pareto-grens van nauwkeurigheid-efficiëntie trade-offs, en presteert beter dan baselines zoals Length-Penalty, DR.SAF en DiffAdapt.

Betekenis en Claims

Het artikel claimt dat BET een verschuiving vertegenwoordigt van moeilijkheidsgeconditioneerde compressie naar oplosbaarheidsbewuste begrotingsinvestering. Door compute te behandelen als een investering waarbij de opbrengst onzeker is, leert het model om:

Vroegtijdig te stoppen wanneer de verwachte opbrengst nul is (Vroegtijdig Afzien), waardoor vruchteloze exploratie wordt voorkomen.
Diep te investeren alleen wanneer de query oplosbaar is en de redenering het antwoord waarschijnlijk zal veranderen (Hero Call).
Beknopt te zijn wanneer de oplossing rechttoe rechtaan is (Korte Oplossing).

De auteurs benadrukken dat het "Vroegtijdig Afzien"-gedrag geen claim is van intrinsieke onmogelijkheid, maar een beleid-afhankelijke abstentie. Het signaleert dat, onder het huidige model en budget, verdere redenering onwaarschijnlijk een correct antwoord zal opleveren. Deze capaciteitsbewuste onzekerheid kan worden ingezet in cascade-systemen om moeilijke queries door te sturen naar sterkere modellen, waardoor de systeem-efficiëntie wordt geoptimaliseerd.

Het werk concludeert dat BET een instelbaar beleidsfamilie biedt waarbij de trade-off tussen nauwkeurigheid en kosten kan worden aangepast (bijvoorbeeld via de afzien-beloning $\delta$ ), wat een principiële aanpak biedt voor het beheren van compute tijdens de testfase zonder afbreuk te doen aan de probleemoplossende capaciteit.