💻 computer science

Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations

Dit artikel introduceert een raamwerk voor adaptieve toewijzing van testtijd-rekenkracht dat dynamisch berekeningscapaciteit richt op moeilijke vragen en generatieprocessen verbetert door gebruik te maken van evoluerende in-context voorbeelden, wat leidt tot betere prestaties met minder rekenvermogen dan bestaande methoden.

Oorspronkelijke auteurs: Bowen Zuo, Dongruo Zhou, Yinglun Zhu

Gepubliceerd 2026-04-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Bowen Zuo, Dongruo Zhou, Yinglun Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt die je helpt met moeilijke taken, zoals wiskundepuzzels oplossen of code schrijven. Je wilt dat deze assistent zo goed mogelijk presteert, maar je hebt ook een beperkt budget aan tijd en energie (in de AI-wereld noemen we dit "rekenkracht" of "tokens").

Deze paper introduceert een slimme nieuwe manier om die energie te gebruiken. Het is alsof je van een starre, saaie strategie overschakelt naar een slimme, aanpasbare coach.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Gietijzeren" Strategie

Vroeger deden mensen het zo: als je een vraag had, gaf je de assistent een vast aantal kansen om het antwoord te raden.

Bij een makkelijke vraag: De assistent had misschien maar één kans nodig, maar je gaf er toch vijf. Dat was een verspilling van energie.
Bij een moeilijke vraag: De assistent gaf na vijf keer op, terwijl hij misschien net op het punt stond het te snappen als hij nog twee keer had geprobeerd.

Dit is alsof je in een restaurant altijd precies drie hapjes neemt, ongeacht of het eten lekker is of niet. Als het eten geweldig is, eet je te weinig. Als het slecht is, blijf je toch maar eten tot je vol zit, in plaats van te stoppen.

2. De nieuwe oplossing: De "Slimme Coach"

De auteurs van dit paper (Bowen Zuo en collega's) hebben een systeem bedacht dat twee dingen tegelijk doet:

Bepalen waar je energie naartoe gaat: Stop met verspillen aan makkelijke vragen, en geef meer kansen aan moeilijke.
Veranderen hoe de assistent denkt: Als de assistent vastloopt, geef je hem niet gewoon nog een kans om te raden, maar geef je hem voorbeeldoplossingen van soortgelijke vragen die hij eerder al goed heeft opgelost.

De Analogie: De "Levende Studiegids"

Stel je voor dat je student bent die zich voorbereidt op een examen.

De oude methode (Best-of-N): Je zit in een stil lokaal en probeert 10 keer hetzelfde moeilijke vraagstuk op te lossen zonder hulp. Als je vastloopt, probeer je het gewoon weer, hopend dat je toevallig het juiste antwoord raakt.
De nieuwe methode (Adaptive Test-Time Compute):
- Fase 1 (De Warm-up): Je doet eerst een paar makkelijke vragen. Die zijn zo simpel dat je ze direct oplost. Je noteert deze oplossingen in je levende studiegids.
- Fase 2 (De Slimme Coach): Nu kom je bij een heel moeilijk vraagstuk. In plaats van blindelings te gissen, kijkt je coach in je studiegids. Hij zoekt naar een vraag die er op lijkt (bijvoorbeeld: "Oh, deze vraag over algebra lijkt op die ene die je gisteren goed oploste!").
- De coach zegt dan tegen de assistent: "Kijk eens hoe we dat andere probleem hebben opgelost. Gebruik die aanpak voor dit nieuwe probleem."

Door deze levende studiegids (die groeit naarmate je meer vragen oplost) te gebruiken, verandert de manier waarop de assistent denkt. Hij is niet meer vastgezet in zijn oude patronen, maar past zich aan op basis van wat hij net heeft geleerd.

Waarom is dit zo geweldig?

Je bent sneller klaar: Omdat je stopt met verspillen aan makkelijke vragen, heb je meer energie over voor de echte uitdagingen.
Je leert terwijl je werkt: De assistent wordt beter naarmate hij meer vragen oplost, omdat hij zijn eigen succesvolle oplossingen gebruikt als voorbeelden voor de volgende vraag.
Je bespaart geld: In de AI-wereld kost elke "gedachte" van de computer geld. Omdat deze methode minder "dwaalwegen" neemt en sneller het juiste antwoord vindt, kost het minder rekenkracht om dezelfde resultaten te behalen.

Samenvattend

Dit onderzoek zegt eigenlijk: "Stop met blindelings herhalen. Leer van je successen, pas je aan op de moeilijkheid van de vraag, en gebruik je eigen eerdere successen als een gids voor je volgende stap."

Het is alsof je van een robot die altijd hetzelfde liedje zingt, verandert in een jazzmusicus die luistert naar de band en zijn spel aanpast aan de sfeer van het moment. Het resultaat is een slimmere, snellere en goedkopere manier om AI te gebruiken.

Titel: Adaptieve Toewijzing van Testtijd-Computatie met Evoluerende In-Context Demonstraties

1. Probleemstelling

De huidige staat van de kunst voor het schalen van Large Language Models (LLMs) tijdens de inferentie (test-time scaling) kent twee belangrijke beperkingen:

Statische toewijzing: Bestaande methoden, zoals Best-of-N sampling of Self-Consistency, verdelen rekenkracht vaak uniform over alle vragen of baseren toewijzing op een statische schatting van moeilijkheid. Ze behandelen elke vraag alsof de kansverdeling voor het genereren van een antwoord constant blijft, ongeacht hoeveel samples er al zijn gegenereerd.
Gebrek aan adaptiviteit in generatie: Zelfs bij methoden die het aantal samples per vraag aanpassen (bijv. Elimination-strategieën), blijft de onderliggende generatieve verdeling $p(\cdot | x)$ statisch. Dit betekent dat bij moeilijke vragen, waar de kans op een correct antwoord onder de basisverdeling laag is, extra samples vaak weinig meerwaarde bieden (diminishing returns).

De kernvraag is: Hoe kunnen we niet alleen bepalen waar we rekenkracht aan besteden, maar ook hoe die extra rekenkracht de conditionele generatieverdeling van het model dynamisch verbetert?

2. Methodologie

De auteurs stellen een unificerend kader voor dat rekenkrachttoewijzing koppelt aan het dynamisch aanpassen van de generatieverdeling via Zelf-Adaptieve In-Context Learning (ICL). Het proces verloopt in twee fasen en werkt volledig tijdens de inferentie zonder modelparameters te updaten.

Het Algoritme (Algorithm 1):
Het framework bestaat uit twee opeenvolgende stadia:

Warm-up Fase (Moeilijkheidsinschatting):
- Er wordt een klein, vast budget aan rekenkracht toegewezen aan elke query in de testset.
- Het model genereert een vast aantal antwoorden ( $K$ ) vanuit de basisverdeling $p(\cdot | x)$ .
- Antwoorden worden geëvalueerd met een reward-oracle (bijv. ground-truth verificatie).
- Doel: Eenvoudige vragen worden direct opgelost en uitgesloten van verdere berekening. De correcte antwoorden van deze vragen vormen een initiële pool $D_{test}$ van kandidaat-demonstraties.
Adaptieve Distributie Sampling Fase:
- Voor de resterende, onopgeloste vragen (die als "moeilijk" worden beschouwd) wordt de generatieverdeling niet langer statisch gehouden.
- Semantische Zoeking: Voor een actieve query $x$ worden de $P$ meest semantisch vergelijkbare vragen ( $z$ ) uit de reeds opgeloste pool $D_{test}$ geselecteerd (gebaseerd op cosine-similariteit van embeddings).
- Evoluerende Prompts: De meest recente correcte antwoorden van deze buren ( $\tilde{y}(z)$ ) worden gebruikt als in-context demonstraties.
- Conditionele Generatie: Het model genereert nieuwe antwoorden voor $x$ onder de voorwaarde van deze dynamische prompt: $y \sim p(\cdot | x, \Pi(x))$ , waarbij $\Pi(x)$ de verzameling van buren en hun oplossingen is.
- Iteratief Proces: Zodra een nieuwe vraag wordt opgelost, wordt deze toegevoegd aan $D_{test}$ , waardoor de pool van demonstraties groeit en de verdeling voor toekomstige vragen verder evolueert.

Kerninzicht: In plaats van blind te herhalen vanuit een vaste verdeling, gebruikt het systeem succesvolle oplossingen van semantisch gerelateerde problemen als "gids" om de kansverdeling voor moeilijke vragen te verschuiven naar een gebied met een hogere waarschijnlijkheid van correctheid.

3. Belangrijkste Bijdragen

Unificatie van Allocatie en Distributie: Het paper introduceert een nieuw perspectief waarbij test-time scaling niet alleen gaat over het aantal samples, maar ook over het actief vormgeven van de sampling-distributie via ICL.
Zelf-evoluerende Demonstraties: In tegenstelling tot traditionele ICL die gebruikmaakt van een statische dataset, worden de demonstraties hier dynamisch gegenereerd uit de testset zelf tijdens de inferentie. Dit creëert een feedbacklus waar succesvolle oplossingen directe instructies worden voor soortgelijke problemen.
Efficiëntie zonder Extra Training: De methode vereist geen extra training, geen externe verdelingsmodellen en geen complexe zoekprocedures. Het is een plug-and-play strategie die werkt met bestaande LLM-API's.

4. Resultaten

De methode is getest op diverse benchmarks (MATH-500, LiveCodeBench, MinervaMath, GPQA-Diamond, Reasoning Gym) met verschillende modelarchitecturen (Gemini 2.5, GPT-4.1 Mini, GPT-5 Nano).

Prestatieverbetering: De methode (Ours (Adpt)) overtreft consistent zowel uniforme baselines (Unif) als adaptieve allocatie-baselines zonder distributie-aanpassing (Elim).
- Op reasoning-benchmarks zoals MinervaMath en LiveCodeBench worden aanzienlijke stijgingen in "Coverage" (het percentage vragen waarbij minstens één correct antwoord wordt gevonden) gezien.
- Bijvoorbeeld: Op MinervaMath met een denkend model (Gemini) steeg de coverage van ~53% (Elim) naar ~66% (Ours (Adpt)).
Token-efficiëntie: De methode bereikt hogere prestaties met minder output-tokens dan de baselines.
- Omdat het systeem moeilijke vragen sneller oplost door de verdeling te verschuiven, worden er minder lange, mislukte generatiereeksen gegenereerd.
- De analyse toont aan dat de methode tot 25% minder tokens verbruikt voor hetzelfde prestatieniveau vergeleken met Elim.
Robuustheid: Zelfs bij een willekeurige selectie van demonstraties (Ours (Rand)) zijn er vaak verbeteringen, maar semantisch gerichte selectie (Ours (Adpt)) levert de meest consistente en sterke winst op.

5. Betekenis en Impact

Dit werk markeert een verschuiving in hoe we nadenken over inferentie bij LLMs:

Van Statiek naar Dynamisch: Het bewijst dat de inferentie-omgeving zelf een bron van kennis kan zijn. Door succesvolle inferenties direct te hergebruiken als context, kan het model "leren" tijdens het oplossen van een batch vragen.
Kostenreductie: In een tijdperk waar inferentiekosten een grote belemmering zijn, biedt deze methode een manier om de efficiëntie van bestaande modellen te maximaliseren zonder de modelgrootte te vergroten.
Toekomstperspectief: Het kader suggereert dat toekomstige test-time strategieën niet alleen moeten focussen op "meer denken" (meer tokens), maar op "slimmer denken" door de context continu te optimaliseren op basis van wat het model al heeft bereikt.

Samenvattend introduceert dit paper een elegante, lichtgewicht strategie die de kracht van in-context learning combineert met adaptieve resource-allocation, waardoor LLMs aanzienlijk efficiënter en effectiever kunnen worden op complexe redeneertaken.