Technische Samenvatting: Verspil Je Rollouts Niet: Hergebruik van Zoekervaring voor Efficiënte Schaling tijdens Testtijd

Probleemstelling

Huidige strategieën voor schaling tijdens testtijd (Test-Time Scaling, TTS), die het redeneren van Large Language Models (LLM) verbeteren door extra inferentie-rekenkracht toe te wijzen, lijden aan een fundamentele inefficiëntie: informatieverspilling. Bestaande paradigma's—of het nu gaat om parallelle sampling, sequentiële verfijning of boomgebaseerd zoeken—behandelen individuele rollouts (redeneertrajecten) doorgaans als wegwerpproeven. Zodra een proef is voltooid of verworpen, gaan de waardevolle tussentijdse inzichten, geverifieerde proposities en geïdentificeerde faalpatronen die in dat traject zijn opgeslagen, effectief verloren.

Deze "geheugenloze" aanpak leidt tot aanzienlijke rekenredundantie. Modellen herleiden herhaaldelijk conclusies die al in andere rollouts zijn ontdekt en bezoeken bekende doodlopende straten opnieuw, zonder gebruik te maken van de cumulatieve kennis die tijdens het zoekproces is gegenereerd. Het artikel betoogt dat het maximaliseren van het potentieel van rekenkracht tijdens testtijd niet alleen vereist dat het volume van rollouts wordt vergroot, maar ook dat de kwaliteit van verkenning wordt geoptimaliseerd door wegwerpproeven om te vormen tot een cumulatief, door ervaring geleid proces.

Methodologie: Hergebruik van Zoekervaring (RSE)

Om deze inefficiëntie aan te pakken, stellen de auteurs Recycling Search Experience (RSE) voor, een zelfgeleidde, trainingsvrije inferentiestrategie. RSE herformuleert zoeken tijdens testtijd van een reeks geïsoleerde proeven naar een cumulatief proces waarbij waardevolle inzichten uit eerdere trajecten worden gedistilleerd en hergebruikt om daaropvolgende verkenning te sturen.

De methodologie werkt via drie gecoördineerde componenten:

1. Gebatchte, door ervaring geleide zoekopdracht:
   In plaats van real-time synchronisatie (wat onstabiel is) of puur sequentiële verfijning (wat beperkt wordt door contextvensters), partitioneert RSE het rollout-budget in $R$ rondes. In elke ronde $r$ genereert het model een batch van $K_r$ trajecten parallel. Voor elke ronde wordt een globale Ervaringsbank geserialiseerd in de prompt, zodat alle rollouts in de batch starten vanuit een gesynchroniseerde staat die de opgebouwde kennis uit vorige rondes bevat.

2. Zelfgeleide ervaringdistillatie:
   In plaats van ruwe, uitgebreide redeneerketens te concateneren (wat risico's op contextoverloop en ruis met zich meebrengt), hanteert RSE een lichtgewicht prompting-stap om elke voltooide traject te distilleren tot gestructureerde, discrete items. Dit proces maakt gebruik van het intrinsieke zelfbeoordelingsvermogen van het model zonder externe supervisie:

   • Positieve ervaring ($E^{pos}$): Extraheert geverifieerde proposities, lemma's of tussentijdse conclusies die dienen als "waarheidsankers" om redundante afleidingen te verkorten.
   • Negatieve ervaring ($E^{neg}$): Identificeert kritieke valkuilen, strategische doodlopende straten of logische drogredenen om te fungeren als "negatieve beperkingen" voor het snoeien van de zoekruimte.

3. Semantische ervaringdeduplicatie:
   Om contextexplosie te voorkomen en een hoge informatiedichtheid te handhaven, hanteert RSE een semantische deduplicatiestrategie. Nieuwe gedistilleerde ervaringen worden vergeleken met de bestaande bank met behulp van een gelijkenisdrempel ($\tau$). Alleen semantisch onderscheidende items worden toegevoegd, waardoor repetitieve inzichten worden gefilterd en wordt gewaarborgd dat de bank een diverse reeks actiegericht advies blijft in plaats van een redundante lijst.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

• RSE-raamwerk: Het voorstellen van een trainingsvrije strategie die zoeken tijdens testtijd omvormt tot een cumulatief, door ervaring geleid proces door hergebruik van ervaringsniveau op rollout-niveau.
• Theoretische analyse: Een formele analyse die aantoont dat RSE een voordeel in steekproefficiëntie biedt ten opzichte van onafhankelijke sampling. De auteurs bewijzen dat bij sounde ervaringsextractie de kans op het vinden van een juiste oplossing met RSE niet slechter is dan bij onafhankelijke sampling, met het potentieel voor exponentiële winsten in complexe taken die meerdere tussentijdse conclusies vereisen. Zij bieden ook een resultaat met een begrensd verval voor scenario's met imperfecte ervaringsextractie.
• Empirische validatie: Uitgebreide experimenten over diverse benchmarks en modelfamilies die consistente prestatiewinsten tonen ten opzichte van sterke baselines.

Experimentele Resultaten

De auteurs hebben RSE geëvalueerd op uitdagende wiskundige redeneringsbenchmarks (HMMT24, HMMT25, IMO-Bench, HLE-Math-text) en de evaluatie uitgebreid naar codering (LiveCodeBench-v6), expertniveau-VRA (GPQA-Diamond) en planning op lange termijn (TravelPlanner).

• Prestatiesuperioriteit: RSE presteerde consistent beter dan baselines, waaronder Standaard Sampling, Meerderheidsstemming, Self-Refine en de concurrentie-methode PaCoRe, over alle geteste modellen (Qwen3-30B, Qwen3-4B, Phi-4, DeepSeek-V3.2). Bijvoorbeeld, op HMMT25 met het Qwen3-30B-model behaalde RSE 83,9% Pass@1 bij Iteratie 3, waarmee het PaCoRe (80,2%) en Self-Refine (72,6%) voorbijstreefde.
• Schalingsdynamiek: In tegenstelling tot baselines die vroege verzadiging vertonen (bijvoorbeeld PaCoRe dat tegen Iteratie 3 een plafond bereikt door een "verificatie-gerichte bottleneck"), toonde RSE vertraagde convergentie en bleef prestatiewinsten boeken door latere iteraties, wat wijst op een hoger empirisch plafond.
• Rekenkrachtefficiëntie: RSE vestigde een superieure Pareto-grens in termen van rekenkosten (FLOPs) versus nauwkeurigheid. Het behaalde hogere nauwkeurigheidswinsten per eenheid rekenkracht in vergelijking met eenvoudige aggregatie of concatenatie op basis van verificatie.
• Generaliseerbaarheid: De methode bleek effectief buiten de wiskunde. Opvallend genoeg stortte PaCoRe op de TravelPlanner-taak in tot een slagingspercentage van 0,00% door contextoverbelasting, terwijl RSE een slagingspercentage van 34,44% behaalde, wat zijn vermogen aantoont om open-ended planningstaken aan te pakken waar consensusstemming niet van toepassing is.

Betekenis en Claims

Het artikel beweert dat RSE een paradigmaverschuiving in schaling tijdens testtijd vertegenwoordigt. Door rollouts niet te behandelen als wegwerpproeven maar als een bron van herbruikbare ervaring, adresseert RSE de systemische inefficiëntie van huidige "geheugenloze" zoekopdrachten.

• Efficiëntie: De auteurs betogen dat de primaire bottleneck in huidige TTS niet het gebrek aan rekenkracht is, maar het gebrek aan systematische mechanismen om ervaringsniveau op rollout-niveau te accumuleren en te hergebruiken. RSE overbrugt deze kloof, waardoor modellen rekenkracht kunnen concentreren op veelbelovende, onverkende regio's van de oplossingsruimte in plaats van bekende feiten opnieuw af te leiden of doodlopende straten opnieuw te bezoeken.
• Zelfgeleid karakter: Een belangrijke betekenis is dat RSE geen externe beloningsmodellen, ground-truth-labels of architecturale wijzigingen vereist. Het vertrouwt uitsluitend op het vermogen van het model om zijn eigen redenering te bekritiseren en te distilleren, waardoor het toepasbaar is in algemene zoekomgevingen.
• Theoretische onderbouwing: Het werk biedt een theoretische onderbouwing voor de intuïtie dat het "checkpointen" van geldige tussentijdse conclusies latere rollouts in staat stelt op gefragmenteerde gedeeltelijke successen voort te bouwen, wat de kansverval die geassocieerd is met complexe redeneerketens aanzienlijk vermindert.

Concluderend stelt het artikel dat het maximaliseren van het potentieel van rekenkracht tijdens testtijd vereist dat de kwaliteit van verkenning wordt geoptimaliseerd door hergebruik van ervaring, waardoor geïsoleerde proeven worden omgevormd tot een cumulatief, intelligent zoekproces.