🤖 AI

Refining Over Resampling: Test-Time Self-Correction for LLM Reasoning

Dit artikel stelt een verifier-vrij "breedte-diepte"-framework voor dat het redeneervermogen van LLM's verbetert door test-time compute te gebruiken om diverse gesamplede rollouts iteratief te verfijnen via zelfkritiek en zelfcorrectie, waarbij een superieure prestatie wordt bereikt over meerdere wiskundige benchmarks vergeleken met traditionele sampling- en verifier-gebaseerde selectiemethoden.

Oorspronkelijke auteurs: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

Gepubliceerd 2026-08-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ahsan Bilal, Muhammad Ahmed Mohsin, Muhammad Umer, Lena Trigg, Ali Subhan, Muhammad Ali, Dean F. Hougen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een echt lastige wiskundepuzzel probeert op te lossen, zoals een raadsel dat een lange keten van logica vereist om te kraken. Je hebt een superintelligente vriend (een Large Language Model, of LLM) die met je kan praten. Meestal, wanneer je je vriend een vraag stelt, geeft hij meteen één antwoord. Maar soms loopt hij vast op de eerste stap en maakt hij dezelfde fout helemaal tot het einde.

Om dit op te lossen, hebben wetenschappers twee belangrijke trucs geprobeerd. De eerste is "resampling": vragen aan je vriend om de puzzel tien keer te proberen en het antwoord te kiezen dat het vaakst voorkomt. Het is alsof je tien verschillende mensen vraagt hetzelfde raadsel op te lossen en kijkt met wie ze het eens zijn. De tweede truc is het gebruik van een "verifier": een aparte, superstrenge leraar die elk antwoord beoordeelt om te zien welke het beste is. Maar hier komt de adder onder het gras: als je tien mensen vraagt, krijg je vaak tien lichtelijk verschillende versies van dezelfde foute gedachte, en bij het vertrouwen op een leraar moet je erop rekenen dat de leraar niet in de war is of bevooroordeeld is.

Dit artikel, getiteld "Refining Over Resampling", suggereert een derde manier. In plaats van alleen maar meer gokjes te vragen of een leraar in te huren, stellen de auteurs voor om de AI te leren haar eigen redacteur te zijn. Ze laten de AI een paar verschillende startideeën genereren, en vervolgens laten ze de AI voor elk idee even pauzeren, haar eigen werk bekritiseren, haar eigen fouten vinden en ze herstellen voordat ze het definitieve antwoord geeft. Het is alsof je je vriend een tweede kans geeft om na te denken, niet door te zeggen dat hij opnieuw moet beginnen, maar door te zeggen: "Hé, wacht, je maakte een kleine fout in stap drie; laten we dat even oplossen en dan verder gaan."

Het Probleem: De "Echo Chamber" en de "Hallucination Floor"

De onderzoekers merkten iets vreemds op wanneer ze AI-modellen vroegen wiskundeproblemen op te lossen door simpelweg steeds meer antwoorden te genereren. Ze noemden dit "diversiteitssaturatie". Stel je voor dat je een groep vrienden vraagt hoeveel snoepjes er in een pot zitten. Als je tien mensen vraagt, krijg je misschien tien verschillende schattingen. Maar als je honderd mensen vraft, zul je merken dat negentig van hen slechts getallen raden die heel dicht bij elkaar liggen, omdat ze allemaal dezelfde (maar foute) "voor de hand liggende" aanwijzing zagen. De AI deed hetzelfde: ze bleef variaties genereren van dezelfde paar foute paden, waardoor ze haar hersencapaciteit verspilde aan herhaling in plaats van het vinden van nieuwe oplossingen.

Daarbovenop was er de "hallucination floor" (het hallucinatievloerniveau). Zelfs als de AI diep vanbinnen het juiste antwoord wist, kon ze per ongeluk struikelen over een kleine rekenfout of een logische misslag tijdens het uitschrijven ervan. Omdat elke gok onafhankelijk werd gemaakt, was elke gok even waarschijnlijk om over precies hetzelfde soort fout te struikelen. Vragen om meer gokjes hielp niet, omdat het de struikelpartij niet oploste; het gaf je alleen maar meer struikelpartijen.

De Oplossing: Breedte en Diepte

De auteurs bedachten een strategie die ze "Breadth-Depth Refinement" noemen. Denk aan het verkennen van een doolhof.

Breedte (Breadth) gaat over het uitwerpen van een breed net. In plaats van slechts één pad te bewanderen, genereert de AI verschillende verschillende startroutes (genaamd "rollouts"). Dit zorgt ervoor dat ze niet allemaal vastzitten in dezelfde "echo chamber" van foute ideeën.

Diepte (Depth) is de echte magie. Zodra ze deze verschillende routes hebben, kiezen ze niet direct de beste route. In plaats daarvan nemen ze elke route en sturen ze deze door een lus van zelfverbetering.

De Generator: De AI schrijft het volgende deel van de oplossing op.
De Criticus: De AI stopt en gedraagt zich als een strenge redacteur, die leest wat er net is geschreven en zegt: "Wacht, dit rekensommetje klopt niet," of "Dat logische verband slaat nergens op."
De Corrector: De AI luistert naar de criticus en herschrijft dat specifieke deel om de fout te herstellen.

Ze doen deze lus een paar keer (genoemd "diepte") voor elke route. Ten slotte nemen ze alle nu gepolijste, zelf gecorrigeerde antwoorden en laten ze stemmen. Het antwoord dat de meeste stemmen krijgt, is het definitieve antwoord.

Wat Ze Vonden

Het team testte deze methode op enkele zeer moeilijke wiskundecompetities, zoals de AIME (American Invitational Mathematics Examination) en de MATH500-dataset. Ze vergeleken hun methode met de oude manieren: slechts één keer gokken (Greedy), acht keer gokken en stemmen (Majority Voting), of acht keer gokken en een "leraar"-AI de winnaar laten kiezen (Verifier-based Best-of-N).

De resultaten waren zeer veelbelovend. Hun methode versloeg de anderen consequent. Bijvoorbeeld, wanneer ze een kleiner, minder krachtig AI-model gebruikten genaamd Qwen2.5-1.5B, haalde de oude "leraar"-methode ongeveer 29,6% van de vragen op de MATH500 goed. Maar met hun nieuwe "zelf-redactie"-methode sprong ditzelfde model naar een nauwkeurigheid van 58,0%. Dat is bijna het dubbele! Op de AMC (American Mathematics Competitions) test, ging hetzelfde kleine model van 25,0% naar 32,5%.

Zelfs met grotere, intelligentere modellen verbeterde hun methode de scores nog steeds, hoewel de winst iets kleiner was omdat de slimme modellen zelf al een redelijk goed werk leverden.

Waarom het Werkt (en Waarom het Verschilt)

Het kerninzicht hier is dat de AI geen externe leraar nodig heeft om te vertellen wat er mis is. De AI kan leren haar eigen fouten te herkennen als je haar de juiste structuur geeft. Het artikel suggereert dat de "criticus"-stap cruciaal is; toen ze het deel verwijderden waarbij de AI expliciet haar eigen werk bekritiseerde, daalden de scores. Het blijkt dat alleen vragen om "het nog eens te proberen" niet genoeg is; de AI moet verteld worden wat ze moet herstellen.

Ook is deze methode "training-free". Ze hoefden de AI niets nieuws te leren of haar duizenden voorbeelden te tonen van hoe ze zichzelf moet corrigeren. Ze gebruikten simpelweg de bestaande hersenkracht van de AI op een slimmere manier tijdens de test.

De Afweging

Er is echter een prijs. Deze methode kost meer computerkracht en tijd. Omdat de AI meerdere keren moet genereren, bekritiseren en herschrijven voor elk probleem, verbruikt het meer "compute" (de chique term voor computerkracht) dan wanneer het slechts één keer zou gokken. De auteurs berekenden echter dat de verbetering in nauwkeurigheid voor de hoeveelheid extra werk die het doet, de moeite waard is, vooral voor kleinere modellen die moeite hebben om het bij de eerste poging goed te krijgen.

Uiteindelijk suggereert het artikel dat wanneer we willen dat AI slimmer wordt, we haar niet alleen moeten vragen om harder te werken of om meer gokjes te vragen. We moeten haar de tijd en de structuur geven om na te denken, haar werk te controleren en haar eigen fouten te herstellen voordat ze ons het definitieve antwoord overhandigt. Het is een verschuiving van "meer is beter" naar "beter is beter".

Technische Samenvatting: Verfijnen in plaats van Resampling

Probleemstelling

Het artikel behandelt de beperkingen van huidige strategieën voor test-time scaling bij Large Language Models (LLM's) in wiskundige redenering. Hoewel het toewijzen van extra inferentie-rekenkracht via bredere sampling (bijv. Best-of-N) of verifier-gebaseerde selectie de prestaties verbetert, identificeren de auteurs twee kritieke faalmodi:

Diversiteitssaturatie: Het vergroten van het sample-budget ( $N$ ) levert vaak een afnemend rendement op. In plaats van nieuwe redeneerpaden te ontdekken, neigen extra samples naar een clustering rond enkele dominante semantische richtingen, waarbij bestaande antwoordpatronen worden herhaald in plaats van de oplossingsruimte uit te breiden.
Per-Trace Hallucinatie & Verifier-afhankelijkheid:
- Hallucinatie: Elke onafhankelijke rollout is onderhevig aan dezelfde generatiefout. Als de "bedoelde" antwoord van een model correct is maar wordt verstoord door generatiefouten, lost eenvoudige resampling het onderliggende traject niet op; het herhaalt slechts de fout.
- Verifier Kalibratie: Verifier-gebaseerde selectie (gebruikmakend van Process Reward Models of Outcome Reward Models) leunt zwaar op de kalibratie van een extern beloningsmodel. Kalibratiefouten kunnen de uiteindelijke antwoordselectie direct verslechteren, en deze methoden vereisen vaak extra training of geleerde stop-policies.

De auteurs stellen dat test-time compute effectiever wordt benut door gesampleerde trajecten te verfijnen voordat ze worden geaggregeerd, in plaats van alleen maar meer te samplen.

Methodologie: Breedte–Diepte Verfijning

Het voorgestelde framework is een training-vrije, verifier-vrije aanpak die test-time compute gebruikt langs twee assen: Breedte (diverse initiële pogingen) en Diepte (iteratieve zelfcorrectie).

Kerncomponenten

De methode gebruikt een enkel basismodel $\pi_\theta$ , geconditioneerd op rol-specifieke prompts, om als drie verschillende agenten te fungeren:

Generator ( $\pi^G_\theta$ ): Produceert redeneercontinuaties.
Critic ( $\pi^C_\theta$ ): Identificeert logische, rekenkundige of structurele fouten.
Corrector ( $\pi^R_\theta$ ): Herziet het redeneertraject op basis van de kritiek.

Het Algoritme

Initialisatie (Breedte): $N$ onafhankelijke redeneer-rollouts worden gesampled vanuit de generator bij een vaste temperatuur $\tau > 0$ . Dit zorgt voor diverse startpunten om diversiteitssaturatie tegen te gaan.
Iteratieve Verfijning (Diepte): Elke van de $N$ $N$ rollouts ondergaat $D$ $D$ rondes van een driefasen-cyclus:
- Redenering Continuatie: De generator breidt het vorige traject uit of schrijft het opnieuw.
- Zelf-Kritiek: De critic analyseert het traject en produceert een natuurlijke taal-kritiek. Als er geen fouten worden gevonden, bevestigt het expliciet het traject.
- Zelf-Correctie: De corrector herziet het traject, geconditioneerd op zowel het redeneren als de kritiek.
Aggregatie: Na $D$ verfijningsstappen worden de uiteindelijke gecorrigeerde trajecten geëxtraheerd naar kandidaat-antwoorden. De uiteindelijke voorspelling wordt bepaald door meerderheidsstemming (pluraliteit) over de $N$ verfijnde antwoorden.

Cruciaal is dat dit proces geen externe verifier vereist, geen beloningsmodel, en geen extra training.

Belangrijkste Bijdragen

Identificatie van Beperkingen: De auteurs karakteriseren formeel "diversiteitssaturatie" (waarbij een grotere $N$ er niet in slaagt unieke redeneerrichtingen te vergroten) en "per-trace hallucinatie" (waarbij breedte-alleen scaling systematische generatiefouten niet kan herstellen).
Breedte–Diepte Framework: Ze stellen een gestructureerde verfijningsmethode voor die diverse initiële pogingen behoudt (Breedte) terwijl iteratieve zelf-kritiek en zelf-correctie toepast (Diepte) om lokale fouten te herstellen vóór aggregatie.
Empirische Validatie: De methode wordt geëvalueerd over vijf wiskundige benchmarks (AIME24, AIME25, AMC, OlympiadBench, MATH500) en vier open-weight modellen (Qwen2.5-7B/1.5B, Ministral-8B, LLaMA-3.1-8B).

Experimentele Resultaten

De methode presteert consequent beter dan greedy decoding, majority voting (Maj@8), verifier-gebaseerde Best-of-N (RM@8), beam search en lookahead decoding.

Prestatiewinsten:
- Qwen2.5-1.5B: Op MATH500 verbeterde de nauwkeurigheid van 29,6% (RM@8 baseline) naar 58,0%. Op AMC steeg het van 25,0% naar 32,5%.
- Qwen2.5-Math-7B: Toonde consistente winsten ten opzichte van de sterkste baselines op AIME25, AMC, OlympiadBench en MATH500.
- Ministral-8B & LLaMA-3.1-8B: Demonstreren duidelijke verbeteringen, met name op AMC en MATH500.
Ablatie Studies:
- Noodzaak van Zelf-Kritiek: Het verwijderen van de expliciete zelf-kritiek fase (w/o) resulteerde in lagere prestaties vergeleken met de volledige pipeline (w/), wat bevestigt dat de kritiek nuttige tussenliggende feedback biedt in plaats van alleen het aantal tokens te verhogen.
- Computerefficiëntie: Hoewel de methode hogere inferentiekosten (TFLOPs) met zich meebrengt door meerdere verfijningsrondes, is de compute-genormaliseerde winst ( $\eta$ ) positief. De winsten zijn het meest uitgesproken voor kleinere modellen (bijv. 1.5B), wat suggereert dat verfijning latente redeneercapaciteiten ontsluit die niet betrouwbaar tot uiting komen in single-shot generaties.
Verfijningsdynamiek: Analyse laat zien dat verfijning succesvol herstelt van fout-naar-correct toestanden, terwijl correct-naar-fout regressies beperkt blijven. Diversiteit blijft hoog over de verfijningsdieptes, wat aangeeft dat de methode niet alle rollouts doet instorten naar één enkel antwoord.

Betekenis en Claims

Het artikel claimt dat test-time compute effectiever is wanneer het wordt gebruikt om gesamplede trajecten te verfijnen in plaats van enkel meer kandidaten te samplen of te vertrouwen op verifier-gestuurde selectie.

Robuustheid: Door verfijnde rollouts te aggregeren via meerderheidsstemming, is de methode robuust tegen ruis in individuele correcties. Het is niet afhankelijk van de kalibratie van een extern beloningsmodel.
Model Agnosticisme: De aanpak is toepasbaar op elk open-weight model zonder extra training, reinforcement learning of geleerde stopping policies te vereisen.
Paradigmaverschuiving: Het werk suggereert een verschuiving van "breder zoeken" naar "dieper verfijnen", met het argument dat nuttige redeneerbewijzen voortkomen uit het toestaan dat elke poging instabiele tussenstappen herstelt voordat de uiteindelijke aggregatie plaatsvindt.

De auteurs erkennen dat de methode hogere inferentiekosten heeft dan greedy decoding of standaard sampling, maar beargumenteren dat de significante nauwkeurigheidswinsten, met name voor kleinere modellen, de afweging rechtvaardigen in scenario's waarin modelparameters niet kunnen worden bijgewerkt.