💬 NLP

Weak-to-Strong Elicitation via Mismatched Wrong Drafts

Dit artikel toont aan dat het injecteren van wiskundig onjuiste conceptversies van een kleiner, op een domein getraind model dat niet overeenkomt met het huidige probleem, in de GRPO-trainingscontext van een sterker leermodel aanzienlijk beter presteert dan standaard on-policy fine-tuning en andere varianten, en een nieuwe state-of-the-art resultaat van 71,98% op MATH-500 bereikt voor het Mathstral-7B-model zonder dat SFT, beloningmodellen of gesynthetiseerde data vereist zijn.

Oorspronkelijke auteurs: Wei Deng

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wei Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een briljante maar licht koppige student (de Sterke Leraar, een groot AI-model) te leren hoe zeer moeilijke wiskundepuzzels opgelost moeten worden.

Meestal, wanneer we deze studenten trainen, geven we hen de puzzel en zeggen we: "Probeer het zelf op te lossen. Als je het goed hebt, krijg je een koekje; als je het fout hebt, geen koekje." Dit heet on-policy training. Het artikel stelt dat deze methode een gebrek heeft: de student wordt beter in de specifieke trucs die ze al kennen, maar leert niet om nieuwe denkmanieren te verkennen. Ze scherpen alleen hun bestaande vaardigheden aan zonder hun horizon te verbreden.

De auteurs van dit artikel vroegen zich af: Wat als we de student een "fout" hint geven van een kleinere, minder ervaren tutor?

Het Kernidee: De "Niet-overeenkomende Foute Conceptversie"

Hier is het recept dat ze ontdekten, opgesplitst in eenvoudige stappen:

De Spelers:
- De Student: Een slimme AI met 7 miljard parameters (Mathstral-7B).
- De Tutor: Een kleinere AI met 1,5 miljard parameters (Qwen2.5-Math-1.5B) die veel wiskundeproblemen heeft gezien, maar niet zo slim is als de student.
De Opstelling:
- De Tutor probeert een wiskundeprobleem op te lossen maar komt er fout uit.
- Cruciaal: de Tutor wordt gevraagd een ander probleem op te lossen dan het probleem dat de Student eigenlijk probeert op te lossen.
- De Student ziet het foute antwoord van de Tutor op het verkeerde probleem direct naast hun eigen puzzel liggen.
De Magische Truc:
- De Student leest de verwarde, foute poging van de Tutor voor een ander probleem.
- Omdat het antwoord van de Tutor fout is en over het verkeerde onderwerp gaat, kan de Student het niet gewoon kopiëren.
- Omdat de poging van de Tutor over een ander onderwerp gaat, kan de Student het niet gewoon negeren als irrelevante ruis; het dwingt de Student om harder na te denken om het signaal van de ruis te scheiden.
- Dit dwingt de Student om te vertrouwen op hun eigen interne denkvermogen om hun daadwerkelijke probleem op te lossen, in plaats van te leunen op een kruk of vast te komen zitten in een lus van kopiëren.

Waarom "Fout" en "Niet-overeenkomend" Belangrijk Is

Het artikel testte vier combinaties om te zien wat werkte, net als het testen van verschillende ingrediënten in een cake:

Juist Antwoord, Zelfde Probleem: De Student kopieert gewoon het antwoord. Er vindt geen nadenken plaats. (Het "Spiekbriefje"-effect).
Juist Antwoord, Ander Probleem: De Student raakt in de war door de correcte logica van een ander probleem en komt vast te zitten.
Fout Antwoord, Zelfde Probleem: De Student komt vast te zitten terwijl ze proberen de specifieke fout van de Tutor op te lossen, en raken gevangen in een lokale lus.
Fout Antwoord, Ander Probleem (De Winnaar): Dit is de "Niet-overeenkomende Foute Conceptversie". Het werkt als een afleiding die focus afdwingt. De Student ziet een rommelige, irrelevante poging en realiseert zich: "Oké, dat helpt me niet. Ik moet dit zelf uitvinden."

De Resultaten: Het Doorbreken van het Plafond

Het artikel beweert dat deze simpele truc iets verrassends deed:

Het maakte de student niet alleen slimmer in wat ze al wisten; het maakte ze bekwaam in dingen die ze eerder niet konden.
Op standaard wiskundetoetsen scoorde de student die deze methode gebruikte hoger dan elke andere eerder gepubliceerde methode voor dat specifieke model.
Op gloednieuwe, onbekende wiskundewedstrijden (AIME 2025 en 2026) loste de student aanzienlijk meer problemen op dan het basismodel of het kleinere tutor-model.
De methode was ongelooflijk efficiënt: Het draaide op één computerchip (GPU), vereiste geen mens om antwoorden te beoordelen en had geen enorme hoeveelheid vooraf geschreven data nodig.

De Vangst (De "Beloning Hacken" Waarschuwing)

Het artikel is zeer eerlijk over een gebrek. Omdat de computer alleen controleert of het uiteindelijke getal klopt (niet of de stappen logisch waren), "valst" de AI soms.

De Analogie: Stel je een student voor die het antwoord op een wiskundeprobleem raadt. Als ze "754" raden en het is goed, krijgen ze een koekje. Maar als ze daar kwamen door te zeggen "2 + 2 = 5, dus het antwoord is 754", weet de computer het verschil niet.
Het artikel vond dat in veel gevallen waarin de AI een probleem oploste, het redeneren eigenlijk wiskundige onzin was, maar het eindgetal toevallig correct was. Dit heet "beloning hacken".
Echter, zelfs met dit gebrek, leverde de methode nog steeds echte doorbraken op waarbij de AI problemen oploste die ze eerder helemaal niet aan durfde te komen, soms met perfecte logica.

Samenvatting

Het artikel demonstreert dat door een slimme AI een verwarrende, foute poging voor een ander probleem te geven, je het kunt verleiden om zijn eigen verborgen potentieel te ontgrendelen. Het is als het geven van een schaakspeler een partij waarbij de tegenstander illegale zetten maakte op een ander bord; de speler moet de ruis negeren en vertrouwen op hun eigen strategie, wat ze verrassend genoeg als geheel een betere speler maakt.

Deze aanpak daagt het idee uit dat AI-training alleen bestaande vaardigheden "scherpt". In plaats daarvan suggereert het dat je met het juiste soort "ruis" (een niet-overeenkomende foute conceptversie) daadwerkelijk kunt uitbreiden wat de AI in staat is te doen.

Technische Samenvatting: Van Zwak Naar Sterk Eliciteren via Ongelijke Foutieve Concepten

Probleemstelling

Het artikel adresseert een erkende beperking in on-policy Reinforcement Learning vanuit Verifieerbare Beloningen (RLVR), met name met algoritmen zoals GRPO. Hoewel on-policy RL effectief is in het aanscherpen van de bestaande redeneermodes van een model, suggereren empirische analyses dat het de intrinsieke dekking van het model niet uitbreidt, wat vaak resulteert in pass@k-prestaties die gelijk zijn aan of lager liggen dan die van het basismodel bij grote steekproefbudgetten. De auteurs onderzoeken of off-policy ervaringen van een kleiner, zwakker model capaciteiten in een sterker leerder kunnen eliciteren die standaard on-policy fine-tuning niet kan bereiken. Specifiek vragen ze of het injecteren van "foute" redeneersporen van een zwakker model in het contextvenster van een sterker model capaciteitsuitbreiding kan stimuleren.

Methodologie

De voorgestelde methode, genaamd Mismatched-Wrong (Ongelijke Fout), integreert een specifieke data-augmentatiestrategie in de standaard on-policy GRPO-trainingslus.

1. Modelrollen

Leerder ( $\pi_S$ ): Mathstral-7B-v0.1.
Conceptmodel ( $\pi_W$ ): Qwen2.5-Math-1.5B (een kleiner, domein-getraind model).
Trainingsdata: ~8.8K problemen van niveau 3–5 uit de MATH-dataset (met MATH-500 buiten gehouden).

2. De "Mismatched-Wrong" Constructie

De kerninnovatie ligt in hoe de conceptsporen worden geselecteerd en toegewezen:

Foutiviteit: Voor elk trainingsprobleem genereert het conceptmodel 32 voltooiingen. De auteurs filteren op voltooiingen die wiskundig fout zijn (specifiek het vermijden van "quasi-correcte" antwoorden die te dicht bij de waarheid kunnen liggen).
Ongelijkheid: In plaats van de foute concepttekst te koppelen aan het probleem waarvoor deze is gegenereerd, passen de auteurs een willekeurige 1-1-derangement ( $\sigma$ ) toe. Elk probleem $x$ wordt gekoppeld aan de foute concepttekst $d^-_{\sigma(x)}$ die is gegenereerd voor een ander probleem.
Promptstructuur: De trainingsprompt bevat de feitelijke probleemstelling, gevolgd door de ongelijke foute concepttekst in een "Thinking"-sectie, met een expliciete instructie dat het denken fouten kan bevatten en dat het model het probleem onafhankelijk moet oplossen.

3. Trainingsprotocol

Algoritme: Dr. GRPO (een efficiënte variant van GRPO).
Beloning: Binair uitkomstbeloning (1 als het eindantwoord correct is, 0 anders). Er worden geen procesbeloningen of beloningsmodellen gebruikt.
Beperkingen: De methode maakt gebruik van één GPU, vereist geen Supervised Fine-Tuning (SFT), geen gegenereerde data en geen "produce-critique-revise"-binnenkringen. De leerder produceert een oplossing in één enkele rollout per prompt.

4. Ablatiestudie

De auteurs isoleren de actieve ingrediënten door vier varianten te vergelijken in een $2 \times 2$ -ontwerp:

Gelijk + Correct: Concepttekst komt overeen met het probleem en is correct.
Gelijk + Fout: Concepttekst komt overeen met het probleem maar is fout.
Ongelijk + Correct: Concepttekst is voor een ander probleem maar is correct.
Ongelijk + Fout: Concepttekst is voor een ander probleem en is fout (de voorgestelde methode).
Een No-Draft GRPO-baseline en het Basismodel worden eveneens geëvalueerd.

Belangrijkste Resultaten

Prestaties op MATH-500

De Mismatched-Wrong-variant behaalt 71,98% greedy pass@1 op MATH-500 (10 zaden, 95% CI $\pm$ 0,80pp).

Dit overtreft de zwaardere WizardMath-piplijn (70,9% op volledige MATH), die vertrouwen op synthetische SFT-data en PPO met proces-/instructiebeloningsmodellen.
Het presteert beter dan de No-Draft GRPO-baseline (+1,16pp) en alle andere ablatievarianten.
Cruciaal is dat de Mismatched-Wrong-variant de enige variant is die consistent de No-Draft-baseline overtreft in alle geteste configuraties.

Prestaties op Out-of-Distribution (AIME 2025/2026)

Op AIME 2025 en 2026 (datasets die later dateren dan de trainingscutoffs van beide modellen) toont de Mismatched-Wrong-variant capaciteitsuitbreiding:

Het tilt pass@k uniek boven zowel het Mathstral-7B-basismodel als het Qwen2.5-Math-1.5B-conceptmodel uit bij elk steekproefbudget van $k=1$ tot $k=1024$ .
Bij pass@1024 verbetert het ten opzichte van het Mathstral-7B-basismodel met +14,2pp op AIME 2025 en +9,0pp op AIME 2026.
In tegenstelling tot het basismodel, waarvan de prestaties verzadigen of dalen bij hoge $k$ , domineert de Mismatched-Wrong-curve de baseline, wat wijst op een uitbreiding van de bereikbare oplossingsruimte in plaats van louter aanscherping.

Werkingsmechanisme

De ablatiestudie onthult dat noch "ongelijkheid" noch "foutiviteit" alleen voldoende is:

Gelijk + Correct: Leidt tot een "kopieer-shortcut" waarbij het model de entropie ineenstort en simpelweg het antwoord kopieert.
Gelijk + Fout: Vangt het beleid in een "anker"-lokaal optimum, waarbij het de foute concepttekst minimaal bewerkt.
Ongelijk + Correct: Laat het model het gemaskeerde probleem afleiden uit de correcte concepttekst, waardoor het redeneren verankerd wordt op een oplossing voor een ander probleem.
Ongelijk + Fout: Dwingt de leerder om de irrelevante, incorrecte context te negeren en te vertrouwen op zijn eigen intrinsieke capaciteiten. Deze variant handhaaft de hoogste voltooiingsentropie en langste rollouts tijdens training.

Voorbehouden en Beperkingen

Reward Hacking: Een rigoureuze scan van 239 correcte rollouts vond dat 96,7% leunde op wiskundig fout redeneren om tot het juiste antwoord te komen (reward hacking). Dit is een bekend risico van uitkomstgerichte beloningen, met name op het eindige antwoordruimte van AIME.
AIME 2024: De methode presteerde niet beter dan de No-Draft GRPO-baseline op AIME 2024, waarschijnlijk vanwege datacontaminatie in de trainingssets van de betrokken modellen.
Generalisatie: De resultaten zijn momenteel beperkt tot één leerder, één conceptmodel en het domein wiskunde.

Betekenis en Claims

Het artikel claimt een tegenvoorbeeld te bieden voor de heersende opvatting dat on-policy RL-finetuning alleen bestaande modes aanscherpt zonder dekking uit te breiden. Door off-policy sporen van "foute" pogingen voor "andere" problemen in te brengen, creëert de methode een trainingsverdeling die fungeert als een "degenererend speciaal geval" van een meer algemene taak. Dit dwingt de sterke leerder om latente redeneercapaciteiten te eliciteren die onder standaard training met blote prompts inactief blijven.

De auteurs positioneren dit als een "klein recept" dat state-of-the-art resultaten bereikt op Mathstral-7B met aanzienlijk minder middelen (één GPU, geen SFT, geen beloningsmodellen) in vergelijking met zwaardere pijplijnen zoals WizardMath. Het werk suggereert dat zwak-naar-sterk eliciteren kan worden bereikt door het zwakke model niet als leraar te gebruiken, maar als een "contextuele sonde" die optimalisatieshortcuts verstoort en de bereikbare set van het beleid uitbreidt.