🤖 machine learning

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

Dit artikel introduceert DuST, een zelftrainingskader dat gebruikmaakt van sampling op het tijdstip van testen om een "dubbele beoordelingsruimte" te creëren, waarin modellen leren kandidaatprogramma's te rangschikken via on-policy versterkend leren, waardoor zowel hun vermogen om code-correctie te beoordelen als hoogwaardige oplossingen te genereren wordt verbeterd, zonder directe beloningen voor correcte generatie.

Oorspronkelijke auteurs: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om computercode te schrijven. Traditioneel leer je dit door te zeggen: "Hier is een probleem. Schrijf een oplossing. Voer het uit. Als het werkt, geweldig! Als het crasht, probeer het opnieuw." Dit is alsof je de robot voor elke poging een enkele "Goed" of "Slecht" cijfer geeft. De robot leert, maar weet alleen dat het mislukt is, niet waarom het mislukt is in vergelijking met andere dingen die het had kunnen schrijven.

Dit artikel introduceert een nieuwe leermethode genaamd DuST (Dual Self-Training). Het verandert het spel door een concept te gebruiken dat "Primal Generation" versus "Dual Judgment" wordt genoemd.

Hier is de uitleg met eenvoudige analogieën:

1. De Oude Manier: De "Goed/Slecht" Toets

Primal Generation:
Stel je de robot voor als een student die een toets maakt.

Het Proces: De student schrijft één antwoord. De leraar controleert het.
De Feedback: De leraar geeft een enkel rood kruisje of een groen vinkje.
Het Probleem: Als de student een kruisje krijgt, weet hij dat hij fout zit, maar hij weet niet hoe dichtbij hij het juiste antwoord was, of waarom zijn specifieke antwoord slechter was dan een ander mogelijk antwoord dat hij had kunnen bedenken. Hij weet alleen: "Doe dit niet."

2. Het Nieuwe Idee: Het "Smaaktest" Panel

Test-Time Scaling (De Opzet):
Voordat de methode uit het artikel werd ontwikkeld, probeerden onderzoekers te helpen door de robot te laten veel antwoorden (zeg maar 4 of 5) tegelijk te schrijven en de beste eruit te kiezen. Dit is als een "Smaaktest".

De Tekortkoming: Op de oude manier, zodra de robot het beste antwoord kiest, worden de andere 4 antwoorden in de prullenbak gegooid. De robot leert niets van het feit dat Antwoord #2 "bijna goed" was, terwijl Antwoord #4 "helemaal fout" was. Die waardevolle vergelijkingsdata wordt verspild.

3. De DuST Oplossing: Leren van de "Achterblijvers"

Dual Judgment Space:
De auteurs stellen dat de robot moet leren uit de vergelijking tussen zijn eigen antwoorden, niet alleen uit de uiteindelijke winnaar.

De Analogie: Stel je een kookwedstrijd voor.
- Oude Manier: De jury proeft één gerecht en zegt: "Verbrand. Slecht." De chef leert niets over wat een gerecht goed maakt.
- DuST Manier: De chef maakt 4 verschillende versies van hetzelfde gerecht. De jury proeft alle 4.
  - Gerecht A: Perfect.
  - Gerecht B: Iets te zout.
  - Gerecht C: Onvoldoende gaar.
  - Gerecht D: Verbrand.
- De Les: In plaats van de chef alleen te vertellen "Gerecht A is goed", zegt de leraar: "Gerecht A is de winnaar omdat het in balans is. Gerecht B faalde vanwege het zout. Gerecht C faalde vanwege de hitte." De chef leert de verschillen tussen succes en falen.

4. Hoe DuST Werkt (Het Recept)

Het artikel beschrijft een specifieke cyclus die de robot doorloopt:

Genereer: De robot schrijft een batch code-oplossingen (de "Smaaktest" batch).
Beoordeel: De robot voert ze allemaal uit in een veilige zandbak om te zien welke er daadwerkelijk werken (Goed/Slecht).
Groeperen: De robot kijkt naar de batch. Als allemaal faalden of allemaal slaagden, gooit hij die batch weg. Hij houdt alleen batches waar sommige werkten en sommige faalden. Dit is de "Gemengde Groep".
Rangschik (De Training): De robot wordt gevraagd deze gemengde groepen te rangschikken van "Best" tot "Slecht".
- Cruciaal punt: De robot wordt nooit beloond voor het schrijven van de code zelf. Het wordt alleen beloond voor het correct identificeren welke code beter is.
- Het krijgt punten voor het zeggen: "Deze werkende code is beter dan deze kapotte code."
De Magische Overdracht: Hoewel de robot alleen getraind werd om een jurylid te zijn, wordt het verrassend beter in het zijn van een schrijver. Door te leren de subtiele verschillen te herkennen tussen een werkende oplossing en een gebroken oplossing, begint de robot te "begrijpen" wat code doet werken. Het internaliseert deze regels en begint zelf betere code te schrijven.

5. De Resultaten: Waarom Het Belangrijk Is

Het artikel testte dit uit op verschillende AI-modellen (variërend van klein tot zeer groot) met behulp van een standaard codetest genaamd LiveCodeBench.

Betere Juryleden: De modellen werden veel beter in het opsporen van correcte code (verbetering van hun "rangschikkingsscore").
Betere Schrijvers: Verrassend genoeg werden de modellen ook beter in het schrijven van code van scratch, zelfs al kregen ze nooit direct te horen "Schrijf een correct programma".
De "One-Shot" Mirakel: Voor deze training moest een model misschien 4 antwoorden schrijven en de beste kiezen om een hoge score te krijgen. Na DuST-training kon het model slechts één antwoord schrijven en dezelfde hoge score behalen. Het leerde direct het "beste" antwoord te genereren, in plaats van te hoeven gokken en controleren.

6. De Geheime Ingrediënt: RL versus Gewoon Kopiëren

De auteurs deden een laatste experiment om te zien waarom dit werkte.

SFT (Supervised Fine-Tuning): Ze probeerden de robot gewoon te leren de juiste rangschikkingen te kopiëren (zoals een student die een antwoordensleutel uit het hoofd leert). Dit maakte de robot een betere jurylid, maar maakte het niet een betere schrijver.
RL (Reinforcement Learning): Ze gebruikten een methode genaamd GRPO, waarbij de robot leert door te proberen, te falen en zijn eigen gedrag aan te passen op basis van de beloningen. Dit was de sleutel. De "actieve leer" van rangschikken stelde de robot in staat te veranderen hoe het denkt, wat zijn schrijven verbeterde.

Samenvatting

DuST is een methode waarbij een AI leert coderen door een meester-criticus van zijn eigen werk te worden. Door de AI te trainen om te onderscheiden tussen zijn eigen "goede" en "slechte" pogingen, leert het de verborgen regels van correctheid. Deze kennis sijpelt vervolgens terug naar zijn schrijfvaardigheid, waardoor het een betere coder wordt zonder ooit direct te zijn verteld hoe het een perfect programma moet schrijven. Het verandert de "verspilde" data van mislukte pogingen in een krachtige leraar.

Technische Samenvatting: Primitieve Generatie, Dualistische Beoordeling: Zelftraining via Schaling op Testtijd

Probleemstelling

Codegeneratiemodellen worden doorgaans getraind in de primitieve ruimte, waarbij een model een kandidaatoplossing produceert en spaarzame, binaire uitvoeringsfeedback ontvangt (slagen/mislukken). Hoewel schaling op testtijd (het samplen van meerdere kandidaten en het selecteren van de beste via een beoordelaar) de inferentie-accuraatheid verbetert, wordt de tijdens dit proces onthulde vergelijkende informatie—specifiek de structurele verschillen tussen geslaagde en mislukte pogingen—na de inferentie weggegooid. Bestaande "genereer-then-beoordeel"-systemen gebruiken deze vergelijkende structuur uitsluitend voor rangschikking tijdens de inferentie, waardoor de generator zelf niet wordt bijgewerkt. Bijgevolg kan het model in toekomstige doorlopen nog steeds een hoge waarschijnlijkheid toekennen aan plausibele maar onjuiste code.

Het artikel betoogt dat de vergelijkende structuur van schaling op testtijd een dualistische beoordelingsruimte definieert. Deze ruimte biedt een dichter trainingssignaal dan de primitieve ruimte: in plaats van geïsoleerde pass/fail-bits, biedt het relatieve correctheidsstructuren over plausibele pogingen heen, waardoor wordt onthuld wat succes onderscheidt van falen.

Methodologie: DuST (Dual Self-Training)

De auteurs introduceren DuST, een kader voor zelftraining vanuit deze dualistische beoordelingsruimte. De kernhypothese is dat een model dat is getraind om correcte van onjuiste code te onderscheiden in de dualistische ruimte, correctheidsgevoelige kenmerken verworft die de primitieve generatie ten goede komen, zelfs zonder directe beloningen voor het genereren van correcte code.

1. Dataconstructie

Samplen: Voor een programmeerprobleem $x$ samplet het basismodel een groot pool van kandidaatcodes ( $M$ kandidaten).
Uitvoering & Labeling: Kandidaten worden uitgevoerd in een sandbox om binaire correctheidslabels te verkrijgen ($1$ voor slagen, $0$ voor falen).
Groepering: Kandidaten worden gepartitioneerd in groepen van grootte $K$ . Alleen gemengde-kwaliteitsgroepen (die ten minste één correcte en één onjuiste kandidaat bevatten) worden behouden. Groepen met uitsluitend correcte of uitsluitend onjuiste kandidaten worden verworpen omdat ze geen rangschikkingcontrast bieden.
Dataset: De resulterende dataset bestaat uit problemen gekoppeld aan zelfgegenereerde kandidaatsets en uitvoeringsonderbouwde labels.

2. Trainingsdoel

Het model wordt getraind om kandidaten binnen een groep te rangschikken op basis van uitvoeringscorrectheid.

Beloningsfunctie: De beloning is puur discriminatief. Het meet hoe vaak uitvoeringscorrecte kandidaten hoger worden gerangschikt dan uitvoeringsonjuiste kandidaten.
- $R_{exec}$ berekent het fractie van correct-boven-onjuist paren $(i, j)$ waarbij de voorspelde rang van $i$ beter is dan die van $j$ .
- Misvormde antwoorden ontvangen een negatieve formatstraf.
Optimalisatie: Het kader maakt gebruik van Group Relative Policy Optimization (GRPO).
- De kandidaatcode-sample worden vastgehouden (off-policy met betrekking tot generatie).
- Het model samplet beoordelingsantwoorden (redeneringssporen en rangschikkingen) on-policy.
- Het beleid wordt bijgewerkt om de rangschikkingbeloning te maximaliseren, geregulariseerd tegen een bevroren referentiebeleid.

3. Belangrijk Onderscheid

In tegenstelling tot standaard Versterkend Leren (RL) voor codegeneratie, belooft DuST nooit direct de generatie van correcte programma's. De supervisie komt volledig voort uit het beoordelen van de correctheidscontrasten onder de eigen pogingen van het model. De bijgewerkte parameters zijn dezelfde die worden gebruikt voor daaropvolgende codegeneratie.

Belangrijkste Bijdragen

Kader voor Dualistische Beoordelingsruimte: Het artikel stelt voor om schaling op testtijd niet alleen te zien als een inferentiestrategie, maar als een bron van dichte, contrastieve trainingsignalen in een dualistische ruimte.
Discriminatieve Zelftraining: DuST demonstreert dat het trainen van een model om kandidaten te rangschikken op basis van uitvoeringscorrectheid (een discriminatieve taak) zijn generatieve capaciteiten (een generatieve taak) verbetert zonder directe generatiebeloningen.
Mechanisme-isolatie: Door middel van ablatiestudies die Supervised Fine-Tuning (SFT) en GRPO vergelijken, identificeert het artikel on-policy RL als het kritieke mechanisme voor het overdragen van dualistische-ruimteleer terug naar primitieve generatie. SFT verbetert de beoordeling maar faalt in het verbeteren van de generatie, terwijl GRPO beide verbetert.
Beloningsdichtheid: Het artikel benadrukt dat het dichte contrastieve signaal van rangschikking (blootstelling van $O(N^2)$ paarwijze vergelijkingen) effectiever is voor overdracht dan spaarzame primitieve beloningen of selectiegebaseerde beloningen.

Experimentele Resultaten

De methode werd geëvalueerd op LiveCodeBench (v5 en v6) over vijf modellen die twee families bestrijken (Qwen, GPT-oss) en drie schalen (4B tot 30B).

Accuraatheid van Schaling op Testtijd: DuST verbetert consistent de Best-of-4-accuraatheid. Voor Qwen3-30B-Thinking op LiveCodeBench v6 verbeterde de accurate met +4,1% (van 68,7% naar 72,6%).
Kwaliteit van Beoordeling: Het vermogen van het getrainde model om kandidaten te rangschikken verbeterde aanzienlijk, met een stijging van de NDCG met +6,2 voor Qwen3-30B-Thinking.
Primitieve Generatie (Pass@1): Opmerkelijk genoeg verbeterde de kwaliteit van de generatie met één steekproef zonder directe beloningen. Voor Qwen3-30B-Thinking steeg pass@1 met +3,1% (van 65,4% naar 68,5%).
Generalisatie: Verbeteringen werden waargenomen over alle modelgroottes (4B–30B) en families, wat suggereert dat de aanpak architectuur-agnostisch is.
Vergelijking met SFT: Wanneer getraind op dezelfde rangschikkingsdata, verbeterde SFT de beoordeling (NDCG) maar liet de generatie (pass@1) onveranderd. Alleen GRPO verbeterde beide, wat bevestigt dat de on-policy feedbacklus essentieel is voor de overdracht.
Beloningsgevoeligheid: Rangschikkingsbeloningen (Pairwise Accuracy/NDCG) presteerden beter dan selectiebeloningen (alleen top-1) bij overdracht naar generatie, waarschijnlijk omdat rangschikking de volledige contrastieve structuur van correcte versus onjuiste code blootlegt.

Betekenis en Claims

Het artikel beweert dat de primitieve (generatie) en dualistische (beoordeling) ruimtes van codegeneratie nauwer met elkaar verbonden zijn dan standaardtraining veronderstelt.

Overdracht van Begrip: De auteurs betogen dat door te leren onderscheiden waarom een oplossing faalt of slaagt ten opzichte van andere plausibele pogingen, het model kenmerken van uitvoerbare correctheid internaliseert (bijvoorbeeld algoritmische invarianten, randgevallen). Deze kenmerken verschuiven vervolgens de waarschijnlijkheidsmassa van de generator naar correcte trajecten.
Efficiëntie: De enkele doorloop van het getrainde model komt overeen met de Best-of-4-prestaties van het basismodel, waardoor de voordelen van schaling op testtijd effectief "ingebakken" worden in de modelgewichten.
Beperkingen van Huidige Paradigma's: Het werk suggereert dat het weggooien van vergelijkende informatie na inferentie een gemiste kans is. De contrastieve structuur die op testtijd wordt onthuld, is een rijk, grotendeels onbenut trainingssignaal.

Het artikel concludeert dat on-policy versterkend leren in de dualistische beoordelingsruimte een levensvatbaar en effectief mechanisme is voor het verbeteren van codegeneratie, en een nieuwe weg biedt voor zelfverbetering die niet afhankelijk is van externe menselijke voorkeuren of directe generatiebeloningen.