💻 computer science

Teacher-Free Self-Training Amplifies but Does Not Compound: A Pass@ $K$ Crossover on a Free-Verifier Domain

Dit artikel toont aan dat leraarvrije zelftraining op een geverifieerd DSL-domein het vermogen van een model om bestaande capaciteiten uit te drukken versterkt door de waarschijnlijkheidsmassa te concentreren, maar de onderliggende reikwijdte niet cumulatief vergroot, zoals blijkt uit het feit dat het basismodel uiteindelijk beter presteert dan het getrainde model bij hogere steekproefbudgetten.

Oorspronkelijke auteurs: Igor Lima Strozzi

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Igor Lima Strozzi

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Maakt Oefening Perfect, of Alleen Beter in Ophemelen?

Stel je voor dat je een student hebt (een AI-model) die een nieuwe vaardigheid probeert te leren, zoals het oplossen van logische puzzels. De student mag oefenen door puzzels op te lossen, de eigen antwoorden te controleren met een perfect antwoordmodel, en vervolgens de antwoorden die goed waren te bestuderen om beter te worden.

De grote vraag die dit papier stelt is: Als de student op deze manier oefent, leert hij dan echt nieuwe dingen die hij voorheen niet kon (compounding/stapeling), of wordt hij alleen maar beter in het vinden van de oplossingen die hij al kon, maar zelden vond (amplificatie/versterking)?

Veel mensen hopen op de eerste optie (het leren van nieuwe superkrachten). Dit artikel betoogt dat de student in deze specifieke opstelling alleen de tweede optie doet (beter worden in het ophemelen van bestaande vaardigheden).

De Opstelling: Het "Trapdoor" Spel

Om dit eerlijk te testen, hebben de onderzoekers een speciaal spel gebouwd genaamd een "Trapdoor Domain". Denk aan een magische doos met drie regels:

De Generator (De Student): Een kleine AI die probeert een programma te schrijven om een puzzel op te lossen.
De Verifier (Het Perfecte Antwoordmodel): Een simpel computerprogramma dat controleert of het antwoord 100% correct is. Het is geen AI; het is gewoon een strikte regelcontroleur. Het kost niets om uit te voeren en maakt nooit fouten.
De Critic (De Coach): Een kleine AI die raadt welke van de antwoorden van de student het meest waarschijnlijk zal werken op nieuwe puzzels, niet alleen op de puzzels die hij net zag.

Waarom is dit speciaal? Normaal gesproken, wanneer AI zichzelf onderwijst, vertrouwt het op een "leraar" (een grotere, slimmere AI) om het werk te beoordelen. Hier is geen leraar. Het "Antwoordmodel" is slechts een wiskundige regel. Dit betekent dat als de student iets nieuws leert, dat móét komen omdat de student is verbeterd, en niet omdat de leraar het hem heeft geleerd.

Het Experiment: Drie Rondes Oefenen

De onderzoekers lieten de student in rondes oefenen:

Ronde 1: De student probeert puzzels op te lossen. Het Antwoordmodel controleert ze. De student bestudeert de correcte antwoorden.
Ronde 2: De student probeert het opnieuw, gebruikmakend van wat hij heeft geleerd.
Ronde 3: Nog een keer.

Ze maten twee dingen:

Hoe vaak de student het in één poging goed heeft (Pass@1).
Hoe vaak de student het goed heeft als hij 64 pogingen krijgt (Pass@64).

De Bevindingen: Versterking, Geen Stapeling

Dit is wat zij ontdekten, gebruikmakend van een paar metaforen:

1. De "Coach" Helpt Meer Dan het "Antwoordmodel"

Wanneer de student 8 mogelijke antwoorden genereerde, kon het "Antwoordmodel" alleen zeggen: "Ja, dit werkt voor de voorbeelden die ik zie" of "Nee." Het kon niet aangeven welk antwoord zou werken op nieuwe puzzels.
De "Coach" (de Critic) was veel beter in het kiezen van het juiste antwoord. Het verbeterde het succespercentage van de student met ongeveer 9% vergeleken met simpelweg willekeurig kiezen.

De Haken en ogen: Deze verbetering gebeurde alleen bij puzzels waar de student in de war was (waar verschillende antwoorden oké leken). De Coach creëerde geen nieuwe vaardigheden; het hielp de student alleen om de beste bestaande optie te kiezen.

2. Het Plafond Wordt Hoger, Maar Langzamer

Terwijl de student oefende, verbeterde zijn prestatie.

Ronde 1 naar 2: Grote sprong in prestaties.
Ronde 2 naar 3: Kleinere sprong.
Het Patroon: De winst vertraagde elke keer. Dit wordt Amplificatie genoemd. De student was dieper aan het graven in een mijn die hij al kende, op zoek naar het goud dat er al was maar moeilijk te bereiken was. Hij was geen nieuwe mijn aan het ontdekken.

3. De "Overtaking" Test (Het Sluitende Bewijs)

Dit is het belangrijkste deel. De onderzoekers vergeleken de "Getrainde Student" met de "Oorspronkelijke Student" (vóór de oefening).

Bij lage inspanning (8 pogingen): De Getrainde Student wint. Ze zijn scherper en consistenter.
Bij hoge inspanning (6 64 pogingen): De Oorspronkelijke Student wint.

De Metafoor: Stel je voor dat de Oorspronkelijke Student een breed, ondiep net heeft. Hij mist misschien een vis bij de eerste poging, maar als hij het net 64 keer uitwerpt, vangt hij bijna alles omdat zijn net breed is.
De Getrainde Student heeft een smal, diep net. Ze zijn erg goed in het vangen van de vissen die makkelijk te vinden zijn, dus ze winnen wanneer ze slechts één of twee keer mogen werpen. Maar omdat ze zich zo veel op die makkelijke vissen hebben gericht, zijn ze vergeten hoe ze breed moeten werpen. Wanneer ze 64 keer proberen, vangen ze eigenlijk minder vissen in totaal dan de Oorspronkelijke Student, omdat hun "net" is gekrompen.

De Conclusie: Verscherpen, Niet Groeien

Het artikel concludeert dat deze methode van zelf-training de capaciteit versterkt (amplifies) maar niet stapelt (compounds).

Amplificatie: Het model wordt beter in het vinden van de oplossingen die het al in staat was te vinden als het hard genoeg probeerde. Het concentreert zijn energie op de "makkelijke" overwinningen.
Geen Stapeling: Het model heeft geen barrière doorbroken om problemen op te lossen die het fundamenteel niet eerder kon oplossen. Het heeft zijn reikwijdte niet vergroot; het heeft alleen zijn focus verscherpt.

Een Waarschuwing Over "Nul"-Scores

Het artikel wijst ook op een veelvoorkomende fout in AI-onderzoek. Soms krijgt een model 0% op een moeilijke test, en na training krijgt het 10%. Mensen zeggen dan: "Kijk! Het heeft iets nieuws geleerd!"
De onderzoekers zeggen: Wacht even. In dit specifieke type puzzel betekent het behalen van 0% vaak simpelweg dat je niet genoeg pogingen hebt gedaan (ondersampling). Als je 64 keer zou proberen, zou de "ongetrainde" student die "onmogelijke" puzzels ook kunnen oplossen. Dus het klimmen vanaf nul is niet altijd een teken van een nieuwe superkracht; soms is het slechts een teken van meer geluk of meer pogingen.

Samenvatting

De AI heeft niet geleerd om te vliegen; hij heeft alleen geleerd om hoger te springen dan voorheen. Hij werd een specialist in het vinden van de oplossingen die al binnen zijn bereik lagen, maar hij heeft niet de gave verkregen om plaatsen te bereiken waar hij voorheen niet kon komen.

Technisch overzicht: Teacher-Free Self-Training Versterkt maar Compoundt Niet

1. Probleemstelling

De centrale vraag die wordt behandeld is of zelfverbeteringslussen voor taalmodellen (LLM's) die trainen op hun eigen geverifieerde outputs capaciteit compounden (het verwerven van werkelijk nieuwe bereikbaarheid buiten de distributie van het basismodel) of slechts capaciteit amplificeren (het naar boven halen van zeldzame, bereikbare oplossingen die het basismodel al kon genereren bij voldoende sampling).

De bestaande literatuur is verdeeld:

Elicitatie-visie: Trainen op geverifieerde outputs scherpt enkel het vermogen van het model aan om latente capaciteiten te ontsluiten, wat er vaak toe leidt dat het getrainde model bij een groot sampling-budget (pass@K) minder presteert dan het basismodel [11].
Compounding-visie: Langdurige reinforcement learning (RL) kan modellen voorbij hun basisdistributie tillen, waardoor instanties worden opgelost die het basismodel bij geen enkel budget kan bereiken [8].

Er bestaat een kritiek methodologisch gat: de meeste studies vertrouwen op "teachers" (grotere modellen, reward modellen, of mensen) die de bovengrens van nieuwheid door constructie beperken, of ze verklaren "emergentie" op basis van metrieken die bewegen vanaf schijnbare nullen, wat sampling-artefacten kunnen zijn in plaats van echte capaciteitsfronten.

2. Methodologie: De "Trapdoor" Constellatie

Om het onderscheid tussen amplificatie en compounding beslisbaar te maken, construeert de auteur een teacher-free "constellatie" op een specifiek domein:

Domein: Een FlashFill-achtige "trapdoor" Domain Specific Language (DSL) voor string-transformaties.
- Forward generation: Goedkoop te synthetiseren geverifieerde (probleem, oplossing) paren.
- Backward solving: Moeilijk voor het model om te inverteren.
- Verificatie: Een gratis, totale en exacte interpreter (geen geleerde parameters) die correctheid exact controleert.
Systeemrollen:
1. Verifier: De exacte interpreter. Het filtert kandidaten die inconsistent zijn met zichtbare voorbeelden, maar kan niet oordelen over generalisatie op held-out inputs.
2. Generator: Een 4-bit Qwen3-4B model met een LoRA-adapter, die zichtbare voorbeelden mapt naar kandidaat-programma's.
3. Critic: Een aparte 4-bit LoRA-adapter, getraind als een generatieve ja/nee-classifier om kandidaten te rangschikken op basis van hun waarschijnlijkheid om te generaliseren naar held-of-out inputs.
4. Conductor: Orkestreert de lus zonder een model.
Trainingslus (STaR):
- De generator stelt $K$ kandidaten voor.
- De verifier filtert de kandidaten die falen op zichtbare voorbeelden eruit.
- De critic rangschikt de overgebleven kandidaten; de beste kandidaat wordt geselecteerd.
- De verifier beoordeelt de geselecteerde kandidaat op held-out voorbeelden.
- Alleen door het model gegenereerde, door de verifier bevestigde generaliserende programma's worden gebruikt als supervised fine-tuning (SFT) targets voor de volgende ronde.
- Cruciale beperking: Geen groter model of externe teacher is betrokken; de bovengrens wordt niet beperkt door de competentie van een teacher.

Experimentele Opzet:

Hardware: Enkele 24 GB GPU (RTX 3090).
Model: Qwen3-4B-Instruct (4-bit kwantisatie).
Banks: Twee bevroren evaluatie-banks (Easy: max 3 atomen; Hard: max 4 atomen, aantal atomen buiten de training).
Traject: Drie ronden (v0 $\to$ v1 $\to$ v2) van self-training.

3. Belangrijkste Bijdragen

Een Volledig Teacher-Free Constellatie: Een generator/critic/verifier systeem uitvoerbaar op een enkele GPU, waarbij de verifier een exacte interpreter is, wat ervoor zorgt dat er geen "distillatie escape hatch" is die de nieuwheid beperkt.
Critic-Guided Selection Superiority: Gedemonstreerd dat een geleerde critic beter presteert dan een verifier-gefilterde "best-of-k" (naïve) baseline met +9,1 procentpunt (over 6/6 seeds). De winst is volledig gelokaliseerd naar taken waar kandidaten verschillen op held-out inputs (de "divergente subset"), wat bevestigt dat de critic bestaande capaciteit herstelt in plaats van nieuwe capaciteit te creëren.
Headroom-Paced Amplification: Self-training verhoogt de prestatiebovengrens maar versnelt nooit. De winst per ronde vertraagt naarmate het model de bereikbare front van de basisdistributie nadert.
De Pass@K Crossover: Een gemeten crossover waarbij het getrainde model wint bij het operationele budget (pass@8), maar het basismodel het getrainde model overtreft bij grote budgetten (pass@64) in elke traject. Dit bevestigt dat het model de waarschijnlijkheidsmassa concentreert op minder oplossingen in plaats van de volledige reikwijdte uit te breiden.
Methodologische Correctie op "Emergentie": In deze compositionele DSL zijn ogenschijnlijke "nul-capaciteit" cellen bij kleine sample counts sampling-artefacten, geen genuuine fronten. Het verklaren van emergentie op basis van het klimmen vanaf nul is ongeldig zonder populatie-schaal verificatie.

4. Resultaten

Selectieprestaties

Critic vs. Naive: De critic verbetert de selectienauwkeurigheid aanzienlijk, met name op de divergente subset (waar kandidaten verschillen over held-out data).
- Seed 1234: Naive 53,3% $\to$ Critic 93,3%.
- Seed 7: Naive 61,9% $\to$ Critic 92,9%.
Consistentie: De totale verbetering is exact gelijk aan de verbetering op de divergente subset, wat bewijst dat de critic alleen optreedt waar structurele ambiguïteit bestaat.

Self-Training Traject (STaR)

Ceiling Rise: De verifier-ceiling (pass@8) stijgt van ronde 0 naar ronde 2 op beide banks.
- Easy Bank: 46,7% $\to$ 53,1% $\to$ 55,4%.
- Hard Bank: 37,9% $\to$ 41,1% $\to$ 45,0%.
Deceleratie: De winst per ronde is niet-accelererend.
- Easy: +6,4% (v0 $\to$ v1) $\to$ +2,3% (v1 $\to$ v2).
- Hard: +3,2% (v0 $\to$ v1) $\to$ +3,9% (v1 $\to$ v2) in één enkele seed, maar over 4 onafhankelijke trainingstrajecten is de trend consistent decelererend (+5,1% $\to$ +2,8%).
Geen Collaps: Diversiteit (cardinaliteit van generaliserende programma's per taak) nam toe (2,79 $\to$ 4,05), en geen enkele klasse regresseerde naar nul-capaciteit.

De Crossover Diagnose (Amplificatie vs. Compounding)

Operationeel Budget (pass@8): Het getrainde model (v2) presteert beter dan het basismodel (v0).
- Easy: v2 (53,0%) > Base (46,0%).
- Hard: v2 (46,0%) > Base (38,0%).
Groot Budget (pass@64): Het basismodel overtreft het getrainde model.
- Easy: Base (68,0%) > v2 (61,5%).
- Hard: Base (57,5%) > v2 (52,5%).
Interpretatie: Het getrainde model concentreert de waarschijnlijkheidsmassa op "zeldzame-maar-bereikbare" oplossingen, waardoor deze algemeen worden (winnen bij lage $K$ ), maar vermindert het vermogen van het model om de volledige staart van de distributie te verkennen (verliezen bij hoge $K$ ). De bovengrens van het getrainde model blijft strikt onder de grote- $K$ enveloppe van het basismodel.

Zero-Capability Frontiers

Klassen die een succespercentage van 0% leken te hebben bij lage sample counts (bijv. specifieke 4-atomaire structuren) bleken een niet-nul succespercentage te hebben (25–50%) wanneer ze op populatieschaal werden gemeten.
De "echte muur" ligt niet bij nul, maar bij het gat tussen het vermogen van het basismodel om een passend-maar-foutief programma te vinden (hoge pass@64) en een generaliserend programma. Dit gat (~11 pp) is de ware capaciteitsgrens.

5. Betekenis en Claims

Het artikel claimt een negatief resultaat te bieden met betrekking tot compounding in een specifieke, rigoureuze regime:

Amplificatie, niet Compounding: In een teacher-free setting met een gratis, exacte verifier, amplificeert self-training (STaR) de bestaande bereikbaarheid van het basismodel, maar compoundt het niet om nieuwe bereikbaarheid te creëren. De "ceiling" wordt bepaand door de resterende headroom van het basismodel.
Methodologische Geldigheid: De studie daagt de geldigheid uit van "0% $\to$ klim = emergentie" testen in compositionele domeinen, door te stellen dat dergelijke nullen vaak undersampling-artefacten zijn.
Dissociatie van Diversiteit en Coverage: De studie observeert dat hoewel de geoogste diversiteit van oplossingen toeneemt tijdens de datageneratie, de evaluatiediensten pass@K coverage van het getrainde model versmalt. Dit komt overeen met theorieën over diversiteitscollaps in SFT, waarbij optimalisatie van nauwkeurigheid de waarschijnlijkheidsmassa concentreert op modale oplossingen.

Beperkingen en Reikwijdte:

Het resultaat is domein-intern aan de specifieke FlashFill-achtige DSL en het teacher-free, exact-verifier regime.
De "geen compounding" bevinding kan specifiek zijn voor het gebrek aan een exploration bonus of een ruisende verifier; langdurige RL met exploratie of geleerde reward modellen zou anders kunnen zijn.
De statistische kracht is bescheiden (K=4 trainingstrajecten), maar voldoende om acceleratie te verwerpen.
De studie claimt niet het debat voor alle RL/SFT-regimes te hebben opgelost, maar isoleert specifiek de "teacher-free, exact-verifier" casus om aan te tonen dat zonder externe begeleiding of een exploratiemechanisme, de lus de distributionele enveloppe van het basismodel niet kan doorbreken.

Samenvattend stelt het artikel dat zonder een teacher om nieuwe redeneerpatronen te importeren of een exploratiemechanisme om voorbij de bereikbare front te duwen, self-training een proces is van verscherpen en naar boven halen van bestaande capaciteiten, en niet van het compunden ervan naar nieuwe capaciteiten.