💻 computer science

On the Generalization Gap in Self-Evolving Language Model Reasoning

Dit artikel onderzoekt de generalisatiekloof in closed-loop zelf evoluerende taalmodellen, waarbij wordt vastgesteld dat hoewel zelf gegenereerde supervisie de redeneerprestaties van basismodellen verbetert, het consequent faalt om de effectiviteit van oracle-gesuperviseerde training volledig te evenaren, zelfs met geavanceerde multi-turn revisiestrategieën.

Oorspronkelijke auteurs: Zhenting Qi, Susanna Maria Baby, Stefanie Anna Baby, Kan Yuan, Andrew Tomkins, Tu Vu, Da-Cheng Juan, Cyrus Rashtchian

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenting Qi, Susanna Maria Baby, Stefanie Anna Baby, Kan Yuan, Andrew Tomkins, Tu Vu, Da-Cheng Juan, Cyrus Rashtchian

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een student probeert te leren hoe je een zeer lastige logische puzzel oplost. Je hebt twee opties:

De Oracle-methode: Je hebt een docent die het juiste antwoord 100% van de tijd weet. Je laat de student een puzzel zien, de student raadt het antwoord, en de docent zegt onmiddellijk: "Fout, hier is het juiste antwoord."
De Zelf-evoluerende methode: Je haalt de docent weg. De student is alleen met een stapel puzzels. De student moet het antwoord raden, daarna het eigen werk controleren en proberen te leren van de fouten zonder dat iemand anders zegt of het wel of niet goed is.

Dit artikel stelt een eenvoudige maar diepgaande vraag: Hoe goed kan de student worden als hij alleen de "Zelf-evoluerende methode" mag gebruiken? Kan hij uiteindelijk net zo goed worden als wanneer hij een perfecte docent had?

De onderzoekers hebben dit getest met behulp van Large Language Models (LLM's) — de AI-breinen achter tools zoals chatbots. Ze zetten een "gesloten lus" op, wat betekent dat de AI zijn eigen vragen moest genereren, ze moest oplossen, zijn eigen werk moest beoordelen en moest leren van de resultaten, zonder hulp van buitenaf.

Hier is wat ze vonden, onderverdeeld in eenvoudige concepten:

1. De "Knight and Knave" Speeltuin

Om dit eerlijk te testen, gebruikten de onderzoekers een specifiek type logische puzzel genaamd "Knights and Knaves" (Ridders en Bedriegers).

Het spel: Stel je een dorp voor waar sommige mensen altijd de waarheid spreken (Ridders) en anderen altijd liegen (Bedriegers). Je moet uitzoeken wie wie is op basis van hun uitspraken.
Waarom dit spel? Het is als een wiskundeprobleem met één definitief juist antwoord. Er is geen gokwerk of "misschien". Dit maakt het de perfecte testbaan om te zien of de AI daadwerkelijk leert of gewoon aan het gokken is.

2. De Resultaten: Beter Wordend, Maar Niet Perfect

De AI-modellen werden inder door het oplossen van deze puzzels wanneer ze alleen oefenden.

Het Basismodel: Begon met een score van ongeveer 31% (als een student die net net een voldoende haalt).
Het Zelf-evoluerende Model: Na het alleen oefenen steeg de score naar ongeveer 44%.
Het Oracle-model: Wanneer de AI de "perfecte docent" had (de werkelijke antwoorden), sprong de score naar 53%.

De Kernboodschap: De AI verbeterde aanzienlijk op eigen kracht, maar liep tegen een "plafond" aan. Het kon het niveau van de student met de perfecte docent niet quite evenaren. Er was nog steeds een gat van ongeveer 8–13% dat de AI niet kon overbruggen door alleen naar het eigen werk te kijken.

3. De "Grootte Doet Er Toe" Regel

De onderzoekers ontdekten dat de grootte van het AI-brein veel uitmaakte.

Kleine AI (De Peuter): Een kleiner model (1 miljard parameters) werd zelfs slechter wanneer het probeerde het eigen werk te beoordelen. Het was te verward om het verschil tussen een goed en een fout antwoord te zien, waardoor het de verkeerde dingen leerde.
Medium AI (De Tiener): Een middelgroot model verbeterde, maar had nog steeds een merkbaar gat vergeleken met de docent.
Grote AI (De Expert): Een groter model (12 miljard parameters) was een gamechanger. Wanneer het probeerde zijn eigen antwoorden te bekritiseren en te verbeteren (een proces genaamd "Revision" of revisie), werd het zo goed dat het bijna de prestaties van de "perfecte docent" evenaarde.

Analogie: Denk aan het corrigeren van je eigen essay. Als je een 5-jarige bent, merk je je eigen spelfouten misschien niet op. Als je een student bent, kun je de meeste van je fouten wel zien. Als je een professionele redacteur bent, kun je bijna alles vangen. De AI moet "slim genoeg" zijn om zijn eigen docent te zijn.

4. De "Revision" Truc

De onderzoekers testten verschillende manieren waarop de AI kon leren.

Simpele Controle: De AI raadt iets, controleert of het klopt, en gaat verder. Dit hielp een beetje.
De Revision Loop: De AI raadt iets, het "verificatie"-gedeelte van de AI zegt: "Dit is fout vanwege X", en de AI probeert het opnieuw om het te herstellen.
Het Resultaat: Deze "Revision"-methode werkte het best, vooral voor de grotere modellen. Het was also[t] de student een hint te geven en hem opnieuw te laten proberen, in plaats van alleen maar "Fout" te zeggen.

5. De Wereld van de Praktijk versus Logische Puzzels

De onderzoekers probeerden dit ook op echte wereld problemen en redeneringen (zoals het oplossen van tekstproblemen of wetenschappelijke vragen).

Het Probleem: In tegenstelling tot de "Knight and Knave" puzzels, zijn problemen uit de echte wereld rommelig. Er kunnen veel manieren zijn om ze op te lossen, en het is moeilijk om definitief te zeggen of één pad "juist" is en een ander "onjuist".
Het Resultaat: De AI verbeterde slechts licht bij deze rommelige taken. Omdat de AI niet 100% zeker kon zijn of zijn eigen antwoord correct was, had het moeite met effectief leren. De "Zelf-evoluerende" methode werkt het best wanneer de antwoorden duidelijk en zwart-wit zijn.

Samenvatting: Wat Betekent Dit?

Het paper concludeert dat zelfverbetering krachtig is, maar dat het grenzen heeft.

Het werkt: AI kan leren om beter te worden in redeneren door zelfstandig te oefenen, vooral als het een groot, slim model is en de problemen duidelijke juiste/onjuiste antwoorden hebben.
Het is geen magie: Het kan een menselijke docent of een "perfecte" antwoordensleutel niet volledig vervangen. De AI zal altijd een kleine achterstand houden ten opzichte van de versie die getraind is met perfecte data.
De Kosten: Om de beste resultaten te krijgen, moet de AI veel rekenkracht besteden aan het controleren en hercontroleren van zijn eigen werk.

Kortom, een slimme AI kan zichzelf veel leren, maar heeft nog steeds baat bij een "docent" om de absolute waarheid aan te wijzen. Zonder die externe waarheid kan het erg goed worden, maar zelden perfect.

Technische Samenvatting: Over de Generalisatiekloof in Zelf-evoluerend Redeneren van Taalmodellen

Probleemstelling

Recente vooruitgang in Large Language Models (LLM's) heeft aanzienlijke progressie laten zien in complexe redeneertaken, vaak gedreven door post-training technieken zoals Supervised Fine-Tuning (SFT) en Reinforcement Learning from Human Feedback (RLHF). Deze methoden vertrouwen echter doorgaans op menselijk gelabelde data of verifieerbare externe beloningen. Een groeiend interessegebied is Zelf-evolutie (SE), waarbij modellen verbeteren met behulp van supervisiesignalen die uitsluitend door henzelf worden gegenereerd.

De centrale vraag die in dit werk wordt behandeld is: Hoe dicht kan intern gegenereerde supervisie bij oracle-gesuperviseerde training komen onder een strikte closed-loop setup, waarbij het SE-algoritme alleen toegang heeft tot een ongelabelde prompt-set en een basismodel?

Hoewel voorgaand werk suggereert dat SE prestaties kan verbeteren, wijst het ook op risico's zoals modelinstorting (model collapse) en afnemende meeropbrengsten. Dit paper probeert de "generalisatiekloof" tussen zelf-geëvolueerde modellen en die getraind met ground-truth (oracle) supervisie empirisch te kwantificeren, waarbij de effecten van interne signalen zonder externe tools, symbolische omgevingen of menselijke interventie worden geïsoleerd.

Methodologie

Framework en Setup

De auteurs stellen een verenigd offline zelf-evolutie framework voor waarbij een enkel basismodel $M$ in twee rollen wordt geïnstantieerd:

Generator ( $G$ ): Stelt kandidaat-oplossingen voor.
Verifier ( $V$ ): Evalueert de kwaliteit van deze oplossingen.

Het framework werkt op een ongelabelde prompt-set $D$ . Alle redeneersporen, oplossingen, beloningen en voorkeurslabels moeten afkomstig zijn van $M$ zelf. De studie evalueert vier representatieve strategieën binnen dit framework:

Single-Round Verification (SimpleSE): De verifier beoordeelt statische kandidaat-responsen. Om ruis te beperken, wordt een drempelwaarde-gebaseerd meerderheidsstemmechanisme gebruikt: een respons wordt als positief gelabeld als de correctheidssnelheid van de verifier boven een drempelwaarde $\tau$ ligt, als negatief als deze onder $1-\tau$ ligt, en wordt anders verworpen.
Multi-Turn Revision with Feedback (RevisionSE): De verifier levert tekstuele feedback op incorrecte oplossingen, en de generator reviseert de output. Voorkeursparen worden geëxtraheerd wanneer een revisie een incorrecte oplossing in een correcte verandert.
Iteratieve Training: Het spel tussen generator en verifier wordt herhaaldelijk toegepast. Het model wordt gefinetuned op de gegenereerde voorkeursdata, en het bijgewerkte model wordt gebruikt voor de volgende ronde van generatie en verificatie.
Curriculum Learning: Training verloopt van eenvoudigere instanties naar moeilijkere instanties (bijv. Knights and Knaves problemen met minder mensen naar die met meer mensen), in plaats van willekeurige menging.

Datasets en Modellen

Primaire Benchmark: Knights and Knaves (KK) logische redeneertaken. Deze dataset is gekozen vanwege hun deterministische oplossingen, gecontroleerde moeilijkheidsgraad (geparameteriseerd door het aantal personen) en een schone testomgeving voor easy-to-hard generalisatie.
Secundaire Benchmarks: OpenThoughts3 (mathematisch redeneren), GSM8K, MATH500, MATHHard, en TabMWP om robuustheid buiten de deterministische logica te beoordelen.
Modellen: De studie gebruikt primair de Gemma-3-it familie (1B, 4B, 12B, en 27B als upper bound) en Qwen-2.5-Instruct. Instruction-tuned varianten worden gebruikt om ervoor te zorgen dat het model systeem-prompts kan volgen voor generatie en verificatie.
Trainingsdoel: De gegenereerde voorkeursparen $(y_w, y_l)$ worden gebruikt om het beleid te finetunen via Direct Preference Optimization (DPO).
Oracle Baseline: Een setting waarbij ground-truth oplossingen worden gebruikt om voorbeelden als correct/incorrect te labelen, dienend als de bovengrens voor prestaties.

Belangrijkste Bijdragen

Systematische Analyse van Closed-Loop SE: Het paper biedt een verenigde vergelijking van SE-methoden onder een strikte closed-loop beperking, waarbij hun effecten worden geïsoleerd ten opzichte van oracle-gesuperviseerde voorkeursoptimalisatie. Het evalueert meerdere strategieën (verificatie, revisie, iteratie, curriculum) op de KK benchmark.
Effect van de Kwaliteit van Interne Supervisie: De studie toont aan dat de kwaliteit van het verifier-signaal cruciaal is. Multi-turn feedback (RevisionSE) levert de beste prestaties op, met name voor grotere modellen (12B), waarbij het de oracle-gesuperviseerde training bijna evenaart. Dit gaat echter gepaard met hoge computationele kosten.
Bootstrapping en Generalisatie: De auteurs onderzoeken "easy-to-hard" transfer. Hoewel iteratieve training en curriculum learning de bekwaamheid om moeilijkere voorbeelden op te lossen (bijv. KK instanties met 6–8 mensen) verbeteren, blijft het vermogen om out-of-distribution (OOD) generalisatie te verbeteren beperkt vergeleken met oracle-supervisie.
Kwantificering van de Persistente Kloof: Zelfs met steeds gestructureerdere en computationeel intensievere SE-strategieën blijft er een prestatiekloof van ongeveer 8–13% ten opzichte van oracle-supervisie bestaan in de meeste settings. Deze kloof wordt waargenomen op zowel gecontroleerde KK-data als real-world OpenThoughts3 settings.

Resultaten

Prestaties op Knights and Knaves (KK)

Base Model: Gemma 3 4B bereikt 31.0% accuratesse.
Oracle Supervision: Training met ground-truth signalen verhoogt de accuratesse naar 53.3%.
Self-Evolution Strategieën:
- Single-round verification (SimpleSE): 40.7%.
- Multi-turn feedback (RevisionSE): 42.2%.
- Iteratieve training: 44.1%.
- Curriculum learning: 44.8%.
Scaling Effecten:
- 1B Model: Vertoont verwaarloosbare verbetering (0.6%) of zelfs degradatie met RevisionSE, wat wijst op een capaciteitsdrempel waarbij kleine modellen ruis introduceren die het leren corrumpeert.
- 4B Model: Behaalt significante winsten maar blijft ~8–13% onder de oracle.
- 12B Model: RevisionSE bereikt 52.8% accuratesse, wat de oracle baseline van 53.6% bijna evenaart. Dit suggereert dat grotere modellen over voldoende intrinsieke verificatie- en revisiecapaciteiten beschikken om de kloof te dichten.

Prestaties op Real-World Benchmarks

Op OpenThoughts3 en andere redeneerbenchmarks (GSM8K, MATH500) zijn de zelfverbeteringswinsten bescheiden. Bijvoorbeeld, op MATH500 verbetert SimpleSE Gemma 4B met slechts 1.6%. Het paper merkt op dat voor open-ended problemen, interne verifiers moeite hebben om plausibele maar gebrekkige redeneerpaden van correcte paden te onderscheiden, wat leidt tot kleinere winsten vergeleken met de deterministische KK-taken.

Computationele Trade-offs

De studie vindt dat het schalen van het aantal verifier passes ( $n_2$ ) over het algemeen kosteneffectiever is dan het schalen van het aantal kandidaat-generaties ( $n_1$ ). Matige betrouwbaarheidsdrempels (bijv. $\tau = 0.7$ ) bieden een goede balans tussen precisie en recall.

Betekenis en Claims

Het paper claimt te karakteriseren wanneer closed-loop SE kan helpen en hoe intern gegenereerde supervisie onvoldoende blijft onder een minimale formulering.

Beperkingen van Interne Signalen: De belangrijkste bevinding is dat onder een strikte closed-loop beperking, interne feedback alleen geen algemeen substituut is voor verifieerbare beloningen of gecureerde ground-truth oplossingen. Hoewel SE een model kan "verscherpen" in zijn bestaande oplossingsmodi (het verbeteren van Pass@1), leert het een model niet betrouwbaar veel moeilijkere problemen op te lossen zonder externe signalen.
Capaciteitsdrempel: Zelfverbetering is sterk afhankelijk van model schaal. Kleinere modellen (bijv. 1B) falen vaak in effectieve zelf-evolutie door verifier-ruis, terwijl grotere modellen (12B+) multi-turn feedback kunnen gebruiken om de oracle-prestaties te benaderen.
Generalisatiekloof: Er bestaat een persistente kloof tussen zelf-geëvolueerde modellen en oracle-getrainde modellen, met name voor OOD generalisatie en open-ended redeneertaken. Het paper suggereert dat hoewel SE nuttig is voor het distilleren van latente verificatiecapaciteiten, het de noodzaak voor hoogwaardige externe supervisie in complexe domeinen van redeneren niet volledig kan vervangen.

Samenvattend biedt het werk een rigoureuze empirische baseline die laat zien dat hoewel zelf-evolutie meetbare verbeteringen biedt, het momenteel een plateau bereikt onder de prestatieplafond die haalbaar is met oracle-supervisie, tenzij het model voldoende groot is om als zijn eigen betrouwbare verifier en reviser te fungeren.