💬 NLP

OpenSIR: Open-Ended Self-Improving Reasoner

OpenSIR is een self-play framework dat grote taalmodellen in staat stelt om continu hun redeneervermogen te verbeteren door afwisselend als leraar en leerling op te treden om nieuwe problemen te genereren en op te lossen zonder externe annotaties, waarbij consistente prestatiewinst wordt behaald over wiskunde- en algemene redeneerbenchmarks.

Oorspronkelijke auteurs: Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wai-Chung Kwan, Aryo Pradipta Gema, Joshua Ong Jun Leang, Pasquale Minervini

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante student hebt die al elk wiskundeboek in de bibliotheek uit zijn hoofd kent. Ze zijn geweldig in het oplossen van standaardproblemen, maar ze zijn tegen een plafond gestoten. Ze kunnen niet meer beter worden omdat ze niet meer nieuwe dingen leren; ze blijven alleen maar dezelfde oude oefeningen herhalen.

Dit is het probleem dat het papier OpenSIR probeert op te lossen.

Het Probleem: De "Echokamer" van het Leren

Huidige AI-modellen (zoals die achter DeepSeek-R1 of OpenAI's o1) worden meestal getraind met Reinforcement Learning with Verifiable Rewards (RLVR). Denk hierbij aan een student die een gestandaardiseerde toets maakt waarbij een menselijke docent elk antwoord nakijkt.

De Bottleneck: Je hebt duizenden door mensen geannoteerde voorbeelden nodig (docenten die papieren nakijken) om dit te doen.
De Limiet: Zodra de student de door mensen samengestelde toetsen onder de knie heeft, stopt de verbetering. Ze kunnen niet verder gaan dan het "menselijke niveau", omdat ze alleen leren van wat mensen al hebben opgeschreven.

Sommige onderzoekers probeerden Self-Play, waarbij de AI tegen zichzelf speelt om te leren. Stel je een schaker voor die tegen een kloon van zichzelf speelt.

Het Falen: Eerdere self-play methoden faalden bij geavanceerde modellen. Waarom? Omdat de AI steeds weer dezelfde soorten problemen bleef genereren die hij al kende. Het was als een student die alleen maar tafelvermenigvuldiging blijft oefenen, terwijl hij nooit algebra of calculus probeert te leren. Ze kwamen vast te zitten in een lus van "vertrouwde concepten".

De Oplossing: OpenSIR (De "Nieuwsgierige Leraar-Leerling")

De auteurs introduceren OpenSIR (Open-Ended Self-Improving Reasoner). Het is een framework waarbij één enkel AI-model tegelijkertijd twee rollen speelt: De Leraar en De Leerling.

Denk aan een persoon die zowel de fitnesscoach als de atleet is, maar met een speciale twist: die persoon probeert constant nieuwe workouts uit te vinden die precies uitdagend genoeg zijn om uitdagend te zijn, maar niet zo moeilijk dat ze onmogelijk zijn.

Zo werkt de cyclus, stap voor stap:

1. De Zaadje (De Vonk)

Je begint met één extreem simpel probleem, zoals "Wat is 1 + 1?". Dit is de enige menselijke input die je nodig hebt.

2. De Taak van de Leraar (Nieuwe Uitdagingen Uitvinden)

De AI (die optreedt als de Leraar) kijkt naar het simpele zaadje en probeert een nieuw wiskundig probleem uit te vinden.

De Valstrik: Zonder sturing zou de Leraar steeds weer "Wat is 2 + 2?" en "Wat is 3 + 3?" verzinnen.
De Oplossing (Diversity Reward): OpenSIR geeft de Leraar een "bonuspunt" voor het creëren van problemen die anders zijn dan alles wat hij eerder heeft gezien. Het is als een chef die een bonus krijgt voor het uitvinden van een gerecht met ingrediënten die hij nog nooit samen heeft gebruikt. Dit dwingt de AI om nieuwe wiskundige concepten te verkennen (zoals calculus, kansberekening of optimalisatie) in plaats van de rekenkunde te herhalen.

3. De Taak van de Leerling (De Uitdaging Oplossen)

De AI (die optreedt als de Leerling) probeert het nieuwe probleem op te lossen dat de Leraar heeft uitgevonden.

De Valstrik: Als de Leraar een probleem verzint dat te moeilijk is of defect is (bijv. ontbrekende getallen), kan de Leerling het niet oplossen, en vindt er geen leren plaats.
De Oplossing (Difficulty Calibration): OpenSIR controleert of het probleem "precies goed" is. Het gebruikt een "Solvability Score" (oplosbaarheidsscore). Als het probleem te makkelijk is, is het saai. Als het te moeilijk of defect is, is het nutteloos. Het systeem beloont alleen problemen die uitdagend maar oplosbaar zijn.

4. De Lus (Co-evolutie)

De Leraar en de Leerling leren samen.

Naarmate de Leerling beter wordt in het oplossen van problemen, wordt de Leraar gedwongen om moeilijkere en complexere problemen uit te vinden om die "bonuspunten" te blijven verdienen.
Naarmate de Leraar beter wordt in het verzinnen van complexe problemen, leert de Leerling deze op te lossen.
Ze duwen elkaar voort, waardoor een eindeloze cyclus van leren ontstaat zonder dat er een mens aan te pas komt om een enkel blaadje na te kijken.

Waarom het een Groot Ding is

Het papier testte dit op zeven verschillende wiskunde-benchmarks en drie algemene redeneertests. Dit is wat er gebeurde:

De "Door Mensen Beoordeelde" Baseline Verslaan: OpenSIR begon met slechts één triviaal probleem ("1+1"). Ondanks dat het nul door mensen geannoteerde trainingsdata had, presteerde het beter dan modellen die getraind zijn op meer dan 7.000 door mensen beoordeelde voorbeelden.
De "Stuck" Modellen Oplossen: Eerdere self-play methoden maakten geavanceerde modellen zelfs slechter of hielpen ze helemaal niet. OpenSIR verbeterde hen consequent.
Generaliseren: De geleerde vaardigheden waren niet alleen voor wiskunde. Omdat de AI werd gedwongen om diverse concepten te verkennen, werd het ook beter in algemene redeneertaken (zoals logische puzzels).

Het Geheim van het Succes

Het papier vond dat twee zaken absoluut cruciaal waren:

Diversiteit: Als je de "bonus voor het anders zijn" verwijdert, stopt de AI met het leren van nieuwe dingen en daalt de prestatie.
Kalibratie: Als je niet controleert of de problemen oplosbaar zijn, begint de AI onzin te genereren en stopt het leren.

In een Notendop

OpenSIR is als een zelfrijdende auto die niet alleen op dezelfde weg rijdt die hij van een kaart heeft geleerd. In plaats daarvan verzint hij nieuwe wegen, controleert of ze begaanbaar zijn, en leert hij op die wegen te rijden, om uiteindelijk een betere bestuurder te worden dan welke menselijke instructeur dan ook hem had kunnen leren — en dat allemaal zonder dat er ooit een mens aan te pas kwam om te vertellen waar hij de bocht om moet sturen.

Technische Samenvatting: OpenSIR: Open-Ended Self-Improving Reasoner

Probleemstelling

Recente vooruitgang in het redeneervermogen van Large Language Models (LLM's), zoals DeepSeek-R1 en OpenAI o1, leunt zwaar op Reinforcement Learning met Verifieerbare Beloningen (RLVR) met behulp van uitgebreide door mensen geannoteerde datasets. Deze afhankelijkheid creëert een schaalbaarheidsbottleneck en kan de prestaties van modellen potentieel beperken tot het menselijke niveau. Hoewel zelfspel (self-play) een pad biedt om menselijke prestaties te overtreffen door te leren van ondubbelzinnige beloningssignalen (zoals gezien in spellen als Go en Poker), stuit het toepassen hiervan op wiskundig redeneren op een fundamenteel obstakel: gegenereerde problemen missen grondwaarheid-antwoorden voor feedback.

Bestaande zelfspelmethoden proberen dit te omzeilen door gebruik te maken van externe verifieerders (bijv. compilers) of heuristische signalen (bijv. meerderheidsstemmen). Echter, wanneer deze worden toegepast op modellen die al aanzienlijke post-training hebben ondergaan op door mensen gecureerde data, leveren deze methoden slechts marginale of zelfs negatieve winst op. Het artikel identificeert een diepere beperking: eerdere benaderingen slagen er niet in om open-ended leren te ondersteunen. Zonder expliciete prikkels voor nieuwheid vervalt de "leraar"-component van zelfspel in bekende probleemtemplates, waardoor het stopt met het genereren van nieuwe leersignalen. Bijgevolg kunnen deze methoden goed getrainde modellen niet voorbij hun huidige capaciteiten duwen.

Methodologie: OpenSIR

De auteurs stellen Open-Ended Self-Improving Reasoner (OpenSIR) voor, een zelfspel-framework waarbij een enkele policy $\pi_\theta$ afwisselend de rollen van leraar (probleemgeneratie) en student (probleemoplossing) vervult zonder externe supervisie of geannoteerde data. Het framework bootstrapt vanuit een enkele triviale zaad-probleem (bijv. "Wat is 1+1?").

Elke trainingsiteratie bestaat uit vier fasen:

Probleemgeneratie: De leraar genereert $G$ nieuwe problemen, geconditioneerd op referentieproblemen die zijn gesampled uit een geaccumuleerde pool.
Oplossing Sampling: De student probeert meerdere oplossingen per probleem. Een referentieantwoord wordt bepaald via meerderheidsstemmen, en een "solve rate" (oplospercentage) wordt berekend om de betrouwbaarheid te meten.
Scoring:
- Leraar Scoring (Nieuwheid): Problemen worden gescoord op basis van Moeilijkheidsgraad en Diversiteit.
  - Moeilijkheidsgraad: Gemeten via een oplosbaarheidsscore (driehoekige functie die piekt bij een optimaal oplospercentage, bijv. 0,5–0,9) en de lengte van de oplossing (om meerstaps redeneren aan te moedigen).
  - Diversiteit: Gemeten via de embedding-afstand (cosine distance) tussen het nieuwe probleem en de bestaande probleempool om exploratie van semantisch nieuwe concepten te waarborgen.
- Student Scoring (Correctheid): Gebaseerd op de nauwkeurigheid van het geparseerde antwoord tegenover het referentieantwoord en de juiste formattering.
Model Update: De policy wordt bijgewerkt met een Group Relative Policy Optimization (GRPO)-achtige doelstelling. Hoogwaardige probleem-oplossing paren worden geselecteerd op basis van nieuwheidsscores, waarbij de helft van de batch wordt toegewezen aan leraartraining en de andere helft aan studenttraining.

Cruciaal is dat OpenSIR dual-role training gebruikt, waarbij zowel de leraar als de student co-evolueren. Dit stelt de leraar in staat om de moeilijkheidsgraad van problemen dynamisch te kalibreren naarmate de capaciteiten van de student verbeteren, wat voorkomt dat er problemen worden gegenereerd die ofwel te makkelijk ofwel te moeilijk zijn (en dus ongeldig zijn).

Belangrijkste Bijdragen

Identificatie van Foutmodi: Het artikel toont aan dat bestaande zelfspelmethoden falen op goed post-getrainde modellen omdat ze geen mechanismen hebben om nieuwheid te handhaven, wat leidt tot repetitieve probleemgeneratie en prestatieverslechtering.
OpenSIR Framework: De introductie van het eerste zelfspel-framework dat in staat is tot open-ended zelfverbetering vanuit een enkele triviale zaad (seed). Het optimaliseert gezamenlijk voor probleem-moeilijkheidsgraad (kalibratie) en diversiteit (exploratie) zonder externe verifieerders.
Empirische Superieuriteit: OpenSIR verbetert consequent de prestaties over zeven wiskundige benchmarks (GSM8K, MATH-500, Minerva, OlympiadBench, College Math, AIME 2024/2025) en drie algemene redeneerbenchmarks (BBEH, MMLU-Pro, SuperGPQA).
Instruction Models: Op Llama-3.2-3B-Instruct en Llama-3.1-8B-Instruct behaalde OpenSIR gemiddelde winsten van +3,99 en +3,27 op wiskundig redeneren, respectievelijk. Dit overtrof de GRPO-baselines getraind op >7.000 door mensen geannoteerde voorbeelden (die +2,69 en +1,91 wonnen) en andere zelfspelmethoden (Absolute Zero, R-Zero), die verwaarloosbare of negatieve winsten lieten zien.
Reasoning Models: Op zwaar post-getrainde redeneermodellen (DeepSeek-R1-Distill-Llama-8B en Qwen3-8B) verbeterde OpenSIR het wiskundig redeneren met respectievelijk +3,71 en +2,41. In contrast hiermee boden data-gebaseerde GRPO-baselines minimale winst, terwijl andere zelfspelmethoden vaak de prestaties verslechterden.
Algemene Redeneeroverdracht: OpenSIR was de enige methode die consistent de algemene redeneercapaciteiten verbeterde, met winsten van +4,79 en +4,41 op de redeneermodellen. Dit suggereert dat training op diverse, zelfgegenereerde nieuwe problemen overdraagbare redeneervaardigheden ontwikkelt, niet alleen wiskundige bekwaamheid.
Ablatie-studies:
- Diversiteitsbeloning: Het verwijderen van de diversiteitsbeloning verminderde de wiskundige nauwkeurigheid met ~2,7 punten en het algemeen redeneren met ~2,5 punten, terwijl het aantal unieke verkende concepten werd gehalveerd.
- Dual-Role Training: Alleen de student trainen (met een vaste leraar) resulteerde in een significante daling van de prestaties en instabiele moeilijkheidsgraad van problemen, wat de noodzaak van co-evolutie bevestigt.
- Seed Robuustheid: De methode presteerde consistent, ongeacht of de initiële zaad een triviaal rekenprobleem, een geometrieprobleem of een competitieniveau-probleem was.

Betekenis

Het artikel beweert dat OpenSIR een overtuigend paradigma vertegenwoordigt voor open-ended autonome wiskundige redeneerontwikkeling. Door moeilijkheidsgraad-kalibratie en diversiteitsbeloningen te combineren, stelt het modellen in staat om hun capaciteiten recursief uit te breiden voorbij de grenzen van door mensen geannoteerde data.

De auteurs benadrukken dat deze aanpak de afhankelijkheid van uitgebreide gecureerde datasets elimineert, wat een bottleneck vormt voor schaalbaarheid. De resultaten suggereren dat modellen effectief hun wiskundig redeneervermogen kunnen bootstrappen door recursieve zelfverbetering, mits het systeem expliciet wordt geprikkeld om nieuwe concepten te verkennen in plaats van vertrouwde zaken te herhalen. Hoewel het artikel opmerkt dat de prestaties uiteindelijk een plateau bereiken na langdurige training, vestigt het de stelling dat nieuwheidsgestuurd zelfspel een levensvatbaar en noodzakelijk pad is om LLM's voorbij menselijk niveau te duwen in redeneertaken.