💻 computer science

Aryabhata 2: Scaling Reinforcement Learning for Advanced STEM Reasoning

Het artikel introduceert Aryabhata 2, een taalmodel getraind met versterkende leeropdrachten dat is gebaseerd op GPT-OSS-20B en dat door gebruikmaking van een hoogwaardig curriculum en progressieve uitrolverkenning superieure prestaties en een grotere token-efficiëntie behaalt op competitieve STEM-examens zoals JEE en NEET.

Oorspronkelijke auteurs: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een briljante maar enigszins verspreide student voor met de naam GPT-OSS-20B. Deze student heeft een enorme bibliotheek aan boeken gelezen en kent veel feiten, maar wanneer je hen vraagt een lastig meerstaps wiskundig of wetenschappelijk probleem op te lossen (zoals die in de zwaarste toelatingsexamens voor hogescholen in India), raken ze soms in de war, beginnen ze te zwammen of duurt het eeuwen voordat ze het antwoord opschrijven. Ze kunnen het juiste antwoord vinden, maar ze gebruiken veel "inkt" (computertokens) om dat te doen, wat duur en traag is.

De auteurs van dit paper wilden deze student veranderen in een kampioen probleemoplosser zonder een groter brein te kopen (een groter model). Ze creëerden een nieuwe student genaamd Aryabhata 2.

Hier is hoe ze dat deden, uitgelegd via eenvoudige analogieën:

1. Het Trainingsveld: Een Strikte Coach

In plaats van de student gewoon meer boeken te laten lezen (wat standaardtraining doet), traden de onderzoekers op als een strenge coach met behulp van Versterkend Leren.

Het Beloningssysteem: Stel je een videospel voor waarbij je alleen punten krijgt als je een puzzel correct oplost én het duidelijk uitlegt. Als de student het antwoord verkeerd heeft, krijgt hij nul punten. Als hij het antwoord wel goed heeft, maar een essay van 10 pagina's schrijft terwijl een paragraaf uitleg voldoende zou zijn, krijgt hij een lagere score.
De "Rechter": De coach vertrouwde niet zomaar het woord van de student. Ze gebruikten een superslimme "Rechter" (een andere AI) om elke stap te controleren. Als de wiskunde niet opging of de logica gebrekkig was, werd het antwoord direct afgewezen.

2. Het Leerplan: Van Makkelijk tot Onmogelijk

De onderzoekers gooiden de student niet direct in het diepe. Ze bouwden een trainingskamp op drie niveaus:

Niveau 1 (Opmaak): Eerst leerden ze de student hoe ze de pen correct moesten vasthouden. Ze richtten zich op het zorgen dat het antwoord er verzorgd uitzag en een specifieke structuur volgde.
Niveau 2 (De Grind): Vervolgens gaven ze de student duizenden oefenopgaven. Naarmate de student beter werd, maakte de coach de problemen moeilijker. Als de student bleef scoren op 70% goed, verving de coach ze door nog lastigere vragen.
Niveau 3 (De Wildcard): Tot slot lieten ze de student tegelijkertijd veel verschillende manieren proberen om hetzelfde moeilijke probleem op te lossen. Stel je voor dat je de student vraagt om 128 verschillende paden door een doolhof tegelijkertijd te proberen. Dit hielp hen slimme kortere routes te ontdekken die ze eerder niet hadden gezien.

3. Het Geheime Ingrediënt: "Verbrede Verkenning"

Bij het trainen van AI vraag je deze meestal om een probleem één keer op te lossen. Aryabhata 2 werd getraind om veel verschillende pogingen te genereren voor elke enkele vraag.

De Analogie: Denk aan een detective die een misdaad oplost. In plaats van één vermoeden te volgen, stuurt de detective 128 verschillende teams uit om naar aanwijzingen te zoeken. Als zelfs één team de juiste aanwijzing vindt, is de zaak opgelost. Deze methode hielp het model veel sneller en betrouwbaarder de "gouden weg" naar het antwoord te vinden.

4. De Resultaten: Sneller, Slimmer en Slanker

Toen ze Aryabhata 2 testten op echte examens (zoals JEE en NEET) en zelfs op supermoeilijke wiskundewedstrijden (zoals AIME), waren de resultaten indrukwekkend:

Betere Nauwkeurigheid: Het loste meer problemen correct op dan zijn "ouder"-model (GPT-OSS-20B) en versloeg zelfs sommige veel grotere, duurdere modellen.
De "Token"-Besparing: Dit is de grootste winst. Het oorspronkelijke model schreef vaak lange, kronkelige uitleg. Aryabhata 2 leerde bondig te zijn. Het gebruikte tot 64% minder woorden (tokens) om hetzelfde (of betere) resultaat te behalen.
- Analogie: Als het oude model als een toerist was die 100 foto's maakt om de perfecte shot te vinden, is Aryabhata 2 als een professionele fotograaf die de perfecte shot in één klik maakt.

De Conclusie

Het paper beweert dat ze door gebruik te maken van een zeer specifieke, hoogwaardige set oefenvragen en een slimme, meerstaps trainingsmethode, een standaard AI met 20 miljard parameters hebben omgetoverd tot een gespecialiseerd STEM-redeneerexpert. Het hoefde geen gigantisch model te zijn om slim te zijn; het had alleen de juiste soort oefening nodig en een coach die precies wist hoe goed gedrag te belonen.

Wat ze niet beweren:
Het paper beweert niet dat deze AI leraren kan vervangen, medische aandoeningen kan diagnosticeren of gebruikt kan worden voor algemeen gesprek. Het is specifiek gebouwd om wetenschaps-, wiskunde- en techniekproblemen op te lossen die voorkomen in competitieve examens, en fungeert als een zeer efficiënte tutor voor die specifieke vakken.

Technische Samenvatting: Aryabhata 2 – Schalen van Versterkingsleer voor Geavanceerd STEM-Redeneren

1. Probleemstelling

Competitieve STEM-examens, specifiek de Joint Entrance Examination (JEE) en de National Eligibility cum Entrance Test (NEET) in India, vormen een unieke uitdaging voor Large Language Models (LLM's). Deze examens vereisen meervoudige stapsgewijze symbolische redenering, nauwkeurige numerieke berekening en diepgaand conceptueel begrip in natuurkunde, scheikunde en wiskunde. In tegenstelling tot standaard benchmarks zijn deze problemen zorgvuldig opgezet om conceptuele diepgang te testen onder strikte beperkingen.

Hoewel recente LLM's sterke prestaties laten zien op algemene redeneerbenchmarks, staan ze voor aanzienlijke hindernissen bij de daadwerkelijke educatieve implementatie:

Schaalbaarheid: Het op grote schaal inzetten van geavanceerde modellen om miljoenen studentenvragen te behandelen, is kostentechnisch onhaalbaar vanwege hoge inferentiekosten en prijs per token.
Efficiëntie: Open-source modellen vereisen vaak grote aantallen parameters en genereren buitensporig lange denkketens, wat leidt tot hoge latentie en tokenverbruik.
Domeinspecificiteit: Algemene modellen missen vaak de specifieke syllabusdekking en stapsgewijze uitlijning die nodig zijn voor strategieën voor competitieve examens.

De auteurs identificeren een kloof tussen hoogpresterende maar dure modellen en efficiënte, domeinspecifieke oplossingen die in staat zijn nauwkeurige, beknopte en gestructureerde uitleg te geven voor studentenvragen.

2. Methodologie

Het paper introduceert Aryabhata 2, een op redenering gericht taalmodel getraind via versterkingsleer (RL) post-training. De methodologie is gebaseerd op een geünificeerde, uitsluitend RL-gebaseerde pijplijn die is ontworpen om redeneercapaciteiten te maximaliseren onder beperkte rekenkracht.

2.1 Basismodel en Architectuur

Basismodel: Het systeem is gebouwd op GPT-OSS-20B, een open-source Mixture of Experts (MoE)-model met 20 miljard parameters, waarvan 3,6 miljard actieve parameters.
Parameter-efficiënte Fijne Afstelling (PEFT): Om geheugenbeperkingen te beheersen (met gebruik van twee NVIDIA H100 NVL GPU's), maken de auteurs gebruik van Low-Rank Adaptation (LoRA). Adapters worden ingevoegd in de projectielagen voor attentie ( $q, k, v, o$ ) en de token-embeddingslaag. Dit resulteert in slechts ~0,15% trainbare parameters (31,8M van de 20,9B), wat het geheugengebruik aanzienlijk verkleint terwijl het aanpassingsvermogen behouden blijft.

2.2 Data Cureren en Verificatie

Het trainingscorpus is afgeleid van de interne vraagbanken van PhysicsWallah, aanvankelijk met 1,78 miljoen vragen.

Schoonmaakpijplijn: Een deterministische pijplijn verwijdert HTML-artefacten (specifiek <img>-tags), valideert LaTeX-syntaxis met pdflatex, filtert onvolledige vragen via een LLM-classificator en verwijdert niet-STEM-inhoud. Dit reduceert de dataset tot 1,25 miljoen vragen van hoge kwaliteit.
Antwoordverificatie: Om betrouwbare beloningssignalen te garanderen, wordt een geautomatiseerde verificatiepijplijn gebruikt met een Policy Model (GPT-OSS-120B) en een Judge Model (Qwen/Qwen3-30B-A3B-Thinking).
- Multi-Pass Sampling: Vragen worden in fasen geverifieerd (1, 4 of 16 samples). Een vraag wordt geaccepteerd als een gegenereerde oplossing als correct wordt beoordeeld, zodat het curriculum geldige redeneertrajecten bevat.
Curriculumconstructie: Vragen worden ingedeeld op moeilijkheidsgraad (Triviale, Leerbare, Uitdagende) op basis van het succespercentage van het basismodel bij het genereren. Scheikundevragen worden overgesampleerd om initiële prestatie-ongelijkheden aan te pakken.

2.3 Versterkingsleer Framework

De training maakt gebruik van Group Relative Policy Optimization (GRPO) met specifieke aanpassingen om te voldoen aan hardware- en taakbeperkingen:

KL-vrije Training: Referentiemodellen worden weggelaten om GPU-geheugen te besparen; KL-regularisatie wordt verwijderd.
Doelfunctie: Een DAPO-achtige afgeknipte doelfunctie met een asymmetrische bovenste afkappunt wordt gebruikt.
Beloningsfunctie: Een multiplicatieve beloning $R = R_{accuracy} \times R_{format}$ $R = R_{a cc u r a cy} \times R_{f or ma t}$ wordt toegepast:
- Nauwkeurigheidsbeloning ( $R_{accuracy}$ ): Berekend via een cascade van stringmatching, numerieke tolerantiematching en symbolische equivalentie (met math-verify). Voor enkelvoudig correcte meerkeuzevragen wordt gedeeltelijke credit (0,5) toegekend voor de juiste optietekst, zelfs als het label verkeerd is.
- Formaatbeloning ( $R_{format}$ ): Moedigt voldoende gedetailleerde eindantwoorden ( $S_{len}$ ) aan en een gebalanceerde verhouding tussen redenering en oplossingslengte ( $S_{ratio}$ ), waardoor te beknopte of buitensporig lange outputs worden voorkomen.

2.4 Trainingsfasen

De training verloopt in drie sequentiële fasen om stabiliteit en exploratie in evenwicht te brengen:

Fase 1 (Format Alignment): 300 stappen met een groepsgrootte van 8. Richt zich op het uitlijnen van het model met de gewenste outputstructuur met een mix van triviale en leerbare vragen.
Fase 2 (Prolonged RL): ~5.000 stappen. De groepsgrootte neemt toe van 8 naar 16. Het curriculum verschuift adaptief naar moeilijkere vragen naarmate de nauwkeurigheid verbetert. EMA-gebaseerde checkpoint-samenvoeging wordt gebruikt om de training te stabiliseren wanneer de beloningen stagneren.
Fase 3 (Broadened RL): ~700 stappen. De groepsgrootte breidt aanzienlijk uit (64 naar 128) om de exploratie van redeneertrajecten te verbreden en alternatieve oplossingsstrategieën te ontdekken.

3. Belangrijkste Bijdragen

Aryabhata 2 Model: Een model met 20 miljard parameters dat specifiek is geoptimaliseerd voor competitief STEM-redeneren, en aantoont dat gerichte RL op domeinspecifieke curriculum modellen kan laten presteren die aanzienlijk grotere basismodellen overtreffen.
Geünificeerde RL-pijplijn: Een nieuwe trainingsstrategie die strenge dataverificatie, moeilijkheidsbewuste curriculumconstructie en gefaseerde RL (verlengde optimalisatie + verbrede exploratie) combineert, en effectief werkt op beperkte hardware (2x H100).
Efficiëntiewinsten: Het model bereikt state-of-the-art prestaties onder open-source modellen terwijl het aanzienlijk minder tokens genereert (tot 64% minder dan het basismodel), waarmee de kostenbarrière voor grootschalige educatieve implementatie wordt aangepakt.
Uitgebreide Evaluatie: Validatie op in-distributie competitieve examens (JEE Main/Advanced, NEET) en out-of-distributie redeneerbenchmarks (AIME, HMMT, MMLU-Pro, GPQA).

4. Resultaten

4.1 In-Distributie Prestaties

Op benchmarks voor competitieve examens (JEE Main 2025/2026, JEE Advanced 2025, NEET 2025) bereikt Aryabhata 2 een gemiddelde Pass@1 van 88,95%, wat beter presteert dan het basismodel GPT-OSS-20B (83,00%) en vergelijkbaar is met veel grotere modellen zoals GPT-OSS-120B (88,28%) en Qwen3-30B-A3B (88,55%).

Token-efficiëntie: Aryabhata 2 reduceert outputtokens met 52–64% ten opzichte van GPT-OSS-20B.
Nauwkeurigheid per Token: Het bereikt 42,31 Acc./1K tokens, aanzienlijk hoger dan GPT-OSS-20B (15,68) en GPT-OSS-120B (26,66).

4.2 Out-of-Distributie Prestaties

Op algemene redeneerbenchmarks (AIME, HMMT, GPQA, MMLU-Pro, MMLU-Redux 2.0) bereikt Aryabhata 2 een gemiddelde Pass@1 van 87,64%.

Het verbetert op GPT-OSS-20B (84,95%) en Nemotron 3 Nano (83,48%).
Het toont aanzienlijke winsten op HMMT (+1,54 ten opzichte van het basismodel) en GPQA (+4,35 ten opzichte van het basismodel).
Hoewel het onder blijft van geavanceerde propriëtaire modellen (bijv. GPT-5 Mini, Gemini 2.5 Flash), toont het sterke generalisatie voor een model met 20 miljard parameters.

4.3 Efficiëntievergelijking

Over alle Out-of-Distributie (OOD) benchmarks heen reduceert Aryabhata 2 outputtokens met 24–71% ten opzichte van GPT-OSS-20B, en bereikt een OOD-nauwkeurigheid van 39,58 Acc./1K tokens.

5. Betekenis en Claims

Het paper stelt dat gerichte versterkingsleer op domeinspecifieke curriculum een effectieve strategie is voor het schalen van praktische STEM-redeneersystemen. De betekenis van het werk ligt in het aantonen dat:

Specialisatie boven Schaal: Een kleiner, efficiënt getraind model specifieke, hoog-risico redeneertaken beter kan uitvoeren dan grotere basismodellen.
Implementatiehaalbaarheid: Door strenge data-curatie te combineren met gefaseerde RL, is het mogelijk om hoogwaardige redeneringsmodellen te trainen op beperkte hardware (2x H100), waardoor geavanceerde AI-tutoring haalbaar wordt voor grootschalige educatieve systemen met miljoenen gebruikers.
Token-efficiëntie: De aanpak verbetert niet alleen de nauwkeurigheid, maar verlaagt de inferentiekosten drastisch door beknoptere, gestructureerde redeneerketens te genereren, waarmee direct de economische barrières voor het inzetten van LLM's in het onderwijs worden aangepakt.

De auteurs concluderen dat hun pijplijn stabiele training mogelijk maakt onder rekenkrachtbeperkingen terwijl sterke redeneringskwaliteit behouden blijft, en een haalbaar pad biedt voor real-world educatieve werklasten.