🤖 AI

A-Evolve-Training: Autonomous Post-Training of a 30B Model

Dit artikel rapporteert de eerste publiekelijk gedocumenteerde instantie van een autonoom systeem dat succesvol end-to-end post-training heeft uitgevoerd op een 30B frontier model zonder menselijke tussenkomst, waarbij het competitieve leaderboard-prestaties behaalde en het vermogen demonstreerde om onafhankelijk zijn eigen misleidende evaluatiemetrieken te detecteren en te corrigeren.

Oorspronkelijke auteurs: Zhan Shi, Bing He, Yisi Sang, Hanqing Lu

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhan Shi, Bing He, Yisi Sang, Hanqing Lu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een team van onderzoekers voor die proberen een zeer slimme robot (een AI-model met 30 miljard parameters) te leren hoe hij complexe logische puzzels moet oplossen. Meestal is dit een traag, door mensen gedomineerd proces: een team raadt een nieuwe strategie, voert een test uit die weken duurt, controleert de resultaten en besluit wat ze behouden.

Dit artikel beschrijft een systeem genaamd A-Evolve-Training dat dit hele proces autonoom deed—zonder dat er wekenlang mensen aan de knoppen zaten.

Hier is het verhaal van wat ze deden, hoe ze het deden en wat ze ontdekten, uitgelegd via eenvoudige analogieën.

1. De Grote Uitdaging: Het "Dure Experiment"-probleem

Denk aan het trainen van een kleine AI (zoals de oude GPT-2) als het bakken van een enkele koekje. Het duurt een paar minuten, kost bijna niets, en als het aanbrandt, gooi je het gewoon weg en bak je er weer een. Je kunt in een middag 1.000 recepten proberen.

Het trainen van een enorme "frontier" AI (30 miljard parameters) is als het bakken van een gigantisch, meerdaags banket voor een hele stad. Het duurt weken, kost een fortuin aan elektriciteit en hardware, en als je de fout in gaat met het recept, kun je niet zomaar "het nog een keer proberen". Je moet extreem voorzichtig zijn.

Eerdere AI-research agents waren goed in het bakken van koekjes (kleine modellen). Dit team vroeg: Kan een AI-agent het gigantische banket bakken zonder een menselijke chef die over de schouder meekijkt?

2. De Oplossing: De "Onveranderlijke Keuken" en "Resetknoppen"

Om dit werkend te krijgen, moest het team een groot probleem oplossen: Consistentie. Als je een AI laat de oven, de ingrediënten en de maatbekers aanpassen elke keer dat hij een nieuw recept probeert, weet je niet of de taart mislukte door het recept of omdat de oven kapot was.

Ze ontwierpen het systeem met drie belangrijke regels, gebruikmakend van een principe van "Symmetrische Vrijheid":

De Onveranderlijke Keuken (Het Substraat): Stel je een keuken voor waar de oven, de aanrechten en de basisgereedschappen zijn vastgelegd door een mens. Geen enkele AI mag deze aanraken. Dit zorgt ervoor dat elke experiment start vanuit exact dezelfde, perfecte basis.
De Resetknop (Geheugenloze Werkers): In plaats van een "Data Agent" die een halfgebakken taart doorgeeft aan een "Baking Agent", die het vervolgens doorgeeft aan een "Eating Agent", gebruikt het systeem 8 identieke klonen.
- Elke ronde creëert het systeem 8 klonen.
- Elke kloon krijgt een verse kopie van de onveranderlijke keuken.
- Elke kloon probeert een andere aanpassing (bijv. "meer chocolade toevoegen", "langer bakken", "de bloem veranderen").
- Ze bakken, proeven en rapporteren.
- Cruciaal: Wanneer de ronde voorbij is, wordt alles weggegooid. De volgende ronde begint met 8 verse klonen en een verse keuken. Dit voorkomt dat "slechte gewoontes" of verborgen fouten zich opstapelen.
De Hoofdchef (De Meta-Agent): Een centrale AI leest de rapporten van de 8 klonen. Hij verandert niet de keuken; hij verandert alleen de instructiehandleiding voor de volgende ronde. Hij beslist: "Oké, het idee met de chocolade werkte, maar het idee met de bloem faalde. Laten we de volgende keer meer variaties op chocolade proberen."

3. Het Resultaat: De Mensen Verslaan (Bijna)

Het systeem draaide vier rondes gedurende meerdere weken.

De Score: Het uiteindelijke AI-model scoorde 0,86 op een moeilijke redeneeruitdaging.
De Competitie: Het beste menselijke team scoro 0,87.
De Ranking: De AI eindigde op de 8e plaats van ongeveer 4.000 inzendingen.

Dit is een enorme zaak omdat het bewijst dat een AI een complexe, meerweekse researchcampagne op eigen kracht kan draaien en resultaten kan behalen die bijna niet te onderscheiden zijn van de beste menselijke teams.

4. De Echte Ontdekking: "De Valstrik van de Makkelijke Metriek"

Het meest interessante deel van het artikel is niet alleen de score; het is een moment waarop de AI zijn eigen instructies te slim af was.

De Valstrik: In het begin kreeg de AI de opdracht om zijn "interne ontwikkelingsscore" (een oefentoets) te maximaliseren. De AI vond een truc: hij kon zijn interne score tot recordhoogtes drijven door zich te focussen op één specifiek type logische puzzel (vergelijkingen).
De Realisatie: De AI merkte dat, zelfs toen zijn interne score perfect was, zijn prestaties op de echte ranglijst niet verbeterden. Hij realiseerde zich: "Wacht even, ik word beter in de oefentoets, maar ik word niet echt slimmer in het echte spel. De oefentoets liegt tegen me."
De Wending: In plaats van blindelings achter de hoge interne score aan te jagen, veranderde de AI zijn eigen strategie. Hij besloot de makkelijke metriek te negeren en in plaats daarvan dingen te proberen die de interne score misschien wel zouden verlagen, maar die wel zouden helpen op de echte ranglijst.
Waarom dit ertoe doet: Dit is de eerste keer dat een autonoom systeem heeft gedetecteerd dat zijn eigen meetinstrument defect was en zijn eigen zoekstrategie heeft gecorrigeerd. Het optimaliseerde niet alleen; het ontdekte een fout in de regels van het spel en veranderde de manier waarop het het spel speelde.

Samenvatting

Dit artikel beweert dat voor het eerst een AI succesvol een volledige, end-to-end researchcampagne op een massief model heeft uitgevoerd zonder menselijke hulp.

Het volgde niet alleen bevelen op: Het ontdekte wanneer zijn eigen "scorekaart" misleidend was en paste zijn aanpak aan.
Het bakte niet alleen koekjes: Het bakte het gigantische banket, waarmee werd bewezen dat autonome research kan werken op een schaal waarbij fouten kostbaar zijn.
De kernboodschap: We bewegen van AI die optimaliseert binnen een vaste box, naar AI die de box kan herontwerpen wanneer zij beseft dat de box fout is.

De auteurs benadrukken dat dit een "eerste stap" is en geen voltooid product, maar het zet de lat hoog voor wat autonome AI-research vandaag de dag kan bereiken.

Technische Samenvatting: A-Evolve-Training

Probleemstelling
Huidige autonome onderzoeksystemen, zoals de "AI Scientist"-lijn van werk, opereren op een schaal (bijv. GPT-2 klasse, ~124M parameters) waarbij de kosten van een enkele experimentele trial verwaarloosbaar zijn. In dit regime kunnen loops vertrouwen op goedkope herhalingen (retries), uitputtend zoeken (sweeping) en gespecialiseerde agenten die tussenliggende staten doorgeven. Echter, frontier post-training (bijv. 30B+ parameters) presenteert een fundamenteel andere kostenstructuur: een enkele trainingsronde duurt weken op H200 GPU-clusters, en de ruis in een enkele run is bindend in plaats van gemiddeld te kunnen worden. Het kernprobleem dat wordt aangepakt, is of een autonome loop effectief kan sluiten onder deze "frontier"-beperkingen, waarbij de stappen die gratis zijn op kleine schaal (herhalingen, staat-stapeling) prohibitief worden, en waar de zoekruimte complexe code en data-recepten omvat in plaats van vaste hyperparameters.

Methodologie: Het A-Evolve-Training Systeem
De auteurs stellen een systeem voor dat specifiek is ontworpen om te overleven in de kostenstructuur van frontier post-training. De architectuur is gebouwd op drie pijlers, verenigd door het principe van asymmetrische vrijheid: het verlenen van nul vrijheid op assen die invariant moeten blijven voor vergelijkbaarheid, en maximale vrijheid op assen waar exploratie waarde creëert.

Onveranderlijk Referentie-Substraat:
Het systeem verankert zich op een enkele, door mensen geverifieerde werkruimte (default/) die het basis-checkpoint, de data-constructie pipeline en de trainings-/evaluatiecode bevat. Elke ronde vertrekt vanuit dit onveranderlijke substraat. Cruciaal is dat het substraat nooit wordt overschreven door een "winnend" recept, en dat geen enkele ronde voortkomt uit de winnaar van een vorige ronde. Dit zorgt ervoor dat alle kandidaten tegen dezelfde grond worden gemeten, wat de drift en onwaargenomen variantie voorkomt die eerdere ontwerpen met gespecialiseerde agenten die tussenliggende staten doorgeven, hebben geteisterd.
Homogene, Geheugenloze Workers:
In plaats van gespecialiseerde agenten (bijv. een data-agent die de overdracht doet naar een trainer), lanceert elke ronde $N=8$ identieke, full-stack agenten. Elke worker krijgt een specifieke as toegewezen om te verkennen (bijv. data-mix, schema, filtering) en opereert onafhankelijk zonder staat mee te dragen over rondes heen. Dit ontwerp voorkomt de stapeling van onwaargenomen variantie die optreedt wanneer agenten voortbouwen op elkaars tussenliggende staten.
Evidence Aggregatie op Rondeniveau & Policy-Only Promotie:
Selectie vindt plaats op rondeniveau, niet op individueel kandidaat-niveau. Een "one-shot" collector-agent aggregeert de resultaten van alle workers in een rapport met een vast schema. Een meta-agent, beperkt door een bevroren "grondwet" (een read-only systeemprompt die de agent niet kan wijzigen), herschrijft de rollende zoekstrategie (search policy) voor de volgende ronde op basis van dit bewijs.
- Promotiemechanisme: Het systeem promoot niet een specifiek recept naar het substraat. In plaats daarvan werkt het de policy bij (bijv. welke assen te verkennen, wat het baseline recept moet zijn, wat de ruisdrempel is). Het substraat blijft statisch; alleen de zoekstrategie evolueert.

Belangrijkste Bijdragen

Opschalen van Autonome Loops naar de Frontier-klasse: Het artikel rapporteert de eerste publiekelijk bekende autonome post-training run op de 30B parameter schaal, die meerdere weken op GPU-clusters draaide zonder menselijke tussenkomst tussen de initiële substraat-setup en de uiteindelijke indiening.
Architecturale Verschuiving voor Omgevingen met Hoge Kosten: De auteurs demonstreren dat het "gespecialiseerde agent"-paradigma op schaal faalt door staat-stapeling. Ze stellen "geheugenloze, homogene workers" en een "onveranderlijk substraat" voor als het noodzakelijke ontwerppatroon voor omgevingen met hoge kosten en lage herhaalbaarheid.
Autonome Ontdekking van Proxy-falen: Het systeem optimaliseerde niet enkel binnen een vast kader; het detecteerde dat zijn interne ontwikkelingsmetriek een misleidende proxy was geworden voor externe prestaties. Specifiek identificeerde de loop dat het maximaliseren van prestaties op een specifieke "zwakke" redeneer-domein (wat de interne scores naar recordhoogte dreef) niet vertaalde naar de externe leaderboard. Bijgevolg reviseerde de loop autonoom zijn zoekpolicy om de interne proxy op dat domein te verlagen terwijl de externe target werd verbeterd, waarmee het zijn eigen zoekpremisse falsifieerde.

Resultaten

Prestaties: Het autonoom geproduceerde model behaalde een score van 0,86 op de NVIDIA Nemotron-Reasoning Challenge op een gehouden leaderboard, vergeleken met de hoogste menselijke inzending van 0,87. Dit plaatste het autonome systeem op de 8e plaats van ongeveer 4.000 inzendingen.
Convergentie: Het systeem draaide vier ronden en vertoonde een monotone verbetering.
Strategische Omkering: In latere ronden ontdekte het systeem dat het pushen van de interne metriek (specifiek op een zwak redeneer-domein) niet langer de causale bottleneck was. Het keerde zijn doelstelling om: het zocht naar interventies die de interne proxy verlaagden maar de externe target verbeterden, een zet die contra-intuïtief zou zijn voor een vaste optimalisatie-agent.
Bewijs voor Opschaalbaarheid: Dezelfde methode werd toegepast op 120B en 550B Nemotron modellen, wat aantoont dat de loop sluit op deze schalen, hoewel de auteurs claims over de concurrentiekracht ten opzichte van menselijke recepten bij deze groottes uitstellen vanwege het gebrek aan publieke menselijke baselines voor deze omvang.

Betekenis en Claims
Het artikel hanteert een bescheiden, operationele visie op "recursieve zelfverbetering" (RSI). Het claimt niet RSI te hebben opgelost of menselijke onderzoekers in algemene zin te hebben evenaren. In plaats daarvan claimt het een specifieke, controleerbare drempel te hebben gehaald: het vermogen van een autonoom systeem om end-to-end post-training van een frontier-class model uit te voeren.

De auteurs stellen dat de meest significante bevinding niet de uiteindelijke score is, maar het vermogen van het systeem om de regels van zijn eigen zoekproces te herzien. Door te detecteren dat zijn meetkader misleidend was geworden en autonoom te veranderen wat als bewijs telde (door de focus te verschuiven van het maximaliseren van de interne proxy naar het optimaliseren van de externe target, ondanks de daling van de proxy), demonstreerde het systeem "ontdekking" in plaats van louter "optimalisatie". Dit suggereert dat geschaalde autonome loops bevindingen kunnen produceren die buiten de initiële aannames van een operator over wat een geldige bewijsvoering vormt, liggen.

Het artikel concludeert dat hoewel het huidige resultaat een enkel datapunt is met beperkingen (enkele basismodel, enkele benchmark, vooraf gecontroleerd substraat), het bewijst dat de drempel voor autonome frontier post-training bereikbaar is en dat dergelijke loops zelfcorrigerend gedrag kunnen vertonen met betrekking tot hun eigen zoekstrategieën.