Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation
Dit artikel introduceert een "compete-then-collaborate"-framework waarbij frontier AI-modellen worden gerangschikt via executiegebaseerde verificatie om gezamenlijk een curriculum te construeren dat, wanneer gebruikt voor reinforcement learning met verifieerbare beloningen, de prestaties van een coderende student op moeilijke problemen aanzienlijk verbetert, terwijl traditionele imitatieleer op dezelfde oplossingen deze juist verslechtert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een programmeerklas voor met vier superster-leraren van verschillende techreuzen—laten we ze de Anthropic, OpenAI, xAI en Google-ploegen noemen—die zijn ingehuurd om één enkele, zeer slimme student te onderwijzen (een model genaamd Qwen2.5-Coder). Het doel? Te zien welke leraar de beste is en hoe je hun lessen kunt combineren om de student een programmeermagier te maken.
De onderzoekers zetten een enorme, prestigieuze programmeertoernooi op. In plaats van de leraren elkaars werk te laten beoordelen (wat er vaak toe leidt dat ze elkaar een A+ geven omdat ze gewoon vrienden zijn), gebruikten ze een strikte, robotachtige scheidsrechter: de computer zelf. Als de code die de leraar schreef daadwerkelijk draaide en de verborgen tests doorstond, was het een overwinning. Als de code crashte, was het een verlies.
Het Toernooi: Wie is de Beste Leraar?
Eerst werden de leraren geconfronteerd met twee soorten uitdagingen:
- De Makkelijke Dingen: Standaard programmeerproblemen. Hier waren alle vier de leraren zo goed dat ze, na een beetje "zelfcorrectie" (een tweede kans krijgen om fouten te herstellen), allemaal bijna een perfecte score van 99–100% haalden. De paper suggereert dat dit niet komt omdat ze allemaal even geniaal zijn, maar omdat ze al deze specifieke problemen hebben gezien in hun trainingsdata. Het is alsof een student een oefentoets haalt die hij al uit het hoofd heeft geleerd.
- De Moeilijke Dingen: Tricky, competitie-niveau problemen. Dit is waar de echte verschillen naar voren kwamen.
- Gemini nam de leiding door 77% van de moeilijke problemen op te lossen.
- Claude en Codex (OpenAI) lagen nek aan nek, beide losten 69% op.
- Grok bleef achter met 50%.
De paper merkt voorzichtig op dat hoewel Gemini leidde, het verschil niet enorm was, en de ranglijst is gebaseerd op wat de code strikt deed, niet op wat de leraren zeiden dat ze deden.
De Grote Verrassing: Het Kopiëren van de Leraren Schaadt Eigenlijk Juist
Hier is de wending die de gebruikelijke regels van de school doorbreekt. Normaal gesproken, als je een heleboel slimme leraren hebt, denk je dat de beste manier om te leren is om hun huiswerk na te doen. De onderzoekers probeerden dit: ze namen de geverifieerde, werkende code van alle leraren en lieten het studentmodel de code simpelweg imiteren (een methode die SFT wordt genoemd).
Het resultaat? De student werd slechter.
- Op standaardtests daalde de score van de student van 76,7% naar 72,7%.
- Op de moeilijke competitieproblemen stortte de score neer van 5,9% naar 2,9%.
De paper betoogt dat voor een student die al competent is, het simpelweg kopiëren van de antwoorden niet helpt; het verwart hen zelfs. Het is alsof een getalenteerde basketballer probeert te leren door een highlightreel van vier verschillende professionals te bekijken en vervolgens probeert al hun bewegingen tegelijkertijd na te doen—het verstoort hun eigen ritme. De "kennisconflict" van het proberen te zijn zoals iedereen anders, maakte hen slechter in zichzelf zijn.
De Winnen Strategie: Leren door te Doen, Niet door te Kopiëren
Dus, als kopiëren faalt, wat werkt dan wel? De onderzoekers probeerden een andere aanpak genaamd RLVR (Reinforcement Learning with Verifiable Rewards).
In plaats van de student de definitieve antwoorden van de leraren te geven om te kopiëren, gebruikten ze de geverifieerde problemen van de leraren als een oefenveld. De student kreeg de ruimte om de problemen op eigen kracht op te lossen.
- Als de code van de student draaide en de tests doorstond, kreeg de student een "beloning" (een high-five van de computer).
- Als het mislukte, kreeg de student geen beloning en moest hij het opnieuw proberen.
Dit werkte!
- De score van de student op de moeilijke competitieproblemen sprong van 5,9% naar 8,8% op het hoogtepunt.
- Dat is een relatieve verbetering van 49%.
De paper suggereert dat de waarde van het hebben van meerdere leraren niet ligt in het samenvoegen van hun antwoorden zodat de student ze kan kopiëren, maar in het bouwen van een enorme, geverifieerde "sportschool" waar de student leert door het werk zelf te doen en feedback te krijgen over of het daadwerkelijk werkt.
De Kern van het Verhaal
De paper concludeert dat hoewel we deze AI-leraren kunnen rangschikken op basis van hoe goed hun code draait, de echte magie gebeurt wanneer we stoppen met vragen aan de student om de leraren te imiteren en in plaats daarvan het werk van de leraren gebruiken om een uitdagende omgeving te creëren waarin de student leert door middel van trial-and-error.
Het gaat er niet om dat de slimste leraar in de kamer staat; het gaat om het bouwen van een speeltuin waar de student kan oefenen, kan falen, een duidelijke signalering krijgt over wat er misging, en het opnieuw kan proberen totdat hij slaagt. De onderzoekers hebben al hun code en data vrijgegeven zodat iedereen deze tests zelf kan uitvoeren en kan zien dat de cijfers kloppen, wat bewijst dat soms de beste manier om te leren is om te stoppen met kopiëren en te beginnen met doen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.