Question Begets Question: Self-Evolving Curriculum for Reinforcement Fine-Tuning on Competition Mathematics
Dit artikel introduceert "Question Begets Question" (QbQ), een zelf evoluerend curriculum dat iteratief varianten van problemen genereert vanuit de huidige sterktes van een model om schaarste aan data en beperkingen in redeneersporen te overwinnen, waarbij het succesvol prestatieplateaus doorbreekt in de fijnafstemming voor competitieve wiskunde door een pass@1 score van 16,5% op AIME te behalen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je probeert een briljante maar onervaren student te leren hoe je de moeilijkste raadsels ter wereld oplost. Je hebt een bibliotheek met raadsels, maar deze is piepklein en je hebt geen antwoordsleutels met stapsgewijze uitleg—alleen de uiteindelijke antwoorden. Je probeert de student te onderwijzen door meer raadsels te geven, maar ongeacht hoeveel je toevoegt, loopt de student tegen een muur aan. De student blijft steken op een bepais niveau van vaardigheid en weigert beter te worden, zelfs met meer oefening. Dit is een veelvoorkomend hoofdpijnprobleem voor wetenschappers die werken aan Kunstmatige Intelligentie (AI). Ze willen dat AI complexe vaardigheden leert zoals wiskunde of recht, maar ze raken vaak door de blik op de juiste oefenproblemen heen, missen gedetailleerde "denkprocessen" om de AI te laten zien hoe ze moet denken, en zien de AI een frustrerend "plafond" bereiken waar het simpelweg stopt met verbeteren.
Dit artikel duikt in dat exacte probleem. De onderzoekers wilden zien of ze dat leerplafond konden doorbreken zonder dat er een menselijke leraar nodig was om elke stap van de oplossing uit te schrijven. Ze gebruikten een slim computerprogramma (een AI-model) en een reeks lastige wiskundige wedstrijdproblemen. In plaats van de AI alleen maar meer van dezelfde problemen te voeren, bedachten ze een slimme truc genaamd "Question-begets-Question" (Vraag brengt Vraag voort). Denk aan een meesterkok die de leerling niet alleen meer recepten geeft, maar een recept dat de leerling bijna goed krijgt, net genoeg aanpast door de ingrediënten te veranderen om een nieuw, net iets ander gerecht te maken. Door constant nieuwe, licht variërende uitdagingen te creëren op basis van wat de AI bijna beheerst, vonden de onderzoekers een manier om de AI voorbij zijn grenzen te duwen.
Het Verhaal van de Zelf-Evoluerende Syllabus
De onderzoekers begonnen met een computermodel genaamd Qwen2.5-Math-7B. Aan het begin was dit model verschrikkelijk in een specifiek type middelbare school wiskundecompetitie genaamd AIME. Het kon slechts ongeveer 5,6% van de problemen zelfstandig oplossen. Het team wilde kijken of ze het konden leren om beter te worden, maar ze stuitten op drie grote hindernissen: te weinig oefenproblemen, geen "antwoordsleutels" met het uitgeschreven denkproces, en de angst dat het model simpelweg tegen een muur zou aanlopen en zou stoppen met leren.
Om het gebrek aan problemen aan te pakken, gebruikten ze een methode genaamd Question-begets-Question (QbQ). Stel je voor dat je een wiskundeprobleem hebt over het berekenen van de oppervlakte van een driehoek. Een normale manier om meer oefenproblemen te maken zou zijn om gewoon de getallen te veranderen (maak de driehoek groter of kleiner). Maar het "leraar"-AI van de onderzoekers deed iets slimmers. Het nam een probleem dat de student bijna goed kreeg en paste specifieke "transformatieregels" toe. Bijvoorbeeld, het zou de vraag kunnen veranderen van het vinden van de oppervlakte naar het vinden van de straal van een cirkel binnen diezelfde driehoek, of het zou om het antwoord in een ander getallensysteem kunnen vragen. Deze nieuwe problemen waren fris en divers, maar ze testten nog steeds exact dezelfde kernvaardigheid.
Echter, het simpelweg genereren van een enorme stapel van deze nieuwe problemen was niet genoeg. Wanneer ze het model trainden op een statische mix van echte en synthetische problemen, raakte het model een plafond. Het verbeterde van 5,6% naar ongeveer 12,5% of 14,5%, en toen stopte het. Geen matter hoeveel data ze het model ook voerden, het model kon niet meer beter worden. Het was als een student die de antwoorden op een specifieke reeks oefentoetsen uit het hoofd leerde, maar geen nieuwe draai aan dezelfde vraag kon hanien.
De doorbraak kwam toen ze stopten met het behandelen van de trainingsdata als een statische stapel en het gingen behandelen als een zelf-evoluerend curriculum. In plaats van het model een gigantische zak met gemengde problemen te geven, organiseerden ze de training in rondes. Zo gebeurde de magie:
- De Check-in: Aan het einde van elke ronde testten ze het model op de problemen die het net had geleerd.
- De Sweet Spot: Ze zochten naar de problemen die het model de meeste tijd goed kreeg, maar niet altijd. Ze noemden dit de "bijna-goed" zone.
- Het Zaadje: Ze namen die specifieke "bijna-goed" problemen en gebruikten deze als zaadjes om de volgende batch nieuwe, iets moeilijkere varianten te genereren.
- De Lus: Ze trainden het model op deze nieuwe batch, controleerden opnieuw, vonden de nieuwe "bijna-goed" problemen, en herhaalden het proces.
Het meest verrassende deel? De onderzoekers ontdekten dat het model het snelst verbeterde wanneer het oefende op problemen waar het al goed in was, in plaats van op de problemen waarbij het er totaal naast zat. Meestal denken we dat je leert door je grootste fouten te herstellen. Maar hier leerde de AI het best door zijn "bijna-missers" te nemen, ze lichtjes aan te passen en deze vervolgens te beheersen. Het was als een tennisspeler die niet verbetert door de bal keer op keer in het net te slaan, maar door een service die hij meestal succesvol terugstuurt te nemen en er telkens een klein beetje extra spin aan toe te voegen.
Door deze zelf-evoluerende lus gedurende 20 rondes te gebruiken, raakte het model niet tegen een muur aan. Het bleef klimmen. Terwijl andere methoden plateauerden rond de 14,5%, duwde deze zelf-evoluerende aanpak het succespercentage van het model omhoog naar 16,5% (specifiek 16,46% in hun laatste tests) zonder ooit tekenen van stilstand te vertonen. Nog indrukwekkender was dat het model leerde om moeilijkere problemen op te lossen die het nog nooit eerder had gezien, wat bewees dat het "plafond" niet een limiet was van het brein van het model, maar een limiet van hoe de training was georganiseerd.
De onderzoekers zorgden er ook voor dat de AI niet simpelweg het "denkproces" van de leraar kopieerde. Ze lieten de AI nooit het stapsgewijze redeneren van de leraar zien; ze lieten alleen de vraag en het uiteindelijke antwoord zien. Dit betekent dat de AI leerde om zelf na te denken, en niet alleen om een mens te imiteren. De studie suggereert dat de reden waarom AI vaak vastloopt niet is omdat het te dom is om meer te leren, maar omdat we het vaak de verkeerde soort oefening voeren. Door het curriculum constant te hervormen om precies aan te sluiten bij waar de AI nu staat, kunnen we het helpen om door zijn eigen grenzen heen te breken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.