Multi-Task GRPO: Reliable LLM Reasoning Across Tasks

Stel je voor dat je een superintelligente robotassistent traint om alle soorten puzzels op te lossen, van wiskundeproblemen tot logische raadsels. Je wilt dat deze robot een echte generalist is, die in staat is om alles aan te kunnen wat je hem voorwerpt zonder in de war te raken of te falen bij de moeilijke onderdelen. In de wereld van kunstmatige intelligentie wordt dit "redeneren" genoemd, en de robots worden "Large Language Models" (LLM's) genoemd. Om deze modellen beter te maken, gebruiken wetenschappers een techniek genaamd "Reinforcement Learning", wat eigenlijk lijkt op het geven van een high-five (een beloning) wanneer de robot een antwoord goed heeft, en een zachte "probeer het nog eens" wanneer hij het fout heeft. Een populaire manier om dit te doen is GRPO, een slimme methode om uit te zoeken hoeveel de robot precies moet leren van elke poging. Echter, er is een addertje onder het gras: als je de robot vraagt om tegelijkertijd tien verschillende soorten puzzels te leren, raakt hij vaak in de knoop. Hij kan heel goed worden in de makkelijke puzzels, maar de moeilijke volledig negeren, of hij kan blijven hangen op een specifiek type raadsel terwijl hij vergeet hoe hij de andere moet oplossen. De grote vraag is: hoe trainen we één brein om in alles even goed te zijn, zodat geen enkele vaardigheid achterblijft?

Dit is precies het probleem waar een nieuwe methode, genaamd Multi-Task GRPO (MT-GRPO), een oplossing voor biedt. Denk aan het standaard trainingsproces als een leraar die probeert een klas te onderwijzen met leerlingen die heel verschillende leersnelheden hebben. Als de leraar zich alleen richt op de "gemiddelde" leerling, kunnen de slimme kinderen zich vervelen, terwijl de leerlingen die moeite hebben, steeds verder achterop raken. De standaard aanpak laat de makkelijke taken vaak de training "kapen", waardoor het model er gemiddeld genomen goed uitziet, terwijl het stiekem faalt bij de uitdagende onderdelen. De auteurs van dit artikel realiseerden zich dat het simpelweg middelen van de scores niet een betrouwbare robot oplevert; je moet ervoor zorgen dat ook de slechtste presteerder in de klas ook beter wordt.

Om dit op te lossen, hebben de onderzoekers een tweeledige strategie uitgevonden. Eerst creëerden ze een "dynamisch wegingsysteem". Stel je een coach voor die constant naar het scorebord kijkt. Als de robot geweldig presteert bij "Countdown" (een rekenspel), maar verschrikkelijk bij "Zebra-puzzels" (logische raadsels), schakelt de coach direct de focus. Ze beginnen de robot meer oefenopgaven uit de Zebra-categorie te geven en minder uit de wiskunde-categorie. Maar hier komt de crux: soms probeert de robot een Zebra-puzzel en krijgt een score van "nul" omdat hij het niet eens goed heeft geprobeerd, wat betekent dat hij niets leert van die poging. Als de coach alleen het aantal problemen telt, kan hij denken dat hij Zebra-puzzels aan het onderwijzen is, maar in werkelijkheid leert de robot alleen van de wiskunde-opdrachten omdat de Zebra-pogingen "zero-gradients" (lege leerprocessen) waren.

Om dit op te lossen, is het tweede deel van hun uitvinding een "Ratio-Preserving Sampler". Dit is als een zeer strikte bibliothecaris die ervoor zorgt dat zelfs als de robot de nutteloze oefenpogingen weggooit, de uiteindelijke stapel van nuttige oefenopgaven nog steeds precies de juiste mix van wiskunde- en logische puzzels bevat. Als de coach wil dat 30% van de oefening uit logische puzzels bestaat, zorgt de bibliothecaris ervoor dat na het filteren van de troep, 30% van de overgebleven goede problemen nog steeds logische puzzels zijn. Dit voorkomt dat de makkelijke taken de trainingssessie per ongeluk overnemen, simpelweg omdat de moeilijke taken meer "mislukte" pogingen hebben.

De resultaten van deze nieuwe methode zijn zeer veelbelovend. Wanneer het team de methode testte op een mix van drie verschillende redeneertaken, verbeterde de MT-GRPO-methode de nauwkeurigheid van de slechtst presterende taak met 16–28% vergeleken met de standaardmethode, en met 6% vergeleken met een andere geavanceerde methode genaamd DAPO. Nog indrukwekkender is dat het een nauwkeurigheid van 50% bereikte op de moeilijkste taken met 50% minder trainingsstappen dan de concurrentie. In een grotere test met negen verschillende taken bleef de methode de anderen overtreffen, wat aantoont dat het kan opschalen om meer complexe en diverse uitdagingen aan te kunnen. De auteurs ontdekten dat ze door een "knop" aan te passen (een parameter genaamd $\lambda$), konden controleren in ho welke mate het model prioriteit geeft aan het verbeteren van zijn zwakste vaardigheden versus het simpelweg beter worden op gemiddeld niveau.

Kortom, dit artikel suggereert dat door slimmer te zijn over welke problemen de robot oefent en door te garanderen dat die problemen daadwerkelijk deel uitmaken van de trainingssessie, we AI kunnen boueren die niet alleen goed is in de makkelijke dingen, maar ook betrouwbaar bekwaam is over de hele breedte. Het is een stap naar het creëren van AI die niet alleen specialiseert in één specifief gebied, maar die echt kan redeneren door een grote verscheidenheid aan real-world problemen zonder dat een van haar vaardigheden achterblijft.