Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation
Dit artikel introduceert een methode voor het trainen van redeneerbare taalmodellen om adaptief rekenkracht tijdens de testtijd toe te wijzen door via Group Relative Policy Optimization te leren kiezen tussen de "NoThink", "Short" en "Long" redeneermodi, waarbij een significante reductie in het aantal tokens wordt bereikt terwijl de nauwkeurigheid over diverse benchmarks gelijk blijft of verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Grote taalmodellen zijn bijzonder vaardig geworden in het oplossen van complexe problemen, vaak door een vraag op te splitsen in een lange reeks tussenstappen, vergelijkbaar met een mens die een moeilijke wiskundige som uitwerkt op een stuk papier. Deze stapsgewijze aanpak, bekend als chain-of-thought reasoning, stelt deze systemen in staat om hoge nauwkeurigheidsniveaus te bereiken bij taken die wiskunde en programmeren betreffen. Deze capaciteit gaat echter gepaard met een aanzienlijke kost: de modellen genereren vaak veel meer tekst dan nodig is, wat enorme hoeveelheden rekenkracht en tijd verbruikt. Zelfs wanneer een probleem eenvoudig is, kan het model een langdradige, overdadige uitleg produceren, waardoor middelen worden verspild aan taken die direct opgelost hadden kunnen worden. Onderzoekers vermoedden al langer dat deze systemen niet het vermogen hebben om in te schatten hoeveel inspanning een specifieijke taak daadwerkelijk vereist, wat leidt tot een situatie waarin gemakkelijke vragen dezelfde zware behandeling krijgen als moeilijke vragen.
Een team van onderzoekers aan de Vrije Universiteit Amsterdam zette zich in om een model te leren om deze afweging voor zichzelf te maken. Ze werkten met een relatief klein redeneermodel van 1,5 miljard parameters, dat getraind was om wiskundige problemen op te lossen. In plaats van het model te dwingen om altijd een vaste hoeveelheid tijd na te denken, gaven ze het aan het begin van de reactie een eenvoudige keuze: het kon besluiten om direct te antwoorden zonder na te denken, kort te redeneren, of een uitgebreide, diepe redenering te bedrijven. Het model werd getraind met een methode genaamd reinforcement learning, waarbij het feedback krijgt op basis van de vraag of het antwoord correct is en hoe efficiënt het tot dat antwoord is gekomen. Het doel was om te zien of het model kon leren om zijn inspanning af te stemmen op de moeilijkheidsgraad van het probleem, waardoor tijd wordt bespaard op eenvoudige taken terwijl er nog steeds voldoende middelen worden ingezet om moeilijke problemen op te lossen.
De onderzoekers ontwierpen een systeem waarbij het model een enkel woord afgeeft als eerste token om de gekozen modus van werken aan te geven. Als het model "NoThink" kiest, probeert het direct te antwoorden. Als het "Short" kiest, mag het een korte uitleg genereren, maar met een strikte limiet op het aantal woorden dat het kan gebruiken. Als het "Long" kiest, is het toegestaan om uitgebreid te redeneren zonder een bovengrens. Om ervoor te zorgen dat het model zich daadwerkelijk aan deze keuzes hield, legden de onderzoekers harde limieten op aan de lengte van de reacties voor de kortere modi. Als een model probeerde de "Short"-modus te gebruiken maar verder schreef dan de limiet, zou het systeem de poging als onjuist markeren, ongeacht of het uiteindelijke antwoord wel juist was. Dit dwong het model om te leren dat de label die het aan het begin koos, echte gevolgen had voor zijn gedrag.
Om te voorkomen dat het model simpelweg de keuze negeert en elke keer standaard voor de langste, veiligste optie kiest, pasten de onderzoekers de beloningen aan die het model ontving. Ze maakten de "NoThink"- en "Short"-modi belonender voor zeer korte antwoorden, terwijl de "Long"-modus een constante beloning bood, ongeacht de lengte. Dit creëerde een landschap waar de beste strategie afhankelijk was van het probleem: voor een triviale vraag leverde het snelste antwoord de hoogste score op, terwijl een moeilijk probleem de uitgebreide inspanning van de "Long"-modus vereiste om te slagen. Ze voegden ook een balanceringsmechanisme toe dat het model voorzichtig aanmoedigde om alle drie de opties te gebruiken, om te voorkomen dat het zou vervallen in het gebruik van slechts één strategie voor elk probleem.
De resultaten toonden aan dat het model succesvol heeft geleerd om problemen op moeilijkheidsgraad te sorteren. Op een set van 500 niet eerder geziene wiskundeproblemen begon het model eenvoudige vragen naar de "NoThink"- of "Short"-modi te leiden en moeilijke vragen naar de "Long"-modus. Gedurende de training bleef de nauwkeurigheid van het model bijna identiek aan die van de originele, ongewijzigde versie, maar de gemiddelde lengte van de reacties daalde aanzienlijk. De onderzoekers ontdekten dat het nieuwe beleid de gemiddelde hoeveelheid gegenereerde woorden met 41 procent verminderde, waardoor de reactielengte van bijna 4.800 tokens daalde naar ongeveer 2.800 tokens. Dit betekende dat het model evenveel problemen correct oploste terwijl het minder dan de helft van de rekenkracht gebruikte.
Cruciaal was dat deze efficiëntie niet ten koste ging van de prestaties op problemen die het model nog nooit eerder had gezien. Bij een test op een andere set basisschool-wiskundewerklestaken bespaarde het model zelfs een nog grotere hoeveelheid tekst, waarbij het aantal tokens met 76 procent werd verminderd terwijl de nauwkeurigheid hoog bleef. Op een set van extreem moeilijke wedstrijd-wiskundeproblemen, waarbij diepe redenering bijna altijd vereist is, koos het model correct de "Long"-modus voor bijna elk vraagstuk, waarbij het de prestaties van de baseline evenaarde zonder tijd te verspillen aan shortcuts. De studie laat zien dat een redeneermodel getraind kan worden om zijn eigen inspanning te reguleren, door meer bedenktijd toe te wijzen alleen wanneer het probleem daarom vraagt. Dit suggereert een pad voorwaarts om kunstmatige intelligentie efficiënter te maken, waardoor systemen zowel slim als economisch kunnen zijn, in plaats van simpelweg talig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.