Reason Wide, Not Deep: Amortizing the Reasoning Premium into Distilled Skills
Dit artikel stelt voor om de hoge tokencosten van redeneermodellen te amortiseren door compacte natuurlijke taalvaardigheden uit een kleine corpus bestaande trajecten te distilleren naar niet-redeneermodellen, wat vergelijkbare of superieure prestaties op agentische benchmarks bereikt terwijl er aanzienlijk minder tokens worden uitgebracht door diepe, per-instantie zoektocht in te ruilen voor brede, eenmalige corpusdistillatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Tokenbelasting en het Magische Naslagblad
Stel je voor dat je een superintelligente robot probeert te leren hoe hij huishoudelijke taken moet uitvoeren, zoals een rommelige kamer opruimen of een lastig wiskundig probleem oplossen. In de wereld van kunstmatige intelligentie is er een populaire truc genaamd "redeneren" (reasoning). Het is alsof je de robot vertelt om "hardop na te denken" voordat hij handelt. In plaats van alleen maar een sok te pakken, pauzeert de robot en zegt: "Oké, ik moet de sok zoeken, controleren of hij schoon is, en hem dan in de wasmand leggen." Dit "denkproces" maakt de robot veel beter in moeilijke taken, maar het brengt een hoge prijs met zich mee: het verbruikt een enorme hoeveelheid digitale energie (genaamd "tokens") elke keer dat hij iets probeert. Het is alsof je een tol betaalt elke keer dat je over een bekende weg rijdt, zelfs als je die weg al duizend keer hebt gereden. De robot herafleidt steeds weer dezelfde eenvoudige regels, wat energie verspilt aan zaken die hij eigenlijk al zou moeten weten.
De grote vraag waar onderzoekers zich mee bezighouden is: Kunnen we de robot deze regels één keer leren, zodat hij er niet elke keer opnieuw over hoeft na te denken? Als we de robot een permanent "naslagblad" van de beste manieren om dingen te doen zouden kunnen geven, zou hij dan net zo slim kunnen zijn als de "denkende" robot, maar zonder de dure energierekening? Dit is de kern van het nieuwe onderzoek van de COLM 2026 workshop, dat een slimme manier verkent om energie te besparen zonder aan intelligentie in te boeten.
Het Grote Idee van het Papier: "Redeneer Breed, Niet Diep"
De onderzoekers achter deze studie, werkend met Microsoft, merkten iets grappigs op over hoe deze "redenerende" robots werken. Wanneer ze een reeks vergelijkbare taken aanpakken — zoals het helpen van een klant in een winkel of het organiseren van een spreadsheet — besteden ze een enorm deel van hun tijd aan het opnieuw uitvinden van het wiel. Ze redeneren misschien steeds opnieuw: "Ik mag de accounttool van de klant niet aanroepen totdat ze mij een e-mailadres hebben gegeven", ook al verandert die regel nooit. Het is als een student die, bij elke wiskundetoets, telkens opnieuw ontdekt dat in plaats van het gewoon te onthouden.
Het team stelde een oplossing voor die ze Passive Skill Distillation noemen. In plaats van de robot elke keer diep te laten "denken" (wat lijkt op een diepe zoektocht in een bibliotheek voor elk afzonderlijk boek), besloten ze een "brede zoektocht" te doen doorheen vele eerdere pogingen om de patronen te vinden.
Zo hebben ze het aangepakt:
- De Collectie: Ze verzamelden een kleine stapel van eerdere pogingen (ongeveer 35 tot 50 taken) waarbij een robot problemen probeerde op te lossen. Dit konden pogingen zijn waarbij de robot aan het "denken" was of gewoon "handelde" zonder na te denken.
- De Analist: Ze gaven deze stapel gegevens aan een andere, zeer intelligente programmeerrobot (een "agent"). Ze vroegen deze analist om de logs door te nemen, te kijken waar de robots faalden en te achterhalen waarom.
- Het Naslagblad: De analytische robot schreef een korte, eenvoudige set regels in gewone Engelse taal (ongeveer 40 tot 130 regels tekst). Bijvoorbeeld: "Voordat je probeert de ID van een gebruiker op te zoeken, moet je controleren of het e-mailadres daadwerkelijk in het bericht staat, anders krijg je een foutmelding."
- De Injectie: Ze namen deze korte "vaardigheid" en plakten deze in de systeeminstructies van de niet-denkende robot. Nu hoeft de robot niet meer te "denken" om de regel te onthouden; hij leest gewoon het naslagblad en handelt.
Wat Ze Vonden: Slimmer, Sneller en Goedkoper
De resultaten waren verrassend goed. Toen ze deze "naslagblad"-robots testten op vier verschillende uitdagende benchmarks (zoals het organiseren van een virtueel huis, het repareren van spreadsheets en het afhandelen van klantenservicegesprekken), presteerden de robots met de vaardigheden bijna even goed als, of soms zelfs beter dan, de dure "denkende" robots.
- De Score: Op sommige tests scoorde de niet-denkende robot met de vaardigheid zelfs beter dan de denkende robot. Bijvoorbeeld, in een taak genaamd ALFWorld (het organiseren van een virtueel huis), scoorde de vaardigheid-versterkte robot 0.787, terwijl de denkende robot slechts 0.713 scoorde.
- De Besparingen: De denkende robots gebruikten 3 tot 6 keer meer output-tokens dan de vaardigheid-versterkte robots. In sommige gevallen gebruikten de vaardigheid-versterkte robots 2.7 tot 6 keer minder tokens.
- De Kosten: Het creëren van dit naslagblad was ongelooflijk goedkoop. Het kostte slechts $1.28 tot $2.44 per domein om de vaardigheid te genereren, terwijl de denkende robots die "belasting" elke keer dat ze een taak uitvoeren, opnieuw betalen.
De Twist: Je Hebt de "Denk"-Logs Niet Nodig
Een van de meest interessante bevindingen was dat de onderzoekers de "denk"-logs eigenlijk niet nodig hadden om een goed naslagblad te maken. Ze probeerden vaardigheden te maken met enkel de logs van robots die niet dachten (de robots die gewoon handelden en vaak faalden). Verrassend genoeg waren deze vaardigheden net zo goed als de vaardigheden die gemaakt waren van de "denkende" logs.
Sterker nog, voor één specifieke test (SpreadsheetBench) was de vaardigheid gemaakt van de "niet-denkende" fouten 10 punten beter dan die van de denkende logs. De onderzoekers suggereren dat dit komt omdat de "denkende" logs vol zitten met de interne monoloog van de robot over wat hij dacht dat waar was, terwijl de "niet-denkende" logs precies laten zien wat er daadwerkelijk misging in de echte wereld. Het is als het leren autorijden: een handleiding lezen (de denklog) is nuttig, maar een video bekijken van een auto die een stoeprand raakt (de foutenlog), leert je precies wat je niet moet doen.
Waar het Naslagblad Niet Werkt
De onderzoekers merkten er voorzichtig bij op dat dit geen wondermiddel is voor alles. Het naslagblad werkt het best voor regels die altijd hetzelfde zijn, zoals "controleer altijd het e-mailadres voordat je de tool aanroept". Echter, bij taken die unieke, stapsgewijze logica vereisen voor elke individuele probleemstelling — zoals een complexe spreadsheet waarbij elke cel afhangt van een andere variabele, of een klantenservicegesprek met een zeer specifieke, vreemde geschiedenis — kon het naslagblad minder goed helpen. In die gevallen is de "diepe zoektocht" van het denken nog steeds noodzakelijk.
De Kernboodschap
Dit papier suggereert een nieuwe manier om naar kunstmatige intelligentie te kijken. In plaats van elke robot te dwingen om voor elke enkele taak diep na te denken, kunnen we hen de algemene patronen één keer en voor altijd aanleren. Door een "brede zoektocht" te doen doorheen vele eerdere fouten om de regels te vinden, kunnen we robots een permanent pakket aan vaardigheden geven dat hen sneller, goedkoper en soms zelfs slimmer maakt dan hun "denkende" tegenhangers. Het blijkt dat je voor veel taken niet elke keer het wiel opnieuw hoeft uit te vinden; je hebt alleen een goede kaart nodig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.