Joint Optimization of Tool Creation and Use for Large Language Model Agents

Menselijke vooruitgang heeft altijd afhankelijk van de gereedschappen die we bouwen. In plaats van elk nieuw probleem vanaf nul op te lossen, vertrouwen we op instrumenten die over generaties heen zijn verfijnd, van de eenvoudige hefboom tot de complexe software die onze moderne wereld aanstuurt. Grote taalmodellen, de geavanceerde computerprogramma's die in staat zijn menselijke taal te begrijpen en te genereren, worden geconfronteerd met een vergelijkbare beperking. Hoewel ze over enorme hoeveelheden informatie beschikken die in hun interne geheugen zijn opgeslagen, worstelen ze met taken die exacte berekeningen, toegang tot actuele feiten of betrouwbare logische redenering vereisen. Om dit te overwinnen, hebben onderzoekers deze modellen geleerd om externe hulpmiddelen te gebruiken, zoals rekenmachines of zoekmachines, net zoals een mens een rekenmachine zou pakken om een moeilijk wiskundig probleem op te lossen. Huidige systemen zijn echter beperkt omdat ze alleen hulpmiddelen kunnen gebruiken die mensen al hebben geschreven en geleverd. Als een mens geen specifiek hulpmiddel heeft gebouwd voor een nieuwe taak, zit het model vast.

Deze beperking heeft geleid tot een verschuiving naar een meer dynamische aanpak: modellen leren om op aanvraag hun eigen hulpmiddelen te maken. Het idee is dat een model naar een probleem kijkt, een klein stukje code schrijft om het op te lossen, en vervolgens die code gebruikt om het antwoord te vinden. Toch hebben bestaande methoden voor het doen van dit proces een fundamentele fout. Ze gebruiken doorgaans een krachtig, duur model om het hulpmiddel te schrijven en een zwakker model om het te gebruiken. Omdat het model dat het hulpmiddel schrijft het zelf nooit hoeft te gebruiken, heeft het geen prikkel om hulpmiddelen te schrijven die daadwerkelijk duidelijk, betrouwbaar of gemakkelijk aan te roepen zijn. Het is als een timmerman die een hamer bouwt maar deze nooit zelf hoeft te zwaaien; hij kan een handvat maken dat te glad is of een kop die te zwaar is, simpelweg omdat hij de gevolgen van een slecht ontwerp niet voelt.

Een team van onderzoekers heeft een nieuw framework geïntroduceerd genaamd SMITH om deze discontinuïteit op te lossen. De kerninnovatie is een trainingsmethode die één enkel model dwingt om zowel de maker als de gebruiker van het hulpmiddel te zijn. In dit systeem krijgt het model een reeks voorbeeldproblemen en wordt het gevraagd een hulpmiddel te schrijven, wat bestaat uit een stuk code en een duidelijke beschrijving van hoe het te gebruiken. Direct daarna moet hetzelfde model dat exacte hulpmiddel gebruiken om een ander, onbekend probleem op te lossen. Als de beschrijving verwarrend is of de code defect is, slaagt het model er niet in het probleem op te lossen en krijgt het een duidelijk signaal dat het moet verbeteren. Dit creëert een directe feedbackloop waarbij het model leert dat een hulpmiddel alleen zo goed is als de mate waarin het door zichzelf gebruikt kan worden.

De onderzoekers testten deze aanpak met een model van vier miljard parameters, een omvang die relatief klein is vergeleken met de enorme modellen die vaak in dit veld worden gebruikt. Ze trainden het op dertien verschillende soorten redeneertaken, variërend van rekenpuzzels tot logische spellen. De resultaten waren opmerkelijk. Het getrainde model behaalde een hoog nauwkeurigheidsniveau op problemen die het nog nooit eerder had gezien, waarmee het methoden overtrof die vertrouwen op complexe, door mensen ontworpen instructies of zelfs grotere modellen die simpelweg worden geprompt om op het moment van gebruik hulpmiddelen te schrijven. Sterker nog, het kleine model dat met deze methode was getraind, presteerde beter dan een ongetraind model van dertig miljard parameters wanneer het kwam op het creëren van hulpmiddelen voor nieuwe taken. Dit suggereert dat het vermogen om te leren hoe men hulpmiddelen bouwt en gebruikt belangrijker is dan simpelweg het hebben van een grotere hoeveelheid ruw geheugen.

Misschien wel de meest verrassende bevinding was hoe goed deze zelfgemaakte hulpmiddelen overdraagbaar waren naar andere modellen. De hulpmiddelen geschreven door het kleine, getrainde model waren in staat om een veel kleiner model van slechts 350 miljoen parameters even goed te laten presteren als een veel groter, ongetraind model. Omgekeerd, wanneer de hulpmiddelen geschreven door het kleine model aan een zeer groot model werden gegeven om te gebruiken, presteerde het grote model beter dan wanneer het probeerde zijn eigen hulpmiddelen te schrijven. Dit geeft aan dat de hulpmiddelen gecreëerd door het SMITH-framework werkelijk van hoge kwaliteit en herbruikbaar zijn, en niet slechts trucjes die werken voor één specifiek model. De hulpmiddelen waren zo effectief dat ze de prestaties verbeterden op geheel nieuwe soorten problemen, zoals het interpreteren van complexe tabellen of het beantwoorden van vragen over afbeeldingen, ook al was het model nooit getraind op data met betrekking tot tabellen of afbeeldingen.

De studie onthulde ook het belang van de structuur van het leerproces. De onderzoekers kwamen tot de conclusie dat het simpelweg vragen aan een model om code te schrijven niet voldoende is; het model moet ook beoordeeld worden op de vraag of de beschrijving van het hulpmiddel overeenkomt met de code en of het hulpmiddel daadwerkelijk werkt wanneer het wordt aangeroepen. Door deze verschillende aspecten van kwaliteit te scheiden en het model te belonen voor het correct uitvoeren van elk aspect, vermijdt het systeem veelvoorkomende valkuilen waarbij een model code kan schrijven die er goed uitziet maar niet bruikbaar is, of een beschrijving kan schrijven die duidelijk is maar niet overeenkomt met de code. Deze zorgvuldige balans maakte het mogelijk voor het model om een robuuste vaardigheid te leren: het vermogen om een hulpmiddel te creëren dat zowel correct als bruikbaar is.

Uiteindelijk demonstreert dit werk dat de weg naar meer capabele kunstmatige intelligentie wellicht niet ligt in het bouwen van steeds grotere modellen, maar in het leren van modellen om beter te worden in het bouwen en gebruiken van hun eigen capaciteiten. Door de cirkel tussen creatie en gebruik te sluiten, hebben de onderzoekers aangetoond dat een model kan leren hulpmiddelen te ontwerpen die betrouwbaar genoeg zijn om door zichzelf en door anderen gebruikt te worden. Deze aanpak biedt een schaalbare manier om de vermogens van kunstmatige intelligentie uit te breiden, waardoor het in staat is zich aan te passen aan nieuwe uitdagingen door de specifieke instrumenten te creëren die het nodig heeft, in plaats van te wachten tot mensen ze aanleveren. De bevindingen suggeren dat de toekomst van hulpmiddel-versterkte intelligentie niet ligt in statische bibliotheken van vooraf gemaakte hulpmiddelen, maar in het dynamische, zelfverbeterende vermogen van modellen om hun eigen oplossingen te vervaardigen.