The Bitter Lesson of Tool Calling
Dit artikel toont empirisch aan dat programmatische tool calling, die gebruikmaakt van getypeerde Python-stubs voor tool-invocatie, een robuust en vaak superieur alternatief is voor native JSON tool calling over diverse taalmodellen en uitdagende condities zoals parallelle executie en contextdegradatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotassistent hebt die met de buitenwereld kan communiceren. Om dingen gedaan te krijgen, moet deze robot hulp vragen aan andere programma's, zoals het controleren van het weer of het oplossen van een wiskundig probleem. Lange tijd was de enige manier waarop de robot om hulp kon vragen het spreken in een zeer strikt, rigide formaat genaamd "JSON". Denk aan een robot die alleen verzoeken kan versturen via kleine, vooraf gedrukte ansjes. Als de robot drie dingen moet doen, moet hij drie afzonderlijke ansjes schrijven, wachten op een antwoord op het eerste, dan het tweede schrijven, enzovoort. Het is ordelijk, maar traag en onhandig.
Echter, aangezien deze robot ook een briljante programmeur is, vroegen wetenschappers zich af: waarom laten we de robot niet gewoon een computerprogramma schrijven om het werk te doen? In plaats van ansjes zou de robot een kort script kunnen schrijven—een reeks instructies die de computer precies vertelt wat hij moet doen in één keer. Dit wordt "programmatische tool calling" genoemd. Het is alsof je de robot een pen en een schrift geeft in plaats van alleen maar ansjes. De grote vraag was: is deze nieuwe, flexibele manier eigenlijk beter, of is de oude, rigide ansjesmethode nog steeds de koning op de troon? Dit paper duikt in die vraag om te zien of het laten schrijven van code door de robot de hulp sneller, slimmer en betrouwbaarder maakt.
De onderzoekers zetten een enorme test op met 14 verschillende versies van deze AI-modellen, variërend van oudere tot de allernieuwste, krachtigste generaties. Ze onderwierpen hen aan een hindernisbaan van 309 verschillende taken, van eenvoudige eenstapsklussen tot complexe scenario's waarbij de robot veel dingen tegelijk moest doen of stappen aan elkaar moest koppelen. Ze vergeleken de oude "ansjesmethode" (JSON tool calling) met de nieuwe "scriptmethode" (programmatic tool calling).
De resultaten waren een beetje een verrassing en een beetje een les in hoe technologie evolueert. De studie toonde aan dat voor de meeste nieuwere, intelligentere modellen, het schrijven van een script net zo goed was als, of zelfs beter dan, het versturen van ansjes. Sterker nog, de nieuwste familie van modellen (de GPT-5.6 serie) kreeg een enorme boost; hun nauwkeurigheid verbeterde met ongeveer 10,6% wanneer ze code mochten schrijven. Het was alsof je een racewagenchauffeur een beter circuit gaf; ze reden niet alleen sneller, ze reden ook slimmer.
Maar hier komt de twist: het paper suggereert dat deze nieuwe methode geen toverstaf is voor elke robot. De oudere modellen hadden juist moeite met de scriptaanpak. Drie van de oudere modellen raakten in de war wanneer ze gevraagd werd code te schrijven, waardoor ze gebroken scripts produceerden die vastliepen omdat ze de formattering niet correct konden afhandelen. Het lijkt erop dat het vermogen om deze nieuwe, flexibele methode te gebruiken sterk afhangt van hoe "nieuw" en capabel het brein van het model is. Het paper betoogt dat het verschil niet gaat over welk bedrijf de robot heeft gemaakt (zoals Anthropic versus OpenAI), maar eerder over welke generatie de robot is. De nieuwste zijn klaar voor het script; de oudere zitten nog vast aan de ansjes.
De onderzoekers testten ook hoe deze methoden standhielden onder druk. Wanneer de robot veel dingen tegelijk moest doen (zoals 100 verzoeken tegelijkertijd versturen), begon de oude ansjesmethode uit elkaar te vallen, waarbij verzoeken werden gedropt en taken werden gemist. De scriptmethode hield echter stand en verwerkte de werklast zonder een slag te missen. Op dezelfde manier, wanneer de robot een enorme hoeveelheid verwarrende informatie kreeg om doorheen te spitten (een "context rot" test), bleef de scriptmethode stabiel, terwijl de oude methode variatie in prestaties vertoonde.
Dus, wat is de belangrijkste les? Het paper suggereert dat voor de nieuwste en beste AI-modellen, het laten schrijven van code om tools aan te roepen een levensvatbaar, robuust en vaak superieur alternatief is voor de oude rigide methoden. Het handelt complexe ketens van taken sneller af en raakt niet overweldigd wanneer de werklast zwaar wordt. Echter, dit is nog geen universele oplossing. Als je een ouder model gebruikt, moet je misschien nog steeds vasthouden aan de oude ansjestijl, anders struikelt de robot over zijn eigen voeten. De "bitter lesson" hier is dat hoewel de toekomst voor code-gebaseerde agenten er helder uitziet, we er wel voor moeten zorgen dat onze tools daadwerkelijk slim genoeg zijn om de upgrade aan te kunnen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.