Looped Language Models Improve Compositional Tool Calling
Dit artikel toont aan dat geloopte taalmodellen, met name wanneer zij adaptieve inferentie inzetten om computationele middelen dynamisch toe te wijzen, de prestaties in compositionele tool-calling scenario's aanzienlijk verbeteren door effectief meerdere API-aanroepen te coördineren, de staat te behouden en afhankelijkheden te beheren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het snel evoluerende landschap van kunstmatige intelligentie vindt een significante verschuiving plaats van modellen die simpelweg vragen beantwoorden naar systemen die actie ondernemen. Deze nieuwe systemen, vaak 'agents' genoemd, zijn ontworpen om externe tools te gebruiken—zoals softwareprogramma's of databases—om complexe problemen op te lossen. Stel je een digitale assistent voor die niet alleen vertelt wat het weer is, maar ook daadwerkelijk een vlucht boekt, je agenda controleert en een e-mail stuurt om de reis te bevestigen. Om deze agents te laten werken, moeten ze in staat zijn om meerdere stappen aan elkaar te koppelen, waarbij ze het resultaat van de ene actie onthouden om de volgende te informeren. Dit vereist een vorm van gestructureerd denken waarbij het systeem een sequentie plant, deze uitvoert en zich aanpast als er iets misgaat. De uitdaging voor onderzoekers is geweest om uit te vogelen hoe ze deze grote taalmodellen betrouwbaar genoeg kunnen maken om dergelijke meerstaps-workflows te hanteren zonder de draad kwijt te raken of fouten te maken halverwege het proces.
Een team van onderzoekers aan de Universiteit van Cambridge heeft een specifieke architecturale aanpak onderzocht om dit probleem op te lossen, waarbij de focus ligt op een ontwerp dat bekend staat als een "looped" taalmodel. In tegen tegenstelling tot standaardmodellen die informatie verwerken in een enkele, rechte passage van input naar output, stellen deze 'looped' modellen het systeem in staat om zijn interne gedachten meerdere keren te herbezoeken en te verfijnen voordat het tot een antwoord komt. Denk aan een persoon die een moeilijke puzzel oplost en na elke paar zetten even pauzeert om het werk te controleren, in plaats van in één ruk naar de finishlijn te razen. De onderzoekers wilden weten of deze extra tijd besteed aan het nadenken—deze iteratieve verfijning—de modellen zou helpen om beter te worden in het coördineren van complex toolgebruik, zoals het aanroepen van meerdere API's in de juiste volgorde of het beheren van afhankelijkheden waarbij de output van de ene tool de input van een andere tool wordt.
Om dit te testen, voerde het team een reeks gecontroleerde experimenten uit met drie verschillende benchmarks die ontworpen zijn om het vermogen tot het aanroepen van tools (tool-calling) te meten. Deze tests varieerden van eenvoudige taken, zoals het selecteren van een enkele functie om een vraag te beantwoorden, tot zeer complexe scenario's die vereisen dat het model meerdere onafhankelijke oproepen genereert of geneste sequenties beheert waarbij de output van de ene oproep strikt vereist is voor de volgende. Ze vergeleken standaardmodellen met zowel "native" looped modellen, die vanaf het begin met deze iteratieve capaciteit zijn gebouwd, als "retrofitted" modellen, waarbij het looped gedrag aan bestaande standaardmodellen is toegevoegd. De onderzoekers trainden deze modellen op dezelfde datasets en met dezelfde optimalisatie-instellingen om een eerlijke vergelijking te garanderen, waarbij het effect van het looping-mechanisme zelf werd geïsoleerd.
De resultaten suggereren dat het de het model meer tijd geven om over zijn beslissingen na te denken, de bekwaamheid aanzienlijk verbetert om complexe, meerstaps-taken aan te pakken. Op benchmarks die vereisen dat het model meerdere tool-aanroepen coördineert of afhankelijkheden tussen hen beheert, presteerden de looped modellen consequent beter dan hun niet-looped tegenhangers. De verbetering was het meest uitgesproken bij taken waarbij het model een gestructureerd plan moest handhaven over meerdere beslissingen, zoals wanneer de output van een eerste tool-aanroep als argument aan een tweede tool-aanroep moest worden doorgegeven. In deze scenario's stelde het vermogen om de interne representatie van de taak te verfijnen het model in staat om fouten in functieselectie, argument-grounding en de volgorde van aanroepen te corrigeren. In één geobserveerd geval bijvoorbeeld, faalde een model aanvankelijk in het herkennen van een vereiste afhankelijkheid, maar na een paar ronden van interne verfijning identificeerde het succesvol de ontbrekende schakel en genereerde het de juiste sequentie van acties.
De voordelen waren echter niet uniform over alle soorten taken verdeeld. Wanneer de taak een enkele, geïsoleerde tool-aanroep betrof, was het voordeel van de looped-aanpak veel kleiner en varieerde dit afhankelijk van het specifieke model. Dit geeft aan dat de extra computationele inspanning het meest waardevol is wanneer het probleem planning en coördinatie vereist in plaats van eenvoudige ophalen (retrieval). De onderzoekers onderzochten ook of deze extra denktijd efficiënter gebruikt kon worden. Ze ontdekten dat door het model dynamisch te laten beslissen hoeveel keer het moest loopen voordat het stopte, zij bijna dezelfde hoge prestaties konden bereiken als bij het gebruik van een vast, diep aantal loops, maar met aanzienlijk minder computationele kosten. Deze adaptieve aanpak betekent dat het model meer tijd kan besteden aan moeilijke, complexe problemen terwijl het snel door eenvoudiger problemen beweegt.
De studie concludeert dat looped taalmodellen een veelbelovende basis vormen voor het bouwen van meer betrouwbare agentische systemen. De bevindingen suggereren dat het vermogen om latente representaties iteratief te verfijnen helpt om de structuur van complexe workflows te behouden, waardoor modellen beter worden in het plannen, coördineren en uitvoeren van compositioneel toolgebruik. Hoewel de retrofitted modellen verbetering lieten zien, presteerden de native looped modellen over het algemeen beter op diep geneste taken, wat erop wijst dat de manier waarop een model wordt voorgetraind bepaalt hoe goed het kan profiteren van dit type recursieve verfijning. Uiteindelijk wijst het onderzoek naar een toekomst waarin AI-agents hun computationele middelen dynamisch kunnen toewijzen, waarbij ze pas dieper nadenken wanneer de complexiteit van de taak dat vereist, waardoor ze een efficiëntere balans bereiken tussen snelheid en nauwkeurigheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.