🤖 AI

AgentWeave: Routing Before Reasoning for Efficient Function Calling in Tool-Rich Language Models

AgentWeave introduceert een deterministische pre-inferentie routeringslaag die de succesratio van functieaanroepen aanzienlijk verbetert en de computationele overhead voor tool-rijke taalmodellen vermindert door de kandidaat-actieruimte te filteren vóór modelinferentie, zelfs bij het gebruik van een vast, kleinschalig model.

Oorspronkelijke auteurs: Saurav Singla, Aarav Singla, Advik Gupta, Parnika Gupta

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saurav Singla, Aarav Singla, Advik Gupta, Parnika Gupta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne digitale wereld is kunstmatige intelligentie geëvolueerd van een eenvoudige chatbot naar een capabele assistent die contact kan leggen met en andere computerprogramma's kan gebruiken. Stel je voor dat je een digitale assistent vraagt om het weer te controleren, een vlucht te boeken en een nieuwsartikel samen te vatten. Om dit te doen, moet de assistent weten hoe hij met een weerdienst, een boekingssysteem van een luchtvaartmaatschappij en een nieuwsdatabase moet communicen. Deze verbindingen worden tools of functies genoemd. Naarmate deze assistenten nuttiger worden, groeit de lijst met tools waar ze toegang toe hebben tot duizenden. Er is echter een probleem: als je een computer te veel keuzes tegelijk laat zien, kan hij in de war raken. Hij kan moeite hebben om de juiste tool te vinden tussen de ruis, of hij kan overweldigd raken door de enorme hoeveelheid tekst die hij moet lezen om te begrijpen wat elke tool doet. Dit creëert een flessenhals waarbij de krachtiger het systeem wordt, hoe moeilijker het voor het brein van het systeem wordt om een heldere beslissing te nemen.

Onderzoekers Saurav Singla, Aarav Singla, Advik Gupta en Parnika Gupta zetten zich af om dit specifieke probleem op te lossen. Ze stelden een nieuwe manier voor om te organiseren hoe deze kunstmatige intelligentiesystemen hun beschikbare tools zien. In plaats van het AI-brein alle tools in de hele bibliotheek tegelijk te laten bekijken, bouwden ze een filter die voor het brein staat. Deze filter, die ze AgentWeave noemden, fungeert als een poortwachter. Voordat de AI over een taak begint na te denken, kijkt deze poortwachter naar de aanvraag en de lijst met alle mogelijke tools. Vervolgens beslist hij welke tools daadwerkelijk relevant zijn voor de specifieke opdracht en welke veilig genegeerd kunnen worden. Het doel is om de AI een kleine, beheersbare groep keuzes te presenteren in plaats van de hele enorme catalogus. De onderzoekers wilden zien of deze eenvoudige handeling van het inperken van de opties voordat het denken begint, de AI zou helpen betere beslissingen te nemen, zelfs als de AI zelf niet op een andere manier was veranderd of verbeterd.

Om dit idee te testen, ontwierp het team een gecontroleerd experiment met een standaard set moeilijke taken. Ze namen een specifiek, lichtgewicht AI-model en gaven het een reeks van achtenveertig complexe uitdagingen. In elke uitdaging moest de AI de juiste tools kiezen uit een reeks van zestien mogbare opties om een taak te voltooien. Ze voerden deze test vier keer uit met exact hetzelfde AI-model, waarbij alleen de manier waarop de tools werden gepresenteerd werd gewijzigd. In het eerste scenario zag de AI alle zestien tools. In het tweede scenario koos een computer willekeurig acht tools om aan de AI te tonen. In het derde scenario gebruikte een computer een standaardmethode om vergelijkbare tools te vinden om acht te kiezen. In het vierde scenario werd de AgentWeave-filter gebruikt om een kleine, specifieke groep tools te selecteren op basis van wat de taak daadwerkelijk vereiste.

De resultaten waren opmerkelijk. Wanneer de AI gedwongen werd om naar alle zestien tools te kijken, of wanneer hem een willekeurige of semantisch vergelijkbare groep van acht tools werd getoond, slaagde hij er niet in om een van de achtenveertig taken te voltooien. Hij kon simpelweg het juiste antwoord niet vinden tussen de rommel. Echter, wanneer de AgentWeave-filter werd gebruikt om de lijst te cureren, slaagde de AI erin zes van de achtenveertig taken te voltooien. Hoewel zes van de achtenveertig nog steeds een klein aantal is, was dit de enige keer dat de AI überhaupt succesvol was. De onderzoekers ontdekten dat de AI niet alleen aan het gokken was; het presteerde daadwerkelijk beter omdat het naar een schonere, meer gefocuste set informatie keek. De filter verminderde het aantal tools dat de AI moest zien met ongeveer zeventig procent, wat ook betekende dat de AI aanzienlijk minder tekst moest lezen. Deze vermindering van de leeslast zorgde ervoor dat de AI de taak in ongeveer de helft van de tijd kon verwerken vergeleken met wanneer hij werd overweldigd door de volledige lijst.

Cruciaal was dat de studie onthulde dat het simpelweg beschikbaar houden van meer tools geen succes garandeert. Een van de vergelijkingsmethoden, die een standaardtechniek gebruikte om vergelijkbare tools te vinden, hield daadwerkelijk meer van de oorspronkelijke opties beschikbaar dan de AgentWeave-filter deed. Toch faalde die methode volledig. Dit suggereert dat het geheim niet alleen was om de juiste tools te behouden, maar om de verkeerde tools te verwijderen. De AgentWeave-filter werkte door verwarrende alternatieven te elimineren die de AI zouden kunnen afleiden, waardoor er een helderder pad naar de oplossing ontstond. De onderzoekers merkten er zorgvuldig bij op dat dit een specifieke test was onder strikte omstandigheden en geen definitief bewijs dat het systeem in elke situatie perfect werkt. Ze benadrukten dat het AI-model dat ze gebruikten klein was en dat het succespercentage, hoewel een verbetering, nog steeds laag was.

De betekenis van dit werk ligt in het veranderen van de manier waarop we denken over het bouwen van intelligente systemen. Lange tijd lag de focus op het slimmer maken van het AI-brein of het trainen ervan op meer data. Dit artikel suggereert dat een slimmere aanpak kan zijn om de informatie die het brein ontvangt te organiseren voordat het überhaupt begint te denken. Door de selectie van tools als een aparte stap te behandelen van de daad van het redeneren, kunnen ontwikkelaars potentieel bestaande AI-modellen veel efficiënter en effectiever maken zonder ze van scratch opnieuw te hoeven bouwen. De studie levert concreet bewijs dat de manier waarop keuzes aan een kunstmatige intelligentie worden gepresenteerd net zo belangrijk is als de intelligentie zelf. Het laat zien dat een beetje zorgvuldige sortering voordat het werk begint, een groot verschil kan maken in de vraag of het werk wel of niet wordt voltooid.

Technische Samenvatting: AgentWeave – Routeren vóór Redeneren voor Efficiënte Function Calling

1. Probleemstelling

Naarmate Large Language Models (LLM's) opereren over steeds grotere collecties tools, functies en API's, groeit de kandidaat-actieruimte aanzienlijk. Deze expansie dwingt function-calling modellen om meer schema's te verwerken, meer prompt-tokens te consumeren en onderscheid te maken tussen steeds meer gelijkaardige of irrelevante alternatieven. Huidige evaluatiepipelines behandelen de volledige kandidaat-toolcatalogus doorgaans als een vaste input voor het model. Deze aanpak maskeert een cruciale systeemvariabele: welke functies de model überhaupt te zien krijgt?

Het paper stelt dat function calling kan worden gedecomposed in twee afzonderlijke stadia:

Constructie van de kandidaatsruimte: Het deterministisch filteren van de catalogus op basis van geschiktheid, vereisten en beperkingen.
Taalmodel-redenering: Het model dat de uiteindelijke functie selecteert en argumenten genereert uit de gereduceerde set.

De kernhypothese is dat het reduceren van de kandidaat-set vóór inferentie—terwijl de downstream model ongewijzigd blijft—het gedrag van function calling kan verbeteren en de efficiëntie kan verhogen.

2. Methodologie: AgentWeave Architectuur

De auteurs introduceren AgentWeave, een deterministische, pre-inferentie routeringslaag ontworpen om een begrensde, voor het model zichtbare actieruimte te construeren.

Architectuur: AgentWeave bevindt zich tussen de bron-toolcatalogus en het taalmodel. Het brengt een natuurlijke taalverzoek ( $x$ ) en een broncatalogus ( $F$ ) in kaart naar een subset ( $F' = R(x, F)$ ). De downstream voorspelling wordt $y = M(x, F')$ .
Routeringsmechanisme:
- Deterministische Scope Filtering: De eerste fase sluit tools uit op basis van niet-semantische beperkingen zoals rol, huurder (tenant), permissies, deployment-omgeving en capability-tags.
- Requirement-Aware Routing: De router afleidt signalen uit het gebruikersverzoek en koppelt deze aan kandidaat-beschrijvingen en capaciteiten. Het past een begrensd budget toe om slechts een kleine subset aan het model te presenteren.
- Model-onafhankelijkheid: De router is ontworpen om model-agnostisch te zijn, compatibel met lokale modellen, gehoste modellen of provider-neutrale adapters.
Foutlokalisatie: Door de stadia te scheiden, stelt het systeem ontwikkelaars in staat om onderscheid te maken tussen routeringsfouten (juiste tool weggefilterd), selectiefouten (juiste tool zichtbaar maar niet gekozen) en uitvoerfouten.

3. Experimenteel Ontwerp

De studie evalueert AgentWeave met behulp van een bevroren BFCL-afgeleide routing-pressure protocol om een rigoureuze, gecontroleerde vergelijking te waarborgen.

Dataset: 48 verse BFCL V4 multiple-function taken (geen overlap met een eerdere 12-taak pilot).
Model: Een vast, lichtgewicht function-calling model: MadeAgents/Hammer2.1-1.5b. De modelgewichten, generatie-instellingen en evaluatielogica blijven constant over alle condities.
Pressure Environment: Elke taak wordt geplaatst in een deterministische 16-tool druk-omgeving vóór de strategie-specifieke selectie.
Baselines:
1. All-tools: Het presenteren van de volledige 16-tool set.
2. Random top-8: Deterministische random reductie naar 8 tools.
3. Semantic top-8: Reductie naar 8 tools op basis van embeddings/gelijkenis.
4. AgentWeave: Requirement/capability-bewuste begrensde routering.
Metrieken: Native BFCL succes, gemiddelde getoonde tools, geaggregeerde input-tokens, gemiddelde lokale-model latentie en kandidaat-retentie diagnostiek (Recall@K).

4. Belangrijkste Resultaten

4.1 Native Function-Calling Succes

AgentWeave is de enige strategie die native BFCL successen produceert in de 48-taak replicatie.

AgentWeave: 6/48 successen (12,5%).
Alle Baselines (All-tools, Random, Semantic): 0/48 successen (0,0%).
Statistische Significantie: Het gepaarde succesverschil is +12,5 procentpunten. De 10.000-resample gepaarde bootstrap 95% betrouwbaarheidsinterval is +4,17 tot +22,92 punten, met een exacte McNemar p-waarde van 0,03125.

4.2 Efficiëntiewinst

Relatief ten opzichte van de "all-tools" baseline bereikt AgentWeave significante efficiëntieverbeteringen:

Getoonde Tools: 70,18% minder tools (reductie van 16,00 naar 4,77 gemiddelde tools).
Input Tokens: 61,70% minder tokens (reductie van 124.821 naar 47.805).
Latentie: 50,95% lagere gemiddelde lokale-model latentie (reductie van 55,92s naar 27,43s).

4.3 De Kandidaat-Compositie Paradox

Een cruciale bevinding is dat hogere kandidaat-retentie niet garandeert dat het succes hoger is.

De Semantic top-8 baseline behaalde de hoogste retentiemetrieken (86,81% gemiddelde recall, 66,67% alle-kandidaten-gereteneerd) maar behaalde nog steeds 0/48 native successen.
AgentWeave had lagere retentiemetrieken (76,91% gemiddelde recall, 54,17% alle-kandidaten-gereteneerd) maar behaalde 6/48 successen.
Interpretatie: Succes hangt niet alleen af van het behouden van de vereiste functie, maar van de compositie van de kandidaat-set. AgentWeave slaagt waarschijnlijk door "distractoren" (functies met gelijkaardige namen of schema's) te verwijderen die het kleine model in verwarring brengen, terwijl semantische retrieval mogelijk te veel concurrerende alternatieven behoudt.

5. Claims en Betekenis

Het paper hanteert een bescheiden, rigoureuze houding met betrekking tot de bijdragen en beperkingen:

Primaire Bijdrage: De studie levert bewijs dat constructie van de kandidaat-ruimte een experimenteel betekenisvolle variabele is. Het veranderen van de wijze waarop de kandidaat-set wordt geconstrueerd, verandert het downstream gedrag van een vast function-calling model, zelfs wanneer het model zelf niet opnieuw wordt getraind.
Systeemperspectief: Het pleit voor het evalueren van routering als een afzonderlijke fase vóór model-redenering, in plaats van de volledige catalogus als een vaste input te behandelen.
Expliciete Grenzen:
- Dit is geen officiële volledige BFCL leaderboard score.
- Het absolute succespercentage (12,5%) is laag; het resultaat is een "routing-pressure studie" in plaats van een demonstratie van state-of-the-art taakvoltooiing.
- De bevindingen beweren geen universele superioriteit over semantische retrieval of generalisatie over alle modellen en catalogusgroottes.
- De studie claimt geen beveiligings- of autorisatieproblemen op te lossen, hoewel het opmerkt dat pre-model filtering de blootstelling aan irrelevante beschrijvingen kan verminderen.

6. Conclusie

Het paper concludeert dat function calling bestudeerd moet worden als een tweestaps-systeem. Hoewel de absolute prestaties nog preliminair zijn, toont het bewijs aan dat selectieve context-constructie het function-calling gedrag van een vast model materieel kan beïnvloeden. De auteurs pleiten voor een toekomstige onderzoeksagenda die gezamenlijk de kwaliteit van routering, de compositie van kandidaten en downstream redenering evalueert, in plaats van ervan uit te gaan dat de volledige broncatalogus altijd de juiste input is.