Dynamic Tool Dependency Retrieval for Efficient Function Calling

Dit paper introduceert DTDR, een lichtgewicht methode voor dynamisch ophalen van tool-afhankelijkheden die, in tegenstelling tot statische benaderingen, rekening houdt met de evoluerende uitvoeringscontext en zo de succesratio's van function calling aanzienlijk verbetert.

De kern

Stel je voor dat je een slimme assistent hebt die een telefoon of een slimme horloge op je pols is. Deze assistent kan allerlei dingen voor je doen: e-mails beantwoorden, herinneringen instellen of de weersvoorspelling checken. Om dit te doen, moet hij "gereedschap" gebruiken, zoals een app voor e-mail of een app voor het weer.

Het probleem is dat deze assistent vaak duizenden verschillende apps (gereedschappen) kent, maar op een klein apparaatje (zoals een telefoon) niet genoeg ruimte of geheugen heeft om alles tegelijk te onthouden. Als je hem vraagt: "Stuur een e-mail naar mijn baas met de bijlage van de presentatie," moet hij snel weten welke knoppen hij moet indrukken.

Het oude probleem: De statische lijst
Vroeger probeerden deze assistenten een lijst met alle mogelijke apps te maken die bij jouw vraag passen. Maar ze maakten vaak een fout:

1. Ze keken alleen naar wat je zei (de vraag).
2. Ze keken niet naar wat ze reeds hadden gedaan.

Dit is alsof je een kok bent die een recept maakt. Als je zegt: "Ik wil een taart maken", en de kok kijkt alleen naar dat woord, pakt hij misschien een mixer, maar vergeet hij deeg te maken. Of hij pakt een hamer omdat hij denkt dat je "taart" bedoelde als "iets hard". Hij mist de context van de stappen die al zijn gezet.

De oplossing: DTDR (De slimme, dynamische gids)
De onderzoekers van dit papier hebben een nieuwe methode bedacht, genaamd DTDR (Dynamic Tool Dependency Retrieval). Laten we dit uitleggen met een creatieve analogie:

De Analogie: De Reisgids met een Levend Kaartje

Stel je voor dat je een reisgids hebt die je helpt een complexe reis te plannen.

• De oude methode (Statisch): De gids heeft een statische kaart. Als je vraagt "Hoe kom ik naar het strand?", kijkt hij op de kaart en zegt: "Neem de bus." Maar als je al een stukje gelopen hebt en je staat nu bij een meer, blijft de gids zeggen: "Neem de bus," omdat hij niet ziet dat je al halverwege bent. Hij is te star.
• De nieuwe methode (DTDR): Deze gids heeft een levend, digitaal kaartje dat meebeweegt.
  1. Hij kijkt naar je bestemming (de vraag: "Stuur die e-mail").
  2. Hij kijkt ook naar waar je nu staat (de geschiedenis: "Ik heb net de e-mail geopend").
  3. Op basis van beide informatiepunten, trekt hij alleen de wegen op je kaart die je nu kunt nemen. Hij verwijdert alle wegen die je niet nodig hebt (zoals "open de koelkast" of "zoek een adres"), zodat je niet verdwaalt in een wirwar van opties.

Waarom is dit zo slim?

1. Het is lichtgewicht (Snel en zuinig):
   Omdat de gids alleen de noodzakelijke wegen laat zien, hoeft de assistent niet te denken over duizenden andere opties. Dit bespaart veel batterij en geheugen op je telefoon. Het is alsof je een koffer inpakt: je pakt alleen de kleding die je nodig hebt voor het weer van vandaag, niet voor een hele winter.

2. Het leert van ervaring (Dynamisch):
   De gids heeft geleerd van duizenden andere reizen (voorbeelden). Hij weet dat als iemand eerst "e-mail openen" doet, de volgende stap bijna altijd "tekst typen" is, en niet "muziek spelen". Hij bouwt een afhankelijkheidsnetwerk op. Hij ziet de kettingreactie: Stap A leidt tot Stap B, en die leidt tot Stap C.

3. Het voorkomt fouten:
   Als de assistent te veel opties krijgt, raakt hij in de war en maakt hij fouten (bijvoorbeeld: hij probeert een e-mail te sturen voordat hij de tekst heeft geschreven). Door de lijst met opties te "maskeren" (alleen de juiste opties te laten zien), wordt de assistent veel slimmer en accurater.

De resultaten in het kort

De onderzoekers hebben dit getest op verschillende slimme apparaten. Het resultaat was verbluffend:

• De assistenten die deze nieuwe methode gebruikten, slaagden 23% tot 104% vaker in het uitvoeren van de juiste taak dan de oude methoden.
• Ze waren sneller en maakten minder fouten, zelfs op kleine telefoons die niet zo krachtig zijn als de grote computers in de cloud.

Conclusie:
DTDR is als het geven van een slimme, persoonlijke navigatie aan je telefoon. In plaats van een enorme, verwarrende lijst met alle mogelijke bestemmingen, laat het je alleen de weg zien die op dat exacte moment logisch is, gebaseerd op waar je bent en waar je naartoe wilt. Hierdoor wordt je telefoon niet alleen slimmer, maar ook zuiniger op energie.

Technische samenvatting

Probleemstelling

Grootte Taalmodellen (LLMs) die zijn uitgebreid met toolgebruik (ook wel "function calling" genoemd), worden steeds vaker ingezet om complexe taken te automatiseren. Voor implementatie op apparaten (on-device) is het echter cruciaal om de contextlengte te beperken en de efficiëntie te maximaliseren. Bestaande methoden voor het selecteren van relevante tools (retrieval) hebben twee belangrijke tekortkomingen:

1. Statische input: Veel methoden vertrouwen uitsluitend op de initiële gebruikersvraag of op statische beschrijvingen van tools. Ze negeren de dynamische evolutie van de taak tijdens de uitvoering.
2. Gebrek aan afhankelijkheidsbewustzijn: Bestaande systemen missen vaak het vermogen om multi-stap afhankelijkheden tussen tools te modelleren. Dit leidt tot het selecteren van irrelevante tools of het herhaaldelijk aanroepen van onnodige functies, wat de nauwkeurigheid en snelheid van de agent vermindert.

De kernvraag is: hoe kunnen we een lichtgewicht, op apparaten toepasbare methode ontwikkelen die zowel de oorspronkelijke vraag als de lopende uitvoeringsgeschiedenis gebruikt om de juiste tools te selecteren?

Methodologie: Dynamic Tool Dependency Retrieval (DTDR)

De auteurs introduceren DTDR, een lichtgewicht retrieval-methode die dynamisch reageert op zowel de gebruikersvraag ($q$) als de geschiedenis van eerder uitgevoerde tool-aanroepen ($f_{0:t-1}$). In tegenstelling tot statische methoden, past DTDR de set van beschikbare tools aan naarmate het plan zich ontwikkelt.

De paper presenteert twee varianten van DTDR:

1. DTDR-C (Clustering-based): Een onbewaakte aanpak.
   • Het gebruikt een vooraf getraind embedding-model om demonstratievragen te clusteren (K-Means).
   • Voor elke cluster wordt een gewogen graaf van tool-afhankelijkheden gebouwd op basis van demonstratietrajecten.
   • Tijdens de inferentie wordt de testvraag gekoppeld aan de dichtstbijzijnde cluster, waarna de graaf wordt doorlopen op basis van de huidige tool-geschiedenis om de meest waarschijnlijke volgende tools te voorspellen.
2. DTDR-L (Linear-based): Een bewaakte aanpak.
   • Dit is een eenvoudige lineaire classifier die wordt getraind bovenop een embedding-model.
   • De classifier leert de waarschijnlijkheid van de volgende tool te voorspellen op basis van de concatenatie van de query en de volledige tool-geschiedenis.
   • Tools met een waarschijnlijkheid boven een bepaalde drempel ($\alpha$) worden geselecteerd.

Prompt Encoding Strategieën:
Om de geselecteerde tools efficiënt in de prompt van de LLM te integreren, onderzoeken de auteurs verschillende In-Context Learning (ICL) strategieën:

• Hard Masking: Verwijdert irrelevante tools volledig uit de prompt, waardoor de contextlengte drastisch wordt verkort.
• Soft Masking: Behoudt alle tools maar benadrukt de geselecteerde subset.
• Weighted Masking: Voegt waarschijnlijkheidsscores toe aan de prompt om de LLM te leiden. De resultaten tonen aan dat Weighted Hard Masking vaak de beste balans biedt tussen nauwkeurigheid en efficiëntie, vooral bij kleinere modellen.

Belangrijkste Bijdragen

1. Lichtgewicht Tool-Dependency Retrieval: DTDR is de eerste methode die voldoet aan vijf kritieke eisen voor on-device agents: het is bewust van tool-afhankelijkheden, werkt zonder volledige tool-beschrijvingen (tool description free), is bewust van de query, houdt rekening met multi-stap geschiedenis, en is geschikt voor kleine modellen.
2. Uitgebreide Evaluatie: De auteurs vergelijken DTDR met state-of-the-art methoden (zoals BM25, ToolNet, en Tool Graph Retriever) over meerdere datasets (TinyAgent, TaskBench) en LLM-backbones (Qwen 3 serie, Gorilla, GPT-4o).
3. Analyse van Prompt-strategieën: Er wordt een diepgaande analyse uitgevoerd over hoe retrieved tools het beste in de prompt kunnen worden gecodeerd, waarbij wordt aangetoond dat het dynamisch aanpassen van de prompt cruciaal is voor de prestaties.

Resultaten

De experimentele resultaten zijn overtuigend en tonen significante verbeteringen ten opzichte van bestaande methoden:

• Verbeterde Retrieval: DTDR-L (de lineaire variant) behaalde een 65,1% nauwkeurigheid bij tool-selectie op de TinyAgent-dataset, vergeleken met 30,7% voor de beste statische afhankelijkheidsretriever (ToolNet/DR).
• Toename in Succesratio: DTDR verbetert de succesratio van function calling met 23% tot 104% ten opzichte van de beste statische retrievers.
• Efficiëntie: Door dynamisch alleen relevante tools te selecteren, wordt de promptlengte met tot 51% verkort en de variabele deel van de prompt met 72%. Dit is essentieel voor on-device inferentie waar geheugen en latentie beperkt zijn.
• Edge vs. Cloud: Op de TinyAgent-dataset presteerde DTDR-L op een klein model (Qwen 3 4B) beter dan de "No ICL" baseline op een veel groter model (Qwen 3 14B) en zelfs beter dan GPT-4o, wat aantoont dat slimme retrieval strategieën de kloof tussen edge- en cloud-modellen kunnen dichten.
• Robuustheid: DTDR voorkomt dat modellen overfiten op veelvoorkomende tools (een probleem bij statische "Learned Retrievers") door de context van de volledige trajectgeschiedenis te gebruiken.

Betekenis en Impact

Deze paper biedt een cruciale oplossing voor de implementatie van geavanceerde AI-agenten op mobiele apparaten. Door te bewijzen dat dynamische, context-afhankelijke retrieval superieur is aan statische methoden, stelt DTDR ontwikkelaars in staat om:

• Complexere, multi-stap taken te automatiseren zonder de beperkingen van het geheugen van een apparaat te overschrijden.
• De nauwkeurigheid van tool-gebruik aanzienlijk te verhogen door rekening te houden met de volgorde en afhankelijkheid van eerdere stappen.
• Een schaalbare architectuur te bieden die werkt met zowel kleine, lokaal draaiende modellen als grote cloud-modellen.

Samenvattend introduceert DTDR een nieuw paradigma voor tool-retrieval dat niet alleen kijkt naar "wat de gebruiker vraagt", maar ook naar "waar we nu staan in het proces", wat leidt tot efficiëntere, nauwkeurigere en meer betrouwbare AI-agenten voor real-world toepassingen.