Dynamic Tool Dependency Retrieval for Efficient Function Calling

Die vorgestellte Arbeit stellt DTDR (Dynamic Tool Dependency Retrieval) vor, eine leichte Suchmethode, die durch die dynamische Berücksichtigung von Tool-Abhängigkeiten und dem sich entwickelnden Kontext die Genauigkeit und Effizienz von Agenten mit Large Language Models im Vergleich zu statischen Ansätzen erheblich steigert.

Das Wesentliche

Stell dir vor, du hast einen sehr intelligenten, aber etwas vergesslichen Assistenten (das ist die Künstliche Intelligenz oder KI), der dir helfen soll, komplexe Aufgaben zu erledigen. Zum Beispiel: „Rufe meine Mutter an, schicke eine E-Mail an den Chef und erstelle einen Termin im Kalender."

Um das zu tun, muss der Assistent auf eine riesige Werkzeugkiste zugreifen, die hunderte von verschiedenen „Werkzeugen" (Apps, Funktionen) enthält. Das Problem ist: Wenn der Assistent alle Werkzeuge auf einmal sieht, wird er verwirrt, langsam und macht Fehler. Er weiß nicht, welches Werkzeug er jetzt gerade braucht.

Bisherige Methoden waren wie ein starrer Katalog:
Der Assistent schaute nur auf die Aufgabe („Rufe Mutter an") und suchte im Katalog nach dem passenden Werkzeug. Aber er vergaß oft, was er schon getan hat. Wenn er gerade die Telefonnummer herausgesucht hat, sollte er im nächsten Schritt nicht wieder die Telefonnummer suchen, sondern direkt anrufen. Die alten Methoden wussten das nicht und schlugen ihm immer wieder die gleichen, falschen Werkzeuge vor. Das war wie ein Koch, der immer wieder nach dem Messer greift, obwohl er gerade schon das Gemüse geschnitten hat und jetzt den Topf braucht.

Die neue Lösung: DTDR (Dynamische Werkzeug-Abhängigkeits-Retrieval)

Die Forscher aus diesem Papier haben eine neue Methode namens DTDR entwickelt. Man kann sich das wie einen sehr aufmerksamen Butler vorstellen, der zwei Dinge gleichzeitig im Blick hat:

1. Die ursprüngliche Aufgabe: Was will der Chef eigentlich? (z. B. „E-Mail schreiben").
2. Die aktuelle Situation: Was haben wir gerade erst getan? (z. B. „Wir haben gerade den Adressbuch-Eintrag gefunden").

Die Analogie des Wanderwegs:
Stell dir vor, du wanderst durch einen riesigen Wald (die Welt der Tools).

• Die alten Methoden gaben dir eine Landkarte, auf der alle Wege markiert waren, egal ob sie zu deinem Ziel führten oder in eine Sackgasse. Du musstest selbst raten, wohin du gehen sollst.
• DTDR ist wie ein dynamischer GPS-Führer. Er weiß nicht nur, wo dein Ziel ist, sondern auch, auf welchem Wegstrecken-Teil du gerade stehst.
  • Wenn du gerade einen Fluss überquert hast, sagt er: „Okay, jetzt brauchst du nicht mehr den Fluss, sondern den nächsten Waldweg."
  • Er blendet alle Wege aus, die gerade sinnlos wären, und zeigt dir nur die wenigen, die dich wirklich weiterbringen.

Warum ist das so genial?

1. Es ist leichtgewichtig: Der Butler muss nicht das ganze Gehirn der KI belasten. Er ist ein kleines, schnelles Programm, das perfekt auf deinem Handy (On-Device) läuft, ohne den Akku leerzusaugen.
2. Es lernt aus der Vergangenheit: Der Butler schaut sich an, wie andere Menschen ähnliche Aufgaben gelöst haben (die „Demonstrationen"). Er merkt sich: „Aha, wenn jemand eine E-Mail schreibt, folgt meistens ein Anhang, und danach ein Absenden."
3. Es passt sich an: Wenn sich die Aufgabe ändert (z. B. „Ich will die E-Mail nicht senden, sondern nur speichern"), ändert der Butler sofort seine Empfehlung. Er ist nicht starr.

Das Ergebnis

In Tests hat sich gezeigt, dass dieser neue Ansatz den Assistenten 23 % bis 104 % erfolgreicher macht als die alten Methoden.

• Schneller: Der Assistent muss nicht mehr durch hunderte Werkzeuge scrollen, sondern bekommt nur die 2–3 relevanten vorgeschlagen.
• Genauer: Er macht weniger Fehler, weil er nicht durch irrelevante Optionen abgelenkt wird.
• Effizienter: Da weniger Informationen auf den Bildschirm (oder in den Speicher) geladen werden müssen, läuft alles flüssiger auf kleinen Geräten wie Smartphones.

Zusammenfassend:
Früher bekam der KI-Assistent eine riesige, unsortierte Werkzeugkiste und musste selbst raten, was er als Nächstes braucht. Mit DTDR bekommt er einen klugen, dynamischen Assistenten an die Seite, der ihm genau das Werkzeug reicht, das er jetzt gerade braucht, basierend auf dem, was er gerade getan hat. Das macht die KI schlauer, schneller und zuverlässiger – besonders auf unseren Handys.

Technische Zusammenfassung

1. Problemstellung

Große Sprachmodelle (LLMs), die um die Fähigkeit zur Tool-Nutzung (Function Calling) erweitert wurden, können komplexe Aufgaben automatisieren, indem sie externe APIs aufrufen. Die Bereitstellung solcher Agenten auf Endgeräten (On-Device) stößt jedoch auf zwei Hauptprobleme:

• Effizienz: Strikte Speicher- und Latenzgrenzen erlauben keine Verarbeitung riesiger Tool-Sets oder langer Kontexte.
• Effektivität: Bestehende Retrieval-Methoden zur Auswahl relevanter Tools basieren oft auf statischen Eingaben (z. B. nur semantische Ähnlichkeit zwischen Query und Tool-Beschreibung) oder statischen Abhängigkeitsgraphen.

Das Kernproblem: Diese statischen Ansätze erfassen weder die sich entwickelnden Kontexte mehrstufiger Aufgaben noch die dynamischen Abhängigkeiten zwischen Tools. Dies führt dazu, dass irrelevante Tools in den Prompt eingefügt werden, was die Genauigkeit des Agenten verringert und die Effizienz durch unnötige Token-Nutzung beeinträchtigt.

2. Methodik: Dynamic Tool Dependency Retrieval (DTDR)

Die Autoren schlagen DTDR vor, eine leichte Retrieval-Methode, die sowohl auf die initiale Benutzeranfrage ($q$) als auch auf den sich entwickelnden Ausführungskontext (die Historie der bereits ausgeführten Tool-Aufrufe $f_{0:t-1}$) konditioniert.

Das Ziel ist es, eine minimale, aufgaben spezifische Teilmenge von Tools und deren Abhängigkeitsrelationen zu identifizieren, die für den nächsten Schritt im Plan relevant sind.

DTDR wird in zwei Varianten implementiert:

1. DTDR-C (Clustering-basiert, unüberwacht):
   • Nutzt ein vortrainiertes Embedding-Modell, um Demonstrationen in Cluster zu gruppieren.
   • Für jeden Cluster wird ein gewichteter Abhängigkeitsgraph der Tools erstellt, der die Wahrscheinlichkeiten für den nächsten Tool-Aufruf basierend auf der Historie modelliert.
   • Bei einer neuen Query wird der passende Cluster identifiziert, und der Graph wird durchsucht, um die nächsten wahrscheinlichen Tools vorherzusagen.
2. DTDR-L (Linearer Klassifikator, überwacht):
   • Ein einfacher linearer Klassifikator wird auf einem vortrainierten Embedding-Modell trainiert.
   • Er nimmt die Konkatination von Query und Tool-Historie als Eingabe und sagt die Wahrscheinlichkeitsverteilung für den nächsten Tool-Aufruf vorher.
   • Tools werden basierend auf einem Schwellenwert $\alpha$ ausgewählt.

Prompt-Integration:
Um die retrieved Tools in den LLM-Prompt zu integrieren, untersuchen die Autoren verschiedene In-Context-Learning (ICL) Strategien:

• Hard Masking: Entfernt irrelevante Tools komplett aus dem Prompt (reduziert Token-Zahl drastisch).
• Soft Masking: Behält alle Tools bei, hebt aber die relevanten hervor.
• Weighted Masking: Fügt Wahrscheinlichkeitswerte der Tools hinzu, um dem LLM zusätzliche Hinweise zu geben. Die Ergebnisse zeigen, dass Weighted Hard Masking oft die beste Balance zwischen Effizienz und Genauigkeit bietet.

3. Wichtige Beiträge

1. Leichtgewichtiges, abhänigkeitsbewusstes Retrieval: DTDR ist der erste Ansatz, der gleichzeitig Query, Tool-Historie und Tool-Abhängigkeiten für das Retrieval nutzt, während er gleichzeitig die Anforderungen an On-Device-Ressourcen erfüllt.
2. Umfassende Evaluation: Der Ansatz wurde gegen fünf Kategorien von Baselines (Text-basiert, Embedding-basiert, Graph-basiert) auf vier Datensätzen (TinyAgent, TaskBench DailyLife, HuggingFace, Multimedia) und sieben LLM-Backbones (Qwen 3 Familie, Gorilla-V2, GPT-4o) getestet.
3. Analyse der Prompt-Strategien: Die Arbeit identifiziert, dass Hard Masking für kleinere Modelle entscheidend ist, um Kontextgrenzen einzuhalten, während größere Modelle von Soft Masking profitieren können. Weighted Masking verbessert die Leistung, wenn die Demonstrationsdaten gut mit der Testquery übereinstimmen.

4. Ergebnisse

Die Experimente zeigen signifikante Verbesserungen gegenüber dem State-of-the-Art:

• Retrieval-Genauigkeit: DTDR übertrifft statische Methoden (wie reine Query-Tool-Similarität oder statische Graphen) deutlich. Auf dem TinyAgent-Datensatz erreichte DTDR-L eine Funktion-Auswahl-Genauigkeit (Function Selection Accuracy) von 65,1 % im Vergleich zu 30,7 % bei der besten statischen Dependency-Methode.
• End-to-End-Erfolgsrate: Für Datensätze mit Tool-Abhängigkeiten verbesserte DTDR die Erfolgsrate um 23 % bis 104 % im Vergleich zu den besten statischen Retrieval-Baselines. Im Vergleich zu einem System ohne ICL (In-Context Learning) lag die Steigerung sogar bei 300–600 %.
• Effizienz: Durch das dynamische Entfernen irrelevanter Tools konnte die Prompt-Länge um bis zu 51 % (gesamt) und der variable Teil um bis zu 72 % reduziert werden. Dies ist kritisch für On-Device-Inferenz.
• Leistung kleiner Modelle: DTDR ermöglicht es kleinen Edge-Modellen (z. B. Qwen 3 4B), die Leistung von deutlich größeren Cloud-Modellen (z. B. Qwen 3 14B oder GPT-4o) in bestimmten Szenarien zu erreichen oder sogar zu übertreffen.

5. Bedeutung und Fazit

Das Paper demonstriert, dass dynamische Anpassung für On-Device-Agenten unerlässlich ist. Statische Ansätze scheitern an der Komplexität realer, mehrstufiger Aufgaben, bei denen der nächste Schritt stark vom bisherigen Verlauf abhängt.

DTDR löst das Dilemma zwischen Genauigkeit und Ressourceneffizienz, indem es:

1. Den Kontext (Query + Historie) für das Retrieval nutzt.
2. Die Token-Last durch selektives Masking minimiert.
3. Eine robuste Alternative zum Fine-Tuning großer Modelle bietet, da es durch ICL und dynamisches Retrieval schnell an neue Tools angepasst werden kann.

Dieser Ansatz ebnet den Weg für leistungsfähige, autonome Agenten, die direkt auf mobilen Geräten oder in ressourcenbeschränkten Umgebungen komplexe Aufgaben zuverlässig ausführen können.