Dynamic Tool Dependency Retrieval for Efficient Function Calling

Ce papier propose DTDR, une méthode de récupération dynamique des dépendances d'outils qui, en s'adaptant au contexte d'exécution évolutif des agents d'appel de fonctions, améliore considérablement les taux de réussite par rapport aux méthodes statiques existantes.

L'essentiel

🌟 Le Problème : L'Assistant qui se perd dans la bibliothèque

Imaginez que vous avez un assistant personnel très intelligent (une Intelligence Artificielle) installé directement sur votre téléphone. Son travail est d'exécuter des tâches complexes pour vous, comme : "Réponds à l'email de Willem, puis envoie un SMS à ma mère pour lui dire que je serai en retard, et enfin ajoute un événement dans mon calendrier."

Pour faire cela, l'assistant doit utiliser des "outils" (des applications, des fonctions) : l'application Email, l'application SMS, l'application Calendrier.

Le problème actuel :
Votre téléphone a une mémoire limitée. Si vous demandez à l'assistant de choisir parmi 10 000 outils possibles à chaque fois qu'il doit faire une action, il va :

1. Se noyer : Il faut trop de temps pour tout lire.
2. Se tromper : Il va choisir le mauvais outil (par exemple, ouvrir un document au lieu d'envoyer un SMS) parce qu'il est confus par trop d'options.

Les anciennes méthodes essayaient de résoudre ça en donnant à l'assistant une liste statique d'outils basée uniquement sur ce que vous avez dit au début. C'est comme donner à un cuisinier une liste de tous les ingrédients du monde, juste parce qu'il a dit "Je veux faire un gâteau". Il risque d'ajouter du sel ou du poivre par erreur !

---

💡 La Solution : DTDR (Le Guide Dynamique)

Les chercheurs de Qualcomm et de l'Université de Maryland ont créé une nouvelle méthode appelée DTDR (Récupération Dynamique des Dépendances d'Outils).

Voici comment cela fonctionne avec une analogie simple :

1. Le "Guide de Voyage" vs La "Carte Statique"

• Les anciennes méthodes utilisent une carte statique. Peu importe où vous êtes dans votre voyage, elles vous montrent toujours les mêmes routes. Si vous êtes déjà à l'aéroport, la carte vous montre encore comment aller à la gare, ce qui est inutile et perturbant.
• La méthode DTDR agit comme un guide de voyage intelligent et dynamique.
  • Elle regarde ce que vous voulez (votre demande initiale).
  • Elle regarde où vous en êtes (ce que l'assistant a déjà fait).
  • Elle ne vous montre que les 3 ou 4 prochaines étapes possibles.

2. L'Analogie du Chef de Cuisine

Imaginez un chef (l'IA) qui prépare un repas complexe.

• Sans DTDR : Le chef a tous les placards de la cuisine ouverts devant lui. Il doit chercher "le sel" parmi 500 épices. Il risque de prendre du sucre par erreur.
• Avec DTDR : Le chef a un plan de travail intelligent.
  • S'il vient de couper des oignons, le plan lui montre seulement les outils pour "faire revenir les oignons" ou "ajouter du beurre".
  • S'il doit ensuite mettre le plat au four, le plan cache les outils de découpe et ne montre que "le four" et "le minuteur".
  • Le chef ne voit que ce dont il a besoin à l'instant T.

---

🚀 Pourquoi c'est révolutionnaire ?

L'article montre trois avantages majeurs de cette approche :

1. Moins d'erreurs (Précision) : En ne montrant que les outils logiques pour l'étape suivante, l'assistant ne se trompe presque plus. Les tests montrent que cela améliore le succès des tâches de 23 % à 104 % ! C'est énorme.
2. Plus rapide et léger (Efficacité) : Comme l'assistant n'a pas à lire 10 000 descriptions d'outils, il va beaucoup plus vite. C'est crucial pour les téléphones qui ont une batterie limitée et peu de mémoire.
3. Compréhension du contexte : L'IA comprend que si vous avez déjà demandé "Où est Willem ?", la prochaine étape logique est "Envoyer un email à Willem", et non pas "Ouvrir la météo". Elle comprend la chaîne de logique, pas juste les mots-clés.

🏁 En Résumé

Imaginez que vous êtes dans un labyrinthe géant rempli de portes (les outils).

• Les anciennes méthodes vous donnaient une liste de toutes les portes du monde et vous disaient : "Choisis-en une !"
• DTDR est un petit robot qui vous tient la main. Il regarde où vous êtes, regarde où vous voulez aller, et ouvre uniquement la porte suivante qui a du sens. Il vous empêche de vous perdre, vous fait gagner du temps et vous mène droit au but.

C'est une avancée majeure pour rendre les assistants intelligents plus fiables, plus rapides et capables de fonctionner directement sur votre téléphone, sans avoir besoin d'être connectés à un super-ordinateur dans le cloud.

Résumé technique

1. Problématique

Les agents basés sur les grands modèles de langage (LLM) utilisent de plus en plus l'appel de fonctions (ou "tool use") pour automatiser des tâches complexes en interagissant avec des API externes. Cependant, le déploiement de ces agents sur des appareils locaux (on-device) se heurte à deux contraintes majeures :

1. Efficacité et contraintes matérielles : Les appareils mobiles ont des budgets stricts en termes de mémoire et de latence, ce qui empêche l'inclusion de centaines d'outils dans le contexte du modèle.
2. Efficacité de la sélection : Les méthodes de récupération (retrieval) existantes sont souvent statiques et limitées. Elles se basent soit uniquement sur la similarité sémantique entre la requête utilisateur et la description de l'outil, soit sur des graphes de dépendances statiques construits à partir de démonstrations.

Le problème central identifié par les auteurs est que ces approches statiques échouent à capturer :

• Les dépendances multi-étapes entre les outils (le fait que l'outil B ne peut être appelé que si l'outil A a été exécuté avec succès).
• Le contexte évolutif de la tâche (l'historique des appels précédents).
  Cela conduit souvent à la sélection d'outils non pertinents, ce qui dégrade la précision, augmente la longueur du contexte inutilement et réduit le taux de réussite global des tâches.

2. Méthodologie : DTDR (Dynamic Tool Dependency Retrieval)

Les auteurs proposent DTDR, une méthode de récupération légère qui conditionne la sélection des outils non seulement sur la requête initiale, mais aussi sur l'historique d'exécution en cours (la "trajectoire" des appels de fonctions).

L'objectif est de récupérer un sous-ensemble minimal et spécifique de l'ensemble des outils $F$, noté $F_t$, qui est pertinent à la fois pour la requête $q$ et pour l'historique des fonctions précédentes $f_{0:t-1}$.

DTDR propose deux variantes légères, toutes deux entraînées sur des données de démonstration :

A. DTDR-C (Clustering-based)

• Approche non supervisée.
• Utilise un modèle d'embedding pré-entraîné pour mapper les requêtes dans un espace vectoriel.
• Applique un algorithme de K-Means pour regrouper les requêtes en clusters.
• Pour chaque cluster, un graphe de dépendance d'outils pondéré est construit à partir des trajectoires de démonstration associées. Ce graphe modélise les probabilités de transition entre les outils.
• Lors de l'inférence, la requête est assignée à un cluster, et le graphe correspondant est parcouru en fonction de l'historique des appels pour prédire les outils suivants probables.

B. DTDR-L (Linear-based)

• Approche supervisée.
• Utilise un classifieur linéaire simple (une seule couche) entraîné au-dessus d'un modèle d'embedding figé.
• L'entrée du classifieur est la concaténation de la requête utilisateur et de l'historique des appels de fonctions.
• Le modèle apprend à prédire directement la distribution de probabilité des prochains outils pertinents.
• Un seuil de probabilité ($\alpha$) est appliqué pour filtrer et ne retenir que les outils les plus probables.

Intégration dans le Prompt (ICL)

Une fois les outils pertinents récupérés, ils doivent être intégrés dans le prompt du LLM. Les auteurs analysent plusieurs stratégies d'encodage In-Context Learning (ICL) :

• Hard Masking : Suppression pure et simple des outils non pertinents du prompt. Cela réduit drastiquement la longueur du contexte.
• Soft Masking : Tous les outils sont présents, mais les outils pertinents sont mis en avant (par exemple, en les listant en premier ou avec des instructions spécifiques).
• Weighted Masking : Ajout des probabilités prédites par le module de récupération directement dans le prompt pour guider le LLM.

3. Contributions Clés

1. Méthode de récupération légère et dynamique : DTDR est la première méthode à satisfaire simultanément cinq critères essentiels pour les agents sur appareil : prise en compte des dépendances d'outils, indépendance des descriptions d'outils (description-free), conscience de la requête, conscience de l'historique multi-étapes, et faible empreinte mémoire.
2. Évaluation exhaustive : Comparaison systématique contre des baselines de pointe (BM25, similarité sémantique, graphes statiques, récupérateurs appris) sur quatre jeux de données (TinyAgent, TaskBench) et sept architectures de LLM (de 0.6B à 14B paramètres, incluant Qwen 3 et GPT-4o).
3. Analyse des stratégies de prompt : Identification du Hard Masking pondéré comme la stratégie la plus performante pour la plupart des modèles, bien que le Soft Masking puisse être préférable pour les modèles plus grands capables de gérer plus de flexibilité.
4. Preuve de concept sur appareils mobiles : Démonstration que DTDR permet aux petits modèles (edge devices) de surpasser des modèles cloud beaucoup plus grands en termes de précision d'appel de fonctions.

4. Résultats Expérimentaux

Les résultats montrent des améliorations significatives par rapport aux méthodes statiques :

• Précision de récupération : DTDR-L (la variante linéaire) surpasse les méthodes statiques de 35 % à 100 % sur les métriques de précision (F1-score) et de rappel, en particulier sur les datasets avec des dépendances complexes.
• Précision de sélection de fonction (FSA) : Sur le dataset TinyAgent, DTDR-L appliqué à un modèle Qwen 3 de 4B paramètres atteint une précision supérieure à celle d'un modèle Qwen 3 de 14B ou de GPT-4o utilisant des méthodes de récupération statiques.
• Taux de réussite en bout de chaîne (End-to-End Success Rate) : Pour les tâches avec dépendances d'outils, DTDR améliore le taux de réussite global de 23 % à 104 % par rapport aux meilleurs récupérateurs statiques, et de 300 % à 600 % par rapport à l'absence de récupération (No ICL).
• Efficacité (Prompt Length) : Grâce à la suppression des outils non pertinents (Hard Masking), DTDR réduit la longueur du prompt de jusqu'à 51 % (et la partie variable jusqu'à 72 %), ce qui accélère considérablement l'inférence (étape de prefill) et réduit l'empreinte mémoire.
• Robustesse : L'analyse d'ablation montre que DTDR bénéficie d'un historique d'appels d'une longueur d'environ 3 étapes et que la performance sature avec environ 10 000 échantillons de démonstration.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

• Démocratisation des agents sur appareil : Il prouve qu'il n'est pas nécessaire d'avoir des modèles massifs ou des connexions cloud pour exécuter des tâches complexes multi-étapes. Une récupération dynamique et contextuelle permet aux petits modèles locaux d'atteindre des performances de niveau "cloud".
• Optimisation des ressources : En réduisant la longueur du contexte et en éliminant les appels d'outils erronés, DTDR répond directement aux contraintes de latence et de batterie des appareils mobiles.
• Nouveau paradigme de récupération : Le papier démontre que la récupération d'outils ne doit pas être un processus statique basé uniquement sur la sémantique de la requête, mais un processus dynamique qui s'adapte à l'état courant de la planification de l'agent.

En conclusion, DTDR offre une solution élégante et efficace pour rendre les agents LLM autonomes et performants dans des environnements contraints, en combinant l'apprentissage des dépendances structurelles des tâches avec une récupération contextuelle en temps réel.