Résumé Technique : NTILC (Neural Tool Invocation via Learned Compression)

1. Énoncé du Problème

Les systèmes agentiques s'appuyant sur des Grands Modèles de Langage (LLM) dépendent de plus en plus de registres étendus d'API, de fonctions et d'actions locales appelables. L'approche standard, l'In-Context Tooling (ICT), insère le texte intégral de chaque définition d'outil disponible dans le prompt du modèle avant de traiter une requête utilisateur. Bien qu'efficace pour de petits registres, cette méthode induit un coût en tokens qui croît linéairement ($O(N)$) avec le nombre d'outils.

À mesure que les registres s'étendent (par exemple, à plus de 5 000 outils), l'ICT fait face à trois limitations critiques :

1. Épuisement du Contexte : Les schémas d'outils (moyennant environ 120 tokens) consomment rapidement la fenêtre de contexte, laissant peu de place pour les informations spécifiques à la tâche.
2. Latence et Coût : Le traitement de fenêtres de contexte massives augmente le temps de pré-remplissage (prefill) et les coûts d'inférence.
3. Dégradation de la Précision de Sélection : La présence de nombreux outils non pertinents (« distracteurs ») et le flou sémantique — où les outils partagent des descriptions en langage naturel presque identiques mais possèdent des signatures d'exécution incompatibles (par exemple, des types d'arguments différents) — entraînent des taux d'erreur plus élevés lors de la sélection d'outils.

2. Méthodologie : NTILC

Les auteurs proposent NTILC (Neural Tool Invocation via Learned Compression), un cadre qui remplace le balayage de registre en contexte à mise à l'échelle linéaire par une étape de récupération latente externe et apprise.

2.1 Pipeline d'Inférence

Au lieu d'injecter l'intégralité du registre dans le prompt, NTILC fonctionne comme suit :

1. Génération d'Intention : Un LLM de base ($M$) reçoit la requête utilisateur ($\chi$) et génère un bloc de plan ($P$) contenant des intentions d'outils en langage naturel.
2. Encodage : Un encodeur dédié ($E$) projette ces intentions dans un espace de plongement (embedding) entraîné.
3. Récupération Latente : Une recherche de plus proches voisins (NNS) est effectuée contre un index d'outils pré-construit hors ligne ($V$) pour récupérer l'identifiant du cluster d'outils le plus pertinent ($\hat{t}$).
4. Génération Contrainte : Le schéma de l'outil récupéré est transmis au LLM. En utilisant la bibliothèque Outlines, un automate à états finis (FSM) contraint le vocabulaire de sortie du modèle, garantissant que les arguments générés sont syntaxiquement valides et conformes strictement à la signature de l'outil sélectionné.
5. Exécution : Le répartiteur (dispatcher) exécute l'outil et renvoie le résultat au LLM pour la synthèse de la réponse finale.

Cette approche réduit le coût en tokens du prompt du registre de $O(N)$ à $O(1)$, car le registre est externalisé sous forme d'un index de plongements plutôt que sous forme de texte dans la fenêtre de contexte.

2.2 Objectif d'Entraînement

Un défi central est de résoudre le flou sémantique, où des outils sémantiquement similaires sont fonctionnellement incompatibles. NTILC traite cela via un objectif d'entraînement composite pour l'encodeur ($E$) :

1. Circle Loss : Utilisée pour l'alignement requête-outil général, elle pondère les similitudes par paires pour concentrer les signaux de gradient près de la frontière de décision de la récupération.
2. Functional Margin (FM) Loss : Un terme de perte novateur conçu pour séparer les outils ayant des descriptions similaires mais des signatures incompatibles.
   • Il calcule un score de compatibilité ($compat$) basé sur l'intersection des noms d'arguments, des types et des schémas de retour.
   • Il assigne un poids de répulsion ($w_{ij}$) aux paires négatives basées sur leur incompatibilité fonctionnelle.
   • Il applique une pénalité de marge spécifiquement aux « négatifs difficiles » (outils sémantiquement proches mais fonctionnellement distincts), les repoussant dans l'espace de plongement.

L'objectif total est $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$.

3. Contributions Clés

1. Innovation de Cadre : Introduction de NTILC, qui découple la capacité de l'agent de la longueur du prompt en externalisant le registre d'outils dans un index de plongement appris, réduisant le coût en tokens du prompt du registre de $O(N)$ à pratiquement zéro.
2. Functional Margin Loss : Proposition d'une fonction de perte sensible à la signature qui impose explicitement la séparation entre des outils sémantiquement similaires mais fonctionnellement distincts, traitant directement le problème du « flou sémantique ».
3. Évaluation Complète : Évaluation sur cinq jeux de données publics (ToolBench, BFCL, API-Bank, MetaTool, ToolEyes) démontrant les performances à travers différentes tailles de registres.

- 4. Résultats Expérimentaux

Les auteurs ont évalué NTILC par rapport aux bases de référence ICT (incluant Qwen3-27B, Ministral 3, Kimi Moonlight, et des modèles propriétaires comme ChatGPT 5 et Claude Sonnet 4.6) sur des jeux de données publics.

• Réduction du Contexte : NTILC réduit la consommation de la fenêtre de contexte de plus de 95 %. Pour un registre de 5 000 outils, l'ICT nécessite environ 600 000 tokens d'entrée, tandis que NTILC ne nécessite que l'intention et le schéma sélectionné (< 5 000 tokens).
• Latence : NTILC réduit la latence d'inférence jusqu'à 74 % par rapport aux bases de référence ICT à long contexte (par exemple, sur ToolBench, la latence est passée de 5 663 ms à 1 452 ms).
• Précision : NTILC maintient une parité avec les modèles ICT de pointe en précision Top-1 et Top-5.
  • Sur ToolBench, NTILC a atteint 98 % de précision Top-1 avec zéro token de prompt de registre.
  • Sur les sous-ensembles de flou sémantique, l'inclusion de la Functional Margin Loss a amélioré la précision du Flou Sémantique de 70,8 % (Circle Loss uniquement) à 75,0 %, tout en réduisant le taux d'erreur fonctionnelle à 8,7 %.

5. Signification et Revendications

L'article affirme que les registres d'outils n'ont pas besoin de résider dans la fenêtre de contexte. En déplaçant le registre vers un index de plongement compact, le cadre :

• Découple la capacité de la longueur du contexte : La performance de l'agent ne se dégrade plus à mesure que le registre d'outils augmente.
• Résout le problème du « Flou Sémantique » : Grâce à la Functional Margin Loss, le modèle apprend à distinguer les outils textuellement similaires mais fonctionnellement distincts, un mode de défaillance courant dans la récupération sémantique standard.
• Permet la Scalabilité : Cette approche permet le déploiement d'agents dotés de registres d'outils massifs sans encourir de coûts de tokens ou de pénalités de latence prohibitifs.

Les auteurs notent des limitations, spécifiquement que NTILC nécessite un indexage hors ligne et peut éprouver des difficultés avec une documentation d'outils hautement dynamique ou dépendante de l'état sans un ré-indexage fréquent. Ils soulignent également que, bien que NTILC améliore l'efficacité de la sélection, la sécurité et l'application des politiques (par exemple, les listes d'autorisation) restent des préoccupations distinctes qui doivent être couplées au mécanisme de répartition.