Résumé Technique : Agentic Plan Caching (APC)

Problématique

Les applications d'agents basées sur les grands modèles de langage (LLM), qui suivent un paradigme « Plan-Agir » (alternance entre raisonnement et exécution), ont démontré des capacités significatives dans des flux de travail complexes tels que le codage, la navigation web et l'analyse de données. Cependant, ces applications engendrent des coûts et une latence substantiels en raison des exigences de planification étendues, nécessitant souvent de multiples requêtes auprès de modèles de raisonnement coûteux.

Les techniques de mise en cache existantes sont insuffisantes pour ce domaine :

• Mise en cache de contexte (KV Cache) : Repose sur des états internes spécifiques au modèle qui ne sont pas transférables entre différents modèles ou étapes d'un pipeline d'agent.
• Mise en cache sémantique : Stocke les paires entrée-sortie basées sur la similitude des prompts. Cela échoue pour les agents car leurs sorties sont souvent dépendantes des données ou dépendantes de l'environnement. Par exemple, la même requête de haut niveau (« résumer ce jeu de données ») nécessite des actions spécifiques différentes selon le contenu du jeu de données, ou « cliquer sur le commentaire supérieur » nécessite des coordonnées différentes selon l'état de l'écran. La mise en cache sémantique conventionnelle ne peut pas séparer l'intention centrale du contexte dynamique, ce qui entraîne des taux élevés de faux positifs ou des opportunités de réutilisation manquées.

Méthodologie : Agentic Plan Caging (APC)

Les auteurs proposent l'Agentic Plan Caching (APC), un système de mémoire au moment de l'inférence conçu pour extraire, stocker, adapter et réutiliser des modèles de plans structurés à partir d'exécutions d'agents terminées. Contrairement aux méthodes traditionnelles qui mettent en cache des requêtes brutes ou des journaux d'exécution complets, l'APC se concentre sur l'étape de Planification de la boucle de l'agent.

Flux de travail du système

1. Extraction de mots-clés : Lors de la réception d'une nouvelle requête de tâche, un modèle de langage léger (par exemple, GPT-4o-mini) extrait un mot-clé ou une intention de haut niveau (par exemple, « ratio du fonds de roulement ») qui capture la cible sémantique de la tâche, en ignorant les entités spécifiques comme les noms d'entreprises ou les dates.
2. Recherche dans le cache : Le système effectue une recherche par correspondance exacte de ce mot-clé par rapport à un cache stockant des paires (mot-clé, modèle de plan).
   • Succès de la recherche (Cache Hit) : Si une correspondance est trouvée, un petit modèle de planification (par exemple, LLaMa-3.1-8B) adapte le modèle de plan récupéré en injectant le contexte actuel (par exemple, nom d'entreprise spécifique, année fiscale) pour générer un plan détaillé.
   • Échec de la recherche (Cache Miss) : Si aucune correspondance n'est trouvée, un grand modèle de planification génère un nouveau plan à partir de zéro.
3. Exécution et Adaptation : Le plan généré ou adapté est transmis à un « Modèle d'Action » (Actor LM) pour exécuter la tâche.
4. Génération de modèle (Post-Exécution) : Lors de la complétion réussie d'une tâche (dans le cas d'un échec de recherche), le système génère une entrée réutilisable pour le cache :
   • Un filtre basé sur des règles supprime le raisonnement verbeux et les détails non pertinents du journal d'exécution.
   • Un filtre de modèle de langage léger élimine les éléments contextuels spécifiques (entités, nombres) pour produire un Modèle de Plan généralisé.
   • Le mot-clé associé est extrait et stocké aux côtés du modèle.

Choix de conception clés

• Correspondance par mot-clé vs par requête : Les auteurs soutiennent que la similitude sémantique basée sur la requête (utilisant des embeddings) est sous-optimale pour les agents car elle accentue trop les détails contextuels spécifiques. L'extraction de mots-clés se concentrant sur l'intention de haut niveau fournit un indicateur plus fiable de plans réutilisables, réduisant ainsi les faux positifs et les faux négatifs.
• Correspondance exacte vs floue : Le système utilise une correspondance exacte pour les mots-clés afin de garantir une faible latence et un faible coût. La correspondance floue s'est avérée introduire une surcharge de calcul significative et des problèmes d'évolutivité sans amélioration garantie de la précision.
• Modèle vs Historique complet : Au lieu de mettre en cache des journaux d'exécution complets (que les petits modèles peinent à traiter en raison de leur longueur), l'APC met en cache des modèles de plans distillés et de haute qualité, plus faciles à adapter pour les petits modèles.

Contributions clés

1. Analyse des limitations : Le papier fournit une analyse complète démontrant pourquoi les techniques de mise en cache de contexte et sémantique existantes échouent dans les scénarios d'IA agentique en raison des dépendances de modèles, des sorties dépendantes des données et d'une adaptabilité limitée.
2. Nouveau paradigme de mise en cache : L'APC déplace l'attention de la mise en cache au niveau de la requête (adaptée aux chatbots) vers une mise en cache au niveau de la tâche pour les agents. Il introduit un système qui extrait des modèles de plans structurés au moment de l'inférence et les adapte à l'aide de modèles légers.
3. Évaluation empirique : Le système est évalué à travers cinq charges de travail d'agents diverses (incluant FinanceBench, Tabular Math Word Problems, AIME et GAIA) et deux architectures d'agents (Minion et Open Deep Research).

Résultats

L'évaluation à travers divers benchmarks produit les résultats moyens suivants :

• Réduction des coûts : L'APC réduit les coûts de service des agents de 50,31 % par rapport à la ligne de base optimale en termes de précision (utilisant un grand modèle pour toute la planification).
• Réduction de la latence : L'APC réduit la latence de service de 27,28 %.
• Maintien de la performance : Le système maintient 96,61 % de la précision optimale de l'application.
• Surcharge (Overhead) : La surcharge introduite par l'extraction de mots-clés et la génération de cache est minimale, ne représentant que 1,04 % du coût total en moyenne.
• Robustesse : Contra-irement à la mise en cache sémantique, qui souffre de chutes d'exactitude significatives lors des succès de cache dus aux faux positifs, l'APC maintient une précision constante quel que soit l'état du cache.

Signification et Revendications

Le papier affirme que l'Agentic Plan Caching offre une solution plus efficace pour servir les agents basés sur les LLM en complétant les infrastructures de service de LLM existantes. Sa signification réside dans :

• Découplage de l'Intention et du Contexte : En séparant l'intention de la tâche centrale (via les mots-clés) du contexte de données dynamiques, l'APC permet la réutilisation de la logique de planification à travers des tâches sémantiquement similaires mais contextuellement distinctes.
• Évolutivité rentable : Il permet l'utilisation de modèles plus petits et moins coûteux pour l'étape de planification dans de nombreux scénarios sans sacrifier les performances des grands modèles, répondant ainsi à la barrière du coût élevé de l'échelle des flux de travail agentiques.
• Compatibilité : Le cadre est conçu pour être compatible avec les architectures d'agents existantes et peut être utilisé conjointement avec d'autres techniques de mise en cache (comme le KV cache).

Les auteurs notent que bien que le système soit efficace, il fait face à une limitation de « démarrage à froid » (cold start) où la performance initiale est plus faible jusqu'à ce que le cache soit peuplé, un trait commun de la mise en cache au moment de l'inférence. Ils suggèrent de pré-peupler les caches avec des échantillons hors ligne comme stratégie d'atténuation pour les charges de travail connues.