Résumé Technique : CoCoDA – DAG Compositionnel Co-évoluant pour Agents Augmentés par des Outils

1. Formulation du Problème

Les modèles de langage (LLM) augmentés par des outils étendent de petits planificateurs avec des compétences exécutables externes, leur permettant de déléguer le calcul et la manipulation symbolique. Cependant, la mise à l'échelle de la bibliothèque d'outils introduit une tension fondamentale : la bibliothèque doit évoluer avec le planificateur pour capturer de nouvelles sous-routines réutilisables, tout en maintenant la récupération dans une bibliothèque croissante à l'intérieur d'un budget de contexte fixe.

Les approches existantes échouent à résoudre ce couplage. Les systèmes d'utilisation d'outils statiques supposent un inventaire fixe, tandis que les méthodes de bibliothèque de compétences stockent généralement les outils sous forme d'enregistrements textuels plats ou de mémoires en langage naturel. Ces structures plates entraînent une croissance linéaire des coûts d'invite avec la taille de la bibliothèque et obscurcissent la structure typée et compositionnelle du code exécutable. À l'inverse, les méthodes de bibliothèque de code exploitent la structure mais ne sont pas conçues pour les planificateurs LLM opérant sous une récupération budgétisée en tokens. Le défi central est de concevoir un mécanisme qui soit simultanément conscient du code, efficace en récupération et apprenable en ligne, résolvant deux problèmes couplés : comment faire croître la bibliothèque avec la politique, et comment récupérer dans cette bibliothèque croissante sous une fenêtre de contexte fixe.

2. Méthodologie : Le Cadre CoCoDA

CoCoDA répond à ces défis grâce à une structure unique native du code : un DAG de Code Compositionnel (Graphe Acyclique Dirigé). Ce cadre fait co-évoluer le planificateur ($\pi_\theta$) et la bibliothèque d'outils ($L$) via deux composants principaux : la Récupération de DAG Typé et une procédure de co-évolution en ligne.

2.1 Structure du DAG d'Outils Compositionnel

La bibliothèque $L$ est organisée comme un DAG $G=(V, E)$ où :

• Nœuds ($V$) : Partitionnés en nœuds primitifs (fonctions exécutables atomiques) et nœuds composites (macro-actions invoquant des outils existants).
• Arêtes ($E$) : Encodent les dépendances d'invoction, stratifiant la bibliothèque par abstraction plutôt que par similarité de surface.
• Enregistrements de Nœuds ($I(v)$) : Chaque nœud stocke un enregistrement à quatre niveaux :
  1. $L_1$ : Signature typée (symbolique).
  2. $L_2$ : Description en langage naturel.
  3. $L_3$ : Spécifications de pré/post-conditions et complexité.
  4. $L_4$ : Exemples d'entrées-sorties résolus.

2.2 Récupération de DAG Typé

Au moment de l'inférence, CoCoDA emploie une cascade de récupération du grossier au fin qui élague les candidats symboliquement avant d'encourir des coûts LLM élevés. Étant donné un sous-objectif induit par une requête, le processus construit une séquence imbriquée d'ensembles survivants $S_0 \supseteq S_1 \supseteq S_2 \supseteq S_3 \supseteq S_4$ :

1. $L_1$ (Élagage Symbolique) : Filtre les outils en unifiant la signature du sous-objectif avec la signature typée de l'outil. Cette étape est symbolique et n'engendre aucun coût de token d'invite.
2. $L_2$ (Expansion Sémantique) : Classe les survivants par pertinence sémantique en utilisant les descriptions. Crucialement, cette étape peut grimper vers un composite englobant ou descendre vers un primitif basé sur la structure du DAG, une capacité que la récupération de texte plat ne possède pas.
3. $L_3$ (Filtrage par Spécification) : Vérifie les pré/post-conditions et les contraintes de complexité. Les composites survivants sont certifiés comme des macro-actions équivalentes à leurs sous-trajectoires primitives.
4. $L_4$ (Désambiguïsation par Exemples) : Reclasse les survivants en utilisant des exemples résolus pour briser les égalités.

Cette cascade garantit que les enregistrements facturés par LLM coûteux ne sont matérialisés que pour des ensembles de candidats progressivement plus petits, maintenant le coût de récupération sous-linéaire par rapport à la taille de la bibliothèque.

2.3 Co-évolution en Ligne

Le cadre met à jour le planificateur et la bibliothèque simultanément sur la base de trajectoires réussies :

• Croissance de la Bibliothèque : Les trajectoires réussies sont transmises à un abstrateur enseignant fixe ($M_T$) qui propose des outils composites. Une proposition n'est validée que si elle préserve l'acyclicité et satisfait les vérifications de dépendance/spécification (via INSERTTOOL).
• Mise à Jour du Planificateur : Le planificateur est mis à jour en utilisant une récompense induite par le DAG. Au-delà de la récompense de résultat standard ($R_{res}$), une récompense compositionnelle ($R_{comp}$) crédite les outils par leur nombre d'appels « économisés » ($\Phi$), défini comme le nombre d'appels primitifs qu'un composite remplace.
  • $R(\tau) = R_{res}(\tau) + \lambda \sum \Phi(t_i)$.
  • Cette récompense encourage le planificateur à router à travers des composites plus profonds, réduisant efficacement le nombre d'appels d'outils ($T(\tau)$) requis pour une tâche.

3. Contributions Clés

1. Formulation du Problème : Les auteurs présentent l'apprentissage de bibliothèque d'outils pour les petits LLMs comme un problème d'optimisation conjoint avec des contraintes explicites de coût de récupération et de fenêtre de contexte, abordant la croissance couplée de la politique et de la bibliothèque.
2. Récupération de DAG Typé : Une cascade de récupération native du code qui utilise des signatures, des arêtes d'invoction, des spécifications et des exemples pour maintenir le coût d'invite sous-linéaire par rapport à la taille de la bibliothèque.
3. Procédure de Co-évolution : Un mécanisme en ligne qui insère des outils composites validés et entraîne le planificateur avec une récompense structurelle « d'appels économisés », encourageant l'exploitation de nouvelles abstractions apprises.
4. Garanties Théoriques : L'article fournit des preuves pour :
   • La réduction du coût de récupération et le temps de récupération sous-linéaire.
   • L'avantage compositionnel sous la récompense façonnée (prouvant que l'utilisation de composites génère des récompenses strictement supérieures aux séquences primitives équivalentes).
   • La co-évolution monotone sous des mises à jour conservatrices.
   • La bonne formation du DAG (acyclicité et bornes de profondeur).

4. Résultats Expérimentaux

CoCoDA a été évalué sur six benchmarks couvrant le raisonnement mathématique (GSM8K, MATH), l'analyse tabulaire (WikiTableQuestions, FinQA) et les tâches de code (EvalPlus, MBPP).

• Performance : Un modèle étudiant de 8B entraîné avec CoCoDA a égalé ou dépassé un modèle enseignant de 32B sur GSM8K (93,67 contre 93,40) et MATH (63,18 contre 61,62).
• Mise à l'échelle : Les gains par rapport à la Chaîne de Pensée (CoT) standard étaient les plus significatifs aux petites échelles (par exemple, +10,7 sur GSM8K pour le modèle de 0,6B).
• Lignes de Base : CoCoDA a constamment surpassé de solides lignes de base d'utilisation d'outils (ReAct, ToRL, ReTool) et des méthodes d'apprentissage de bibliothèque (CREATOR, TroVE). Notamment, les lignes de base de construction de bibliothèque sans une boucle étroite étudiant-enseignant ont sous-performé le CoT simple sur les tâches mathématiques et de code, confirmant la nécessité de la co-évolution.
• Efficacité : Alors que la taille de la bibliothèque a atteint 1 600 nœuds, le coût de récupération de CoCoDA était environ 11,4 fois inférieur à la récupération plate et 4,7 fois inférieur à la RAG hiérarchique textuelle.
• Ablation : La suppression du DAG d'Outils Compositionnel (CTD) a causé la plus grande baisse de performance (2 à 4 points), soulignant l'importance des arêtes de dépendance. La désactivation de la Récupération de DAG Typé (TDR) a nui le plus aux tâches tabulaires, tandis que la suppression de la récompense consciente du graphe (GAR) a uniformément réduit la performance.

5. Signification et Revendications

L'article revendique que CoCoDA résout la tension entre la croissance de la bibliothèque et les contraintes de contexte en exploitant les propriétés structurelles uniques du code exécutable. En représentant la bibliothèque comme un DAG compositionnel, le cadre permet :

• Récupération Sous-linéaire : La capacité de faire émerger des abstractions complexes et réutilisables sans augmenter linéairement les coûts de contexte.
• Apprentissage Structurel : Un signal de récompense qui crédite explicitement le planificateur pour la compression des séquences primitives en composites, pilotant la co-évolution de la politique et de la bibliothèque.
• Évolutivité : La capacité des petits modèles (8B) d'atteindre les performances de modèles beaucoup plus grands (32B) en utilisant efficacement une mémoire procédurale externe et évolutive.

Les auteurs concluent que cette approche offre une voie viable pour les petits modèles de langage de déléguer le calcul et la manipulation symbolique efficacement, à condition que la bibliothèque co-évolue avec la politique à travers une structure qui respecte la nature exécutable des outils. Des travaux futurs sont notés pour étendre cela aux paramètres multimodaux et aux scénarios multi-agents.