Résumé Technique : ExpGraph

Problématique

Les agents basés sur les grands modèles de langage (LLM) ont démontré de fortes capacités de raisonnement, d'utilisation d'outils et d'interaction avec des environnements multi-étapes. Cependant, un goulot d'étranglement critique subsiste : la plupart des agents fonctionnent comme des « exécutants en une seule passe » (one-shot executors), résolvant chaque tâche à partir de zéro sans réutiliser systématiquement les stratégies réussies ou les leçons tirées des échecs. Bien que l'ajustement fin (fine-tuning) d'un exécutant sur l'expérience collectée soit un remède courant, cela devient de plus en plus inflexible à mesure que les LLM évoluent rapidement. Lorsqu'un exécutant plus puissant ou plus adapté émerge, le processus d'apprentissage de l'expérience nécessite souvent de réentraîner l'instance spécifique du modèle, ce qui rend le système étroitement couplé à un modèle particulier. De plus, de nombreux LLM performants sont à code source fermé, trop volumineux ou trop coûteux pour être mis à jour, rendant la modification au niveau des paramètres impraticable.

Le défi central abordé par ce travail est le suivant : Comment un agent LLM peut-il apprendre de l'expérience accumulée tout en gardant l'exécutant lui-même gelé et remplaçable ? Les méthodes existantes traitent souvent l'expérience réutilisable comme des enregistrements isolés ou reposent sur une simple correspondance de type « plus proche voisin » (nearest-neighbor), échouant à capturer la nature relationnelle des stratégies, des contraintes et des schémas d'échec. De plus, la pertinence sémantique de surface ne garantit pas toujours l'utilité en aval ; une expérience d'apparence similaire peut n'offrir que peu de bénéfices, tandis qu'une autre, structurellement liée, pourrait fournir une stratégie transférable cruciale.

Méthodologie : ExpGraph

Les auteurs proposent ExpGraph, un cadre d'apprentissage d'expérience agnostique au modèle qui améliore les exécutants LLM gelés grâce à une mémoire relationnelle auto-évolutive et un copilote de récupération entraînable. Le cadre découple l'exécution de l'apprentissage de l'expérience, permettant au même système externe d'améliorer différents exécutants gelés sans modifier leurs paramètres.

Composants Clés

1. Construction du Graphe d'Expérience :

   • Les trajectoires historiques ($\tau = (x, \xi, y, s)$) sont résumées en unités d'expérience compactes en langage naturel ($e$).
   • Les trajectoires à score élevé sont distillées en compétences (patterns réussis, heuristiques), tandis que les trajectures à score faible sont distillées en leçons (modes d'échec, contraintes).
   • Ces unités forment des nœuds dans un graphe creux et non orienté. Des arêtes relient les expériences sémantiquement ou stratégiquement liées sur la base de seuils de similitude cosinus, créant une structure qui dépasse les listes plates.

2. Récupération de Graphe Guidée par l'Utilité :

   • Copilote de Récupération (Retrieval Copilot) : Une politique légère et entraînable ($\pi_{ret}$) prédit deux variables de contrôle adaptatives pour chaque tâche :
     • $R$ (Profondeur de Diffusion) : Contrôle l'étendue de l'exploration du graphe.
     • $W$ (Compromis Utilité-Utilité) : Contrôle l'équilibre entre la similitude sémantique et l'utilité historique.
   • Ensemencement Sémantique (Semantic Seeding) : Le système identifie d'abord les $M$ nœuds sources via la similitude cosinus avec l'embedding de la tâche.
   • Diffusion de Graphe : En utilisant le PageRank personnalisé, le système s'étend à partir de l'ensemble des sources à travers le graphe. La probabilité de redémarrage est contrôlée par $R$, permettant à la récupération de rester locale ou de se propager plus loin pour trouver des expériences structurellement liées.
   • Classement Sensible à l'Utilité : Les candidats sont reclassés à l'aide d'un score UCB (Upper Confidence Bound) qui combine la pertinence sémantique avec un score d'utilité estimé ($u_v$). Cela encourage l'exploitation des expériences à haute valeur tout en explorant les nœuds moins testés.

3. Apprentissage à partir du Feedback d'Utilité :

   • Le système utilise un mécanisme de récompense fondée sur l'utilité. Pour chaque tâche, l'exécutant gelé est évalué deux fois : une fois avec les expériences récupérées ($s_{with}$) et une fois sans ($s_{without}$).
   • La récompense est calculée comme $r = (s_{with} - s_{without}) + \eta s_{with}$, mesurant le gain marginal de la récupération tout en garantissant la qualité absolue de la tâche.
   • Optimisation du Copilote : Le copilote de récupération est optimisé via l'Optimisation de Politique Proximale (PPO) pour maximiser cette récompense, apprenant à récupérer des expériences qui améliorent réellement l'exécution plutôt que de simplement correspondre sémantiquement.
   • Évolution du Graphe en Ligne : Les nœuds récupérés sont mis à jour avec de nouvelles statistiques d'utilité basées sur la récompense. Les nouvelles trajectoires sont résumées et insérées dans le graphe, tandis que les nœuds de faible utilité sont élagués, permettant à la mémoire de s'auto-évoluer.

Contributions Clés

• Conception Agnostique au Modèle : ExpGraph est le premier cadre supportant conjointement l'expérience structurée en graphe, la diffusion de graphe, le classement sensible à l'utilité et la récupération adaptative pour des exécutants gelés. Il ne nécessite pas de réentraînement du LLM sous-jacent.
• Mémoire Relationnelle : Contra-irement aux systèmes de mémoire plate, ExpGraph organise les expériences sous forme de graphe, permettant la découverte de stratégies transférables et de schémas d'échec qui ne sont pas des voisins sémantiques immédiats.
• Politique de Récupération Adaptative : L'introduction d'un copilote de récupération qui contrôle dynamiquement la profondeur de diffusion et le compromis pertinence-utilité permet au système de s'adapter à la fois à la complexité des tâches et aux capacités de l'exécutant.
• Apprentissage Fondé sur l'Utilité : En optimisant la récupération basée sur les gains de performance réels en aval (plutôt que sur la simple similitude), le système apprend à distinguer ce qui est simplement pertinent de ce qui est véritablement utile.

Résultats Expérimentaux

Les auteurs ont évalué ExpGraph sur ExpSuite, couvrant des tâches statiques à un tour (Questions-Réponses, Raisonnement Mathématique, Génération de Code) et des environnements agentiques multi-étapes (ALFWorld, AppWorld).

• Gains de Performance :
  • Tâches Statiques : ExpGraph a amélioré le score moyen par rapport au meilleur baseline de 12,2 % avec un exécutant plus petit (Llama-3.2-3B) et de 4,7 % avec un exécutant plus grand (Llama-3.1-8B).
  • Environnements Agentiques : Les gains étaient plus prononcés, améliorant le score moyen pondéré de 21,4 % (petit exécutant) et de 12,7 % (grand exécutant) par rapport au meilleur baseline.
  • Efficacité : ExpGraph a réduit le nombre moyen d'étapes d'interaction de 12,7 % et 21,6 % par rapport aux baselines concurrentes les plus efficaces dans les contextes agentiques.
• Généralisation : Le cadre a démontré de fortes capacités de transfert zero-shot. Les composants d'expérience appris à partir de plus petits exécutants ont été transférés efficacement vers des modèles plus grands, et les composants de modèles non-raisonnement se sont bien généralisés à des modèles capables de raisonner.
• Études d'Ablation : Le retrait de n'importe quel composant clé (structure de graphe, diffusion, classement d'utilité ou filtrage de similitude) a systématiquement dégradé les performances, confirmant que la conception conjointe est essentielle pour une réutilisation efficace de l'expérience.

Signification et Revendications

L'article affirme qu'ExpGraph fournit une voie pratique et agnostique à l'exécutant pour que les agents LLM apprennent de l'expérience sans réentraîner l'exécutant sous-jacent. Les auteurs soulignent que :

1. La Réutilisation de l'Expérience est Critique pour les Exécutants Faibles : Les gains relatifs sont nettement plus élevés pour les modèles plus petits et moins capables, suggérant que l'expérience externe peut compenser des capacités de raisonnement ou de planification intrinsèques plus faibles.
2. Valeur dans les Tâches à Longue Durée (Long-Horizon) : Les bénéfices sont plus marqués dans les environnements agentiques nécessitant une prise de décision sur le long terme, où les trajectoires antérieures peuvent directement guider les actions et réduire l'exploration inutile.
3. Découplage de l'Apprentissage et de l'Exécution : En traitant l'exécutant comme un solveur de tâches remplaçable et en apprenant comment fournir du contexte via un système externe, ExpGraph répond à l'inflexibilité des approches basées sur le fine-tuning dans un paysage de LLM en évolution rapide.

Les auteurs concluent que la modélisation des relations entre les expériences et l'apprentissage d'une récupération adaptative sensible à l'utilité sont essentielles pour permettre aux agents LLM d'accumuler et de transférer efficacement les connaissances des tâches, particulièrement dans les contextes où l'exécutant ne peut pas être mis à jour.