ExpWeaver: LLM Agents Learn from Experience via Latent RAG

Résumé Technique : ExpWeaver : Les agents LLM apprennent de l'expérience via le RAG latent

Énoncé du problème
L'intégration des interactions passées en tant qu'expériences réutilisables est une approche critique pour améliorer la planification et le raisonnement des agents basés sur les grands modèles de langage (LLM). Cependant, les méthodes existantes sont largement confinées à l'espace textuel explicite. Les approches actuelles stockent généralement les expériences sous forme de résumés textuels et les récupèrent via une similitude sémantique, en les concaténant dans la fenêtre de contexte du modèle. Ce paradigme introduit des inefficacités significatives :

1. Surcharge de tokens : La concaténation explicite consomme un espace substantiel de la fenêtre de contexte, limitant le nombre d'expériences récupérables et augmentant les coûts d'inférence.
2. Découplage architectural : La plupart des méthodes emploient un module de génération augmentée par récupération (RAG) distinct (par exemple, des récupérateurs basés sur l'embedding ou des moteurs de recherche) qui fonctionne indépendamment des représentations internes du LLM. Cette séparation empêche l'optimisation conjointe de la récupération et de la génération vers l'objectif de la tâche en aval.
3. Goulots d'étranglement représentationnels : La récupération au niveau du texte repose sur une similitude sémantique de surface, ce qui peut échouer à capturer les correspondances structurelles plus profondes dans les stratégies de résolution de problèmes requises pour des tâches complexes de raisonnement ou de codage.

Méthodologie : ExpWeaver
Pour répondre à ces limitations, les auteurs proposent ExpWeaver, un cadre qui permet aux agents LLM d'apprendre de l'expérience via la génération augmentée par récupération latente. Contrairement aux travaux antérieurs, ExpWeaver effectue la récupération directement dans l'espace latent du LLM sans nécessiter de module RAG séparé. Le cadre se compose de trois composants principaux :

1. Banque d'expériences avec alignement on-policy :

   • Les trajectoires passées (requête, trace de raisonnement, sortie, récompense) sont compressées en résumés textuels et encodées en embeddings latents denses ($z$) en utilisant le même LLM ($p_\theta$) utilisé pour la génération.
   • Plus précisément, l'embedding est dérivé de l'état caché du dernier token au niveau de la dernière couche du transformer ($z = h_\theta(s)$).
   • Cette conception garantit un alignement on-policy : à mesure que la politique évolue pendant l'entraînement, les expériences récentes résident naturellement dans une région d'embedding compatible, créant un biais de récence implicite analogue à l'apprentissage par renforcement on-policy.

2. Génération augmentée par récupération latente :

   • Récupération latente : À chaque étape de décodage $t$, l'état caché actuel $h_t$ sert de requête pour récupérer un ensemble top-$K$ d'embeddings d'expérience ($Z_t$) de la banque d'expériences en utilisant la similitude cosinus. Aucun récupérateur externe n'est nécessaire.
   • Agrégation par attention croisée : Les embeddings récupérés sont agrégés via un mécanisme d'attention croisée utilisant un jeton de requête apprenable ($u$). Cela permet au modèle de pondérer dynamiquement les expériences en fonction de leur pertinence par rapport à l'état de génération actuel.
   • Intégration par porte (Gated Integration) : Le signal d'expérience agrégé est intégré dans l'état caché via un mécanisme de résidu à porte. Des portes de rétention ($r_t$) et d'entrée ($i_t$) apprenables, ainsi qu'un coefficient de mélange ($a_t$), contrôlent l'équilibre entre la préservation de l'état caché original et l'incorporation de connaissances externes. Cela empêche une influence excessive de l'expérience de perturber le flux de raisonnement du modèle.

3. Entraînement de bout en bout avec apprentissage par renforcement :

   • L'ensemble du pipeline (politique $\theta$ et paramètres d'expérience $\psi_{exp}$) est optimisé conjointement en utilisant l'Optimisation de Politique Relative de Groupe (GRPO).
   • Le cadre prend en charge à la fois les tâches génératives (ex: QA, codage) en produisant des sorties textuelles via un décodage enrichi par l'expérience, et les tâches de classement (ex: recommandation) en calculant des scores de pertinence entre l'état caché final et les embeddings candidats.

Contributions clés

• Cadre d'espace latent unifié : ExpWeaver unifie la récupération et la génération au sein d'un espace de représentation partagé, éliminant le besoin d'un récupérateur séparé et évitant la surcharge de tokens de la concaténation de texte.
• Récupération adaptative : En effectuant la récupération à chaque étape de décodage basée sur l'état caché actuel, le système apprend une utilisation de l'expérience dépendante de la requête qui capture des motifs structurels profonds plutôt que de simples chevauchements textuels superficiels.
• Agnosticisme vis-à-vis des tâches : L'architecture s'étend naturellement à divers types de tâches, incluant les questions-réponses, le raisonnement mathématique, la génération de code, la prédiction scientifique et la recommandation séquentielle.

Résultats expérimentaux
Les auteurs ont évalué ExpWeaver sur ExpBench, un benchmark couvrant 13 tâches diverses à travers trois scénarios : Générique (QA, Raisonnement, Codage), Scientifique (Chimie Pharmaceutique) et Recommandation.

• Performance : ExpWeaver a atteint des résultats de pointe (SOTA) sur 12 des 13 tâches, surpassant la base de référence la plus forte (Search-R1) de 6,8 % en moyenne.
• Efficacité des tokens : Alors que les méthodes de récupération textuelle comme Search-R1 nécessitaient 1,5 à 2 fois plus de tokens en raison de la concaténation explicite, ExpWeaver a maintenu une efficacité de tokens comparable aux bases de référence sans récupération (ex: HRPO), ne consommant qu'environ 10 % de tokens supplémentaires tout en offrant une précision nettement plus élevée.
• Généralisation : ExpWever a démontré une supériorité de généralisation inter-domaines. Dans les configurations de transfert zero-shot, il a surpassé la base de référence la plus forte de 16,32 %, et de 15,21 % en transfert few-shot, indiquant que les représentations d'expérience latentes capturent des modèles de résolution de problèmes plus transférables.
• Études d'ablation : Les expériences ont confirmé la nécessité de l'agrégation par attention croisée par rapport à un simple pooling et ont identifié une plage d'initialisation optimale pour le coefficient de mélange afin d'équilibrer l'intégration de l'expérience et la préservation de l'état caché.

Signification et affirmations
L'article affirme qu'ExpWeaver représente un changement significatif dans l'apprentissage de l'expérience pour les agents LLM. En passant d'opérations explicites au niveau du texte à l'intégration dans l'espace latent, le cadre surmonte les goulots d'étranglement de scalabilité et d'adaptabilité des méthodes précédentes. Les auteurs soutiennent que cette approche permet aux agents d'apprendre plus efficacement à partir des interactions passées, atteignant des performances supérieures avec des coûts de calcul moindres. De plus, la généralisation inter-domaines démontrée suggère que les représentations d'expérience latentes sont assez robustes pour transférer les modèles appris vers des domaines inconnus, accélérant potentiellement le développement dans des domaines spécialisés comme la recherche scientifique où les données étiquetées sont rares. Ce travail positionne ExpWeaver comme une étape vers une utilisation de la connaissance plus efficace, unifiée et performante dans les grands modèles de langage.