🤖 AI

When Does Memory Help Multi-Trajectory Inference for Tool-Use LLM Agents?

Cet article présente un cadre unifié pour évaluer l'inférence multi-trajectoire des agents LLM utilisant des outils, révélant que l'efficacité des méthodes de mémoire dépend fortement de la stratégie d'inférence employée, des techniques spécifiques telles que la réflexion, l'injection au sein de l'expansion et l'extraction de faits atomiques apportant des avantages distincts uniquement respectivement sous MCTS, la recherche en faisceau et les tâches à structure réutilisable.

Auteurs originaux : Xinzhe Li, Yaguang Tao

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinzhe Li, Yaguang Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un casse-tête très difficile, comme trouver un fichier spécifique sur un ordinateur ou écrire une requête de base de données complexe. Vous avez un assistant super-intelligent (une IA) capable de tenter de le résoudre, mais qui parfois reste bloqué ou commet des erreurs.

L'article pose une question simple : Si nous laissons l'IA essayer le casse-tête plusieurs fois, comment devons-nous l'aider à se souvenir de ce qui s'est passé lors des tentatives précédentes pour qu'elle ne refasse pas les mêmes erreurs ?

Les chercheurs ont mis en place un « système de mémoire » pour l'IA et l'ont testé de différentes manières. Ils ont découvert qu'il n'existe pas de seule « meilleure » façon de donner une mémoire à l'IA. Au contraire, la meilleure méthode dépend entièrement de la manière dont l'IA tente de résoudre le casse-tête.

Voici la décomposition de leurs résultats à l'aide d'analogies du quotidien :

1. Les deux façons de donner une mémoire à l'IA

Les chercheurs ont identifié deux méthodes principales pour aider l'IA à se souvenir :

Le « Journal » (Réflexion) : Après un échec de l'IA, une seconde IA, plus intelligente, lit toute l'histoire de ce qui a mal tourné et rédige une note de synthèse.
- Analogie : C'est comme un entraîneur qui regarde un joueur de football rater un but, puis écrit une note disant : « Tu as tiré trop fort ; vise plus bas la prochaine fois. »
La « Fiche de faits » (Faits atomiques) : Au lieu d'une histoire, l'IA extrait simplement des faits spécifiques et minuscules de l'environnement.
- Analogie : C'est comme une tricheuse qui indique : « Le fichier est dans le dossier 'Documents' », ou « La base de données contient une table nommée 'Utilisateurs' ». Elle ne donne pas de conseils ; elle fournit simplement des données brutes.

2. Les trois façons dont l'IA tente de résoudre le casse-tête

Les chercheurs ont testé ces mémoires contre trois « stratégies de recherche » différentes que l'IA utilise pour trouver la réponse :

Le « Montagne russe » (Best-of-N) : L'IA tente de résoudre le casse-tête 5 fois de zéro, côte à côte, et choisit le meilleur résultat à la fin. Elle ne se parle pas entre les tentatives.
L'« Escalade d'arbre » (Recherche par faisceau) : L'IA se ramifie comme un arbre. À chaque étape, elle conserve les 3 chemins les plus prometteurs et abandonne les autres.
L'« Explorateur » (MCTS) : L'IA explore de nombreux chemins en profondeur, simule l'avenir pour voir quel chemin semble le meilleur, puis revient en arrière pour réessayer le plus prometteur.

3. La grande découverte : « Une taille ne convient pas à tous »

La conclusion principale de l'article est que la méthode de mémoire ne fonctionne que si elle correspond à la stratégie de recherche. Si vous les mélangez, la mémoire pourrait en fait empirer les choses ou ne rien faire.

Le « Journal » (Réflexion) ne fonctionne que pour l'« Explorateur » (MCTS).
- Pourquoi ? L'Explorateur vérifie constamment ses progrès. Si le « Journal » dit : « Ne prends pas ce chemin », l'Explorateur écoute et coupe immédiatement cette branche.
- Le Montagne russe (Best-of-N) n'écoute pas. Il exécute simplement les 5 tentatives jusqu'au bout, même si le « Journal » dit qu'elles sont vouées à l'échec. La mémoire est ignorée jusqu'à ce qu'il soit trop tard.
L'astuce du « Frère brut » ne fonctionne que pour l'« Escalade d'arbre » (Recherche par faisceau).
- Qu'est-ce que c'est ? C'est une nouvelle méthode où les différentes branches de l'IA se parlent pendant qu'elles se développent. Si la Branche A tente un mouvement et échoue, la Branche B le voit immédiatement et tente quelque chose de différent.
- Pourquoi ? L'Escalade d'arbre reste souvent « bloquée » là où toutes ses branches tentent exactement le même mauvais mouvement. Cette astuce les force à être différentes. L'« Explorateur » (MCTS) est déjà bon pour être différent, donc cette astuce ne l'aide pas.
La « Fiche de faits » (Faits atomiques) est un booster de vitesse, pas une solution magique.
- Le résultat : Donner à l'IA une liste de faits ne l'a pas rendue plus correcte (la précision est restée la même).
- L'avantage : Cela a rendu l'IA beaucoup plus rapide. Parce que l'IA savait déjà « Le fichier est dans le dossier Documents », elle n'a pas perdu de temps à le chercher à nouveau. Elle a sauté les étapes ennuyeuses de découverte.
- Le hic : Cela ne fonctionne que si l'environnement du casse-tête est stable (comme une base de données). Si l'environnement change à chaque fois (comme un terminal d'ordinateur neuf), les faits sont inutiles car ils ne s'appliquent pas à la nouvelle situation.

4. La découverte « déroutante »

Sur un casse-tête spécifique et très difficile (Knowledge Graph QA), les chercheurs ont constaté que les méthodes « Journal » et « Frère brut » ont performé exactement de la même manière.

La leçon : C'est un avertissement pour les autres scientifiques. Si vous ne testez qu'une seule méthode sur un seul type de casse-tête, vous pourriez penser que votre méthode est la « gagnante ». Mais cet article montre que le « gagnant » change selon la façon dont vous jouez le jeu. Vous ne pouvez pas comparer les résultats de différentes études à moins qu'elles n'utilisent la même stratégie de recherche.

Résumé

Imaginez l'IA comme un étudiant passant un examen.

Si l'étudiant devine à l'aveugle (Best-of-N), lui donner un résumé des erreurs passées (Réflexion) ne l'aide pas car il ne s'arrête pas pour le lire.
Si l'étudiant est bloqué dans une boucle (Recherche par faisceau), lui dire « Hé, ton frère vient d'essayer ça et a échoué » (Frère brut) l'aide à briser la boucle.
Si l'étudiant explore en profondeur (MCTS), le résumé d'un entraîneur (Réflexion) l'aide à élaguer les mauvais chemins.
Si l'étudiant a juste besoin de cesser de perdre du temps à chercher des choses qu'il connaît déjà, une tricheuse de faits (Extraction de faits) l'accélère, même si cela ne le rend pas plus intelligent.

La conclusion : Vous ne pouvez pas simplement ajouter de la « mémoire » à une IA et vous attendre à ce que cela fonctionne. Vous devez faire correspondre le type de mémoire au type de réflexion que l'IA est en train d'effectuer.

Résumé Technique : Quand la Mémoire Aide-t-elle l'Inférence Multi-Trajectoire pour les Agents LLM Utilisant des Outils ?

1. Énoncé du Problème

L'inférence multi-trajectoire — générant plusieurs chemins de raisonnement et en sélectionnant un — a démontré son efficacité pour améliorer la précision des agents de modèles de langage (LLM) utilisant des outils, par rapport aux approches mono-trajectoire. Une voie prometteuse pour une amélioration supplémentaire est la mémoire inter-trajectoire, où des informations issues d'échecs ou d'essais partiels sont transférées vers des tentatives ultérieures afin d'éviter la répétition d'erreurs ou de réutiliser des connaissances environnementales découvertes.

Cependant, la recherche existante sur la mémoire inter-trajectoire souffre d'un manque de comparaison systématique. Les méthodes actuelles (par exemple, la réflexion de trajectoire de style Reflexion, les réflexions de recherche arborescente de style LATS, l'état structuré de Re-TRAC) opèrent sous différentes stratégies d'inférence (meilleur parmi N, recherche en faisceau, MCTS) et sur différentes tâches. Cette hétérogénéité rend flou le fait que les gains de performance rapportés proviennent de l'abstraction de la mémoire spécifique (par exemple, observations brutes contre résumés stratégiques contre faits atomiques) ou de la méthode d'inférence elle-même. De plus, de nombreux travaux antérieurs s'appuient sur des vérificateurs binaires en ligne (par exemple, correspondance exacte, tests unitaires) durant le processus de recherche, ce qui ne reflète pas le régime de déploiement des agents pratiques utilisant des outils, où la vérification est souvent hors ligne.

2. Méthodologie

2.1 Un Cadre Unifié

Les auteurs proposent un cadre unifié qui décompose la mémoire le long de deux axes orthogonaux :

Portée du Transfert :
- Inter-frères (Au sein de l'expansion) : Conditionner chaque action candidate aux résultats des frères précédemment échantillonnés au sein de la même étape d'expansion. Cela nécessite une expansion entrelacée et n'est applicable qu'à la recherche en faisceau et au MCTS.
- Inter-trajectoire (Au sein de la recherche) : Transférer des connaissances à travers des tentatives complètes et séquentielles (itérations) de la même recherche. Cela s'applique à toutes les méthodes d'inférence, y compris le meilleur parmi N.
Niveau d'Abstraction :
- Brut : Injection de paires action-observation mot pour mot sans résumé.
- Réflexion : Génération d'un résumé en langage naturel, au niveau de la stratégie, d'une trajectoire échouée (par exemple, « La compilation C a échoué ; essayez Python »).
- Extraction de Fait Atomique : Extraction d'énoncés factuels discrets et réutilisables à partir des observations (par exemple, « Le fichier de configuration se trouve à /etc/app/config.yaml »).

2.2 Conception Expérimentale

L'étude évalue quatre méthodes concrètes de mémoire dérivées du cadre :

Sans Mémoire (Référence) : Inférence multi-trajectoire standard sans augmentation de contexte.
Frère Brut (Nouveau) : Portée inter-frères avec abstraction brute.
Réflexion : Portée inter-trajectoire avec abstraction de réflexion (adaptée de Reflexion/LATS).
LiTS-Fact (Nouveau) : Portée inter-trajectoire avec extraction de faits atomiques (adaptée de mem0).

Ces méthodes sont évaluées à travers trois stratégies d'inférence :

Meilleur parmi N : Génération séquentielle de $N$ trajectoires.
Recherche en Faisceau : Maintien des $B$ meilleurs candidats à chaque étape.
MCTS (Recherche Arborescente Monte Carlo) : Sélection, expansion, simulation et rétropropagation basées sur UCT.

L'évaluation couvre quatre benchmarks d'utilisation d'outils :

WikiSQL & WikiTQ : Agents SQL interrogeant des bases de données relationnelles (environnements sérialisables).
KGQA : Agents de graphes de connaissances parcourant Freebase via SPARQL (sérialisable).
Terminal-Bench 2.0 : Agents CLI exécutant des commandes shell (non sérialisable ; l'état ne peut être forké, limitant les stratégies viables au Meilleur parmi N).

Contrainte Cruciale : Les expériences sont menées dans un cadre sans vérificateur. Le vérificateur de tâche est appliqué uniquement au moment de l'évaluation, et non durant la boucle de recherche. Cela correspond au régime de déploiement des agents pratiques et élimine le biais des signaux binaires en ligne (par exemple, tests unitaires) qui pourraient artificiellement gonfler les performances dans les travaux antérieurs.

3. Contributions Clés

Taxonomie Unifiée : Un cadre formel de portée × abstraction pour la mémoire dans la recherche arborescente d'utilisation d'outils, dérivant les méthodes existantes et une nouvelle méthode « Frère Brut » comme des instanciations spécifiques.
Étude Empirique Systématique : Une matrice d'expériences contrôlées (4 méthodes de mémoire × 3 stratégies d'inférence × 4 benchmarks) dans un cadre sans vérificateur, fidèle au déploiement.
Identification de Biais : L'étude identifie la méthode d'inférence comme un biais critique. La même méthode de mémoire produit des résultats statistiquement distincts sous différentes stratégies d'inférence sur les mêmes exemples.

4. Résultats et Constats Clés

L'analyse aboutit à trois constatations principales concernant le moment où la mémoire aide l'inférence multi-trajectoire :

F1 : L'Effet de Précision de la Mémoire Dépend de la Méthode de Recherche

La mémoire n'améliore pas universellement la précision ; son efficacité dépend fortement de la stratégie d'inférence.

Réflexion : Atteint la signification statistique uniquement sous MCTS, et non sous Meilleur parmi N.
- Mécanisme : MCTS utilise un modèle de récompense par étape (PRM) qui filtre les mauvaises expansions suggérées par les réflexions avant qu'elles n'atteignent un état terminal. Dans Meilleur parmi N (pass@N), les mauvaises réflexions s'exécutent jusqu'à leur terme, entraînant souvent des régressions qui annulent les gains.
Frère Brut : Aide uniquement la Recherche en Faisceau en manque de diversité.
- Mécanisme : Dans la recherche en faisceau avec échantillonnage standard, les candidats frères convergent souvent vers des actions ou des excuses identiques (effondrement de la diversité). L'expansion entrelacée du Frère Brut conditionne chaque candidat aux résultats des frères précédents, forçant la diversité. Cet effet disparaît dans le MCTS, où la ré-expansion pilotée par UCT fournit déjà une variation d'actions suffisante.

F2 : Convergence des Abstractions de Mémoire sur les Tâches Difficiles

Sur le benchmark plus difficile (KGQA) sous MCTS, la Réflexion et le Frère Brut produisent des résultats de précision statistiquement indiscernables (34,8 % pour les deux), bien qu'ils opèrent sur des abstractions différentes (niveau stratégique contre données brutes) et des portées différentes (inter-trajectoire contre inter-frères).

Implication : Sur des tâches difficiles où la politique est loin de la solution, n'importe quel contexte non i.i.d. peut suffire pour la récupération, rendant le choix de l'abstraction spécifique moins critique. Cela suggère que les évaluations à abstraction unique dans la littérature antérieure ont pu attribuer les gains à la mauvaise cause.

F3 : L'Extraction de Faits Échange Précision contre Efficacité

LiTS-Fact (extraction de faits atomiques) est neutre en termes de précision sur toutes les cellules évaluées (aucun gain ou perte statistiquement significatif). Cependant, elle améliore considérablement l'efficacité :

Elle réduit la longueur des trajectoires de 19 à 26 % sur les tâches possédant une structure environnementale réutilisable (WikiSQL, WikiTQ, KGQA).
Mécanisme : Les faits extraits (par exemple, schémas de base de données, types de relations) permettent aux tentatives ultérieures de sauter les étapes de découverte redondantes (par exemple, sql_db_list_tables).
Limitation : Ce gain d'efficacité ne se transfère pas aux environnements non sérialisables (Terminal-Bench) où chaque instance de tâche possède un environnement unique, rendant les faits mis en cache non réutilisables.
Interaction : Combiner Réflexion et Extraction de Faits est préjudiciable. Le plan explicite étape par étape généré par la Réflexion annule les raccourcis implicites offerts par la mémoire de Faits, obligeant l'agent à refaire les étapes de découverte et réduisant à la fois la précision et l'efficacité.

5. Signification et Revendications

L'article affirme que la littérature précédente sur l'efficacité de la mémoire inter-trajectoire n'est pas directement comparable d'une étude à l'autre car chaque étude évalue sous une méthode d'inférence différente, qui agit comme un biais. En contrôlant cette variable, les auteurs démontrent que :

La Réflexion n'est pas une solution universelle ; elle nécessite les capacités d'élagage du MCTS pour être efficace.
L'injection inter-frères est un remède à des échecs spécifiques de diversité dans la recherche en faisceau, et non une amélioration générale.
L'Extraction de Faits est principalement un outil d'efficacité pour les environnements structurés, et non un booster de précision.

Les auteurs concluent que les affirmations sur l'efficacité de la mémoire doivent être contextualisées par la stratégie d'inférence et les propriétés de la tâche (sérialisabilité, présence d'une structure réutilisable). L'étude fournit une matrice contrôlée pour démêler ces facteurs, suggérant que les travaux futurs doivent explicitement prendre en compte l'interaction entre les abstractions de mémoire et les algorithmes de recherche plutôt que de les traiter comme des variables indépendantes.

Limites : L'étude évalue un seul modèle de politique par benchmark (Haiku 3.5 pour SQL, Sonnet 4.6 pour KGQA) et n'explore pas la mémoire inter-tâche (transfert de connaissances entre différentes questions). Les tailles d'échantillon sont suffisantes pour détecter des effets de $\gtrsim 6$ points de pourcentage mais peuvent manquer des effets plus petits.