Résumé Technique : Mémoire Épisodique Causale pour la Réparation d'Agents Pilotée par le Feedback

Énoncé du Problème

Les agents basés sur les Grands Modèles de Langage (LLM) chargés de réparer des échecs, particulièrement dans la génération de Text-to-SQL, écartent souvent les corrections réussies une fois qu'un épisode se termine. Par conséquent, lorsque des échecs similaires (par exemple, des jointures manquantes, des références de schéma invalides) réapparaissent dans des requêtes ultérieures, l'agent est contraint de redécouvrir les solutions plutôt que de tirer parti de l'expérience préalable. Bien que les méthodes existantes telles que ReAct, Self-Refine et Self-Debugging utilisent efficacement le feedback itératif au sein d'un seul épisode, elles traitent largement chaque nouvelle requête comme un problème inédit. De plus, les approches de mémoire inter-épisodes existantes (par exemple, Reflexion, ExpeL) reposent souvent uniquement sur la similitude sémantique, ce qui risque de récupérer des épisodes non pertinents ou de confondre des corrections vérifiées avec des tentatives infructueuses. Le défi central est de déterminer si une mémoire épisodique causale structurée — organisée par type d'échec et par résultat — peut améliorer la performance de réparation sans nécessiter de mise à jour des paramètres du modèle.

Méthodologie : MERIT

Les auteurs introduisent MERIT (Memory-Augmented Error-Typed Retrieval for Iterative Text-to-SQL repair), un cadre sans entraînement conçu pour accumuler et utiliser l'expérience de réparation structurée en ligne.

Composants Clés

1. Formulation de Réparation Causale en Ligne :

   • Le système opère sous un régime de « dénotation confirmée » où un oracle de référence fournit un feedback (Correct, Discordance de dénotation, Erreur d'exécution, Timeout) après chaque tentative.
   • La Causalité est strictement imposée : une requête actuelle ne peut récupérer des mémoires que d'épisodes antérieurs déjà finalisés. Elle ne peut pas accéder à sa propre trajectoire non terminée ou à des données futures.
   • La prédiction SQL initiale est générée une seule fois via un décodage glouton (greedy decoding) et partagée entre toutes les méthodes de réparation afin d'isoler l'effet de la stratégie de réparation.

2. Classificateur d'Échec Déterministe :

   • Lors d'une tentative infructueuse, un classificateur basé sur des règles mappe l'erreur observée (texte du SGBD et statut d'exécution) vers un type d'échec grossier : Discordance de résultat, Liaison de schéma, Agrégation, Filtre/Valeur, Exécution, Syntaxe, ou Inconnu.
   • Ce classificateur n'inspecte pas l'AST du SQL ni n'infère d'erreurs sémantiques profondes, mais sert de priorité de récupération (retrieval prior).

3. Mémoire à Dualité de Polarité en Ligne :

   • La mémoire est partitionnée en pools positifs et négatifs.
   • Entrées positives : Enregistrent les transitions confirmées par l'oracle d'un SQL défaillant vers un SQL corrigé ($y^- \to y^+$).
   • Entrées négatives : Enregistrent la dernière direction tentée dans un épisode non résolu, servant d'avertissement contre des chemins spécifiques infructueux sans pour autant affirmer une invalidité universelle.
   • Les entrées sont stockées sous forme de tuples contenant la question source, le schéma, le SQL, le statut, le type d'échec et la transformation observée.

4. Récupération Hybride Conditionnée par le Type :

   • Sélection des Candidats : Pour un type d'échec $\tau$ donné, le système tente d'abord de récupérer depuis le sous-ensemble de même type du pool de polarité pertinente. Si moins de trois entrées du même type existent, il revient à l'ensemble du pool de même polarité légal.
   • Classement : Une fonction de score hybride combine la similitude sémantique dense (capturant la parenté structurelle) et la similitude lexicale BM25 (préservant les chevauchements exacts des identifiants de schéma et des changements SQL). Le score final est une somme pondérée ($0,75 \times \text{dense} + 0,25 \times \text{BM25}$).
   • Limite de Récupération : Le système récupère jusqu'à trois entrées positives et une entrée négative.

5. Génération de Réparation :

   • Un LLM gelé (Qwen2.5-7B-Instruct) génère une révision basée sur le contexte actuel et les précédents récupérés. Les mémoires positives sont présentées comme des directions confirmées réussies ; les mémoires négatives comme des directions infructueuses observées.
   • Le processus se répète jusqu'à ce que la requête soit corrigée ou que le budget de réparation ($K=7$) soit épuisé.

Contributions Clés

1. Formulation de la Mémoire Épisodique Causale : L'article formule la correction de Text-to-SQL comme un problème de mémoire causale où seuls les résultats d'épisodes antérieurs finalisés guident les requêtes actuelles, évitant ainsi la fuite de données.
2. Récupération Hybride Guidée par l'Erreur : Les auteurs proposent un mécanisme de récupération qui organise l'expérience à la fois par résultat (polarité) et par type d'échec, utilisant une stratégie de classement hybride lexicale-dense.
3. Évaluation Contrôlée : Une évaluation rigoureuse est menée sur trois ordres de flux sur les benchmarks Spider et BIRD, comparant MERIT à la réparation itérative sans état, à la récupération dynamique (style DAIL-SQL/ACT-SQL) et à la mémoire de type Reflexion.

Résultats Expérimentaux

L'évaluation utilise le backbone Qwen2.5-7B-Instruct avec des prédictions initiales et des budgets de réparation identiques ($K=7$).

• Benchmark Spider :

  • Réparation Itérative Sans État : 66,34 % d'exactitude d'exécution.
  • MERIT : 69,79 % d'exactitude d'exécution.
  • RAG Dynamique : 69,79 % (ex æquo avec MERIT).
  • Style Reflexion : 68,38 %.
  • Analyse : MERIT montre une amélioration statistiquement significative (+3,45 %) par rapport à la réparation sans état. Cependant, elle n'est pas nettement séparée du RAG dynamique (récupération non typée) ou de la mémoire de type Reflexion.

• Benchmark BIRD :

  • Réparation Itérative Sans État : 47,35 %.
  • MERIT : 48,44 %.
  • RAG Dynamique : 48,15 %.
  • Style Reflexion : 51,24 % (Performance la plus élevée).
  • Analyse : MERIT montre une amélioration modeste et plus faible (+1,09 %) par rapport à la réparation sans état. Notamment, la mémoire de type Reflexion surpasse MERIT sur BIRD, bien qu'à un coût d'inférence nettement plus élevé.

• Études d'Ablation :

  • Polarité : La suppression de la mémoire négative a un impact modeste (−0,13 % sur Spider), suggérant que les corrections vérifiées sont le signal principal.
  • Conditionnement par le Type : Le typage des erreurs a apporté des bénéfices clairs sur Spider (−0,58 % de baisse lorsqu'il est supprimé), mais était moins critique sur BIRD, où les résultats étaient comparables avec et sans filtrage par type.
  • Localité du Schéma : Restreindre la récupération à la même base de données a produit les bénéfices les plus cohérents. La récupération inter-bases a causé des chutes significatives (−2,74 % sur BIRD), soulignant l'importance de l'expérience locale au schéma.
  • Lexical vs Dense : La valeur du classement lexical (BM25) par rapport au dense dépendait du jeu de données. Le classement dense était crucial pour Spider, tandis que le chevauchement lexical était plus informatif pour les schémas spécialisés de BIRD.

• Coût : MERIT augmente la consommation de tokens par rapport à la réparation sans état en raison du contexte récupéré, mais reste nettement moins coûteux que les approches de type Reflexion (qui nécessitent des réflexions verbales et plus d'appels).

Signification et Revendications

L'article affirme que la mémoire inter-requêtes causale peut améliorer la réparation d'agents sans mise à jour des paramètres, mais son efficacité dépend de la nature de la tâche et de l'organisation de la mémoire.

• Clarification de la Valeur de la Mémoire : Les résultats clarifient que, bien que la mémoire améliore la réparation, l'organisation spécifique (séparation de polarité, conditionnement strict par type) n'est pas universellement supérieure à une récupération dynamique plus simple.
• Localité du Schéma : Le bénéfice le plus constant provient de l'expérience locale au schéma, suggérant que les modèles de réparation sont très spécifiques aux structures de bases de données.
• Gains Modestes : Les auteurs sont prudents dans leurs affirmations, notant que MERIT n'est pas nettement séparée de la récupération dynamique non typée sur les deux benchmarks et que la mémoire de type Reflexion peut la surpasser sur des jeux de données complexes (BIRD) malgré des coûts plus élevés.
• Limites : L'étude suppose l'accès à des signaux de correction de niveau dénotation (feedback d'oracle), qui peuvent ne pas exister dans tous les environnements déployés. Le classificateur déterministe est grossier (environ 48 % de précision), ce qui limite la fiabilité de la récupération conditionnée par le type. De plus, la méthode ne réduit pas la consommation totale de tokens par rapport à la réparation sans état.

En conclusion, MERIT démontre que la mémoire épisodique structurée est un mécanisme viable pour la réparation pilotée par le feedback, particulièrement lorsqu'on exploite des corrections vérifiées et locales au schéma, mais elle ne constitue pas une solution universelle surpassant toutes les stratégies de mémoire alternatives à travers tous les domaines.