💻 computer science

An Agent-Oriented Pluggable Experience-RAG Skill for Experience-Driven Retrieval Strategy Orchestration

Ce papier présente Experience-RAG Skill, un module plug-and-play orienté agent qui orchestre dynamiquement des stratégies de récupération en analysant les contextes de tâche et en consultant une mémoire d'expérience, surpassant ainsi les pipelines fixes et obtenant des résultats compétitifs sur une variété de tâches hétérogènes.

Auteurs originaux : Dutao Zhang, Tian Liao

Publié 2026-05-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dutao Zhang, Tian Liao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé (l'Agent) essayant de préparer un repas selon la commande d'un client. Autrefois, votre cuisine était régie par une règle stricte : peu importe ce que demandait le client, vous utilisiez toujours le même couteau unique et la même planche à découper unique.

Si le client commandait un poisson délicat, vous utilisiez le couteau. S'il commandait un steak coriace, vous utilisiez toujours le même couteau. Parfois, cela fonctionnait, mais souvent, le résultat était désordonné ou inefficace.

Ce papier présente un nouvel outil appelé Compétence RAG Expérientielle. Ne le considérez pas comme un nouveau couteau, mais comme un second chef intelligent qui se tient entre vous et l'ensemble de votre cuisine.

Voici comment cela fonctionne en termes simples :

1. Le Problème : Une Taille Unique Ne Convient Pas à Tous

Les auteurs ont constaté que différents types de questions nécessitent différentes méthodes pour trouver des réponses.

Les questions factuelles (par exemple : « Qui était le premier président ? ») sont comme couper une tomate ; vous avez besoin d'un outil tranchant et direct.
Les questions multi-sauts (par exemple : « Qui a réalisé le film qui a mis en vedette l'acteur qui a remporté l'Oscar en 2020 ? ») sont comme désosser un poulet ; vous avez besoin d'une approche plus complexe, en plusieurs étapes.
Les questions scientifiques sont comme fileter un poisson ; elles exigent une précision extrême.

Les anciens systèmes tentaient d'utiliser une seule méthode de recherche « fixe » pour tous ces cas. Les auteurs affirment que c'est comme utiliser un couteau à beurre pour découper un steak : cela ne fonctionne tout simplement pas bien pour tout.

2. La Solution : Le Second Chef Intelligent

La Compétence RAG Expérientielle est une couche plug-and-play (comme un assistant intelligent) qui s'insère entre l'Agent principal et le pool d'outils de recherche disponibles (le « Pool de Récupérateurs »).

Lorsque vous lui soumettez une demande, elle effectue quatre actions :

Analyse de la Scène : Elle examine la demande et se demande : « De quel type de tâche s'agit-il ? Est-elle simple ? Est-elle complexe ? Est-elle scientifique ? »
Mémoire Expérientielle : Elle consulte un « carnet » d'expériences passées. Elle se souvient : « La dernière fois que nous avions une question complexe comme celle-ci, l'outil « Recherche Hybride » a fonctionné le mieux. »
Routage Stratégique : En se basant sur la scène et la mémoire, elle sélectionne le meilleur outil de la cuisine (par exemple : « Utilisez le Récupérateur Dense » ou « Utilisez le RRF Hybride »).
Conditionnement : Elle rassemble les preuves et vous les remet dans un paquet soigné et organisé, afin que vous n'ayez pas à vous soucier de comment elles ont été trouvées, mais seulement du fait qu'elles ont été trouvées.

3. Les Résultats : Un Meilleur Repas

Les auteurs ont testé ce second chef intelligent sur trois types différents de « commandes » (ensembles de données) :

Des questions factuelles simples.
Des questions complexes de raisonnement multi-étapes.
La vérification de faits scientifiques.

Le Résultat :

Le second chef intelligent (Compétence RAG Expérientielle) a mieux performé que l'utilisation d'un outil unique fixe en place.
Il était presque aussi bon que les systèmes « adaptatifs » les plus avancés actuellement sur le marché, mais avec une différence clé : il traite le choix de l'outil comme une compétence réutilisable que l'Agent peut apprendre et utiliser, plutôt que de le coder en dur dans le cerveau du système.

4. L'Inconvénient (Limites)

Le papier est honnête sur ce qu'il ne fait pas encore :

La Cuisine est Petite : Les tests ont été réalisés sur un petit ensemble échantillonné d'ingrédients (documents), et non sur une immense bibliothèque du monde réel.
Les Règles sont Simples : Pour l'instant, la « mémoire » suit principalement des règles simples (par exemple : « Si c'est scientifique, utilisez l'Outil X »). Ils ont essayé de la faire apprendre par elle-même, mais les règles simples fonctionnaient mieux pour l'instant.
Menu Fixe : Elle ne peut choisir que parmi les outils actuellement présents dans la cuisine. Elle ne peut pas encore sortir et acheter de nouveaux outils à la volée.

Résumé

En bref, ce papier soutient que, au lieu de forcer un robot à utiliser la même méthode de recherche pour chaque tâche, nous devrions lui donner un gestionnaire intelligent. Ce gestionnaire examine la tâche, se souvient de ce qui a fonctionné dans le passé, sélectionne le bon outil de recherche et livre la réponse. C'est un petit mais puissant pas vers la création d'agents IA plus flexibles et efficaces.

Résumé technique : Compétence Experience-RAG pour l'orchestration de stratégies de récupération axées sur l'expérience

Énoncé du problème

Les systèmes actuels de Génération Augmentée par Récupération (RAG) fonctionnent souvent sous l'hypothèse qu'un seul pipeline de récupération fixe suffit pour toutes les tâches. Cependant, cette hypothèse échoue dans des contextes d'agents réalistes où les exigences des tâches varient considérablement. Par exemple, la réponse à des questions factuelles, le raisonnement multi-sauts et la vérification d'affirmations scientifiques présentent des préférences de récupération distinctes ; un récupérateur dense peut suffire pour des faits directs, tandis qu'une récupération hybride s'avère souvent plus stable pour la correspondance d'évidences scientifiques ou complexes multi-sauts. Le défi central identifié n'est pas simplement de récupérer des connaissances, mais de déterminer comment la récupération doit être organisée et orchestrée pour la tâche spécifique en cours.

Méthodologie

L'article propose la compétence Experience-RAG, une couche d'orchestration de récupération orientée agent et modulable, positionnée entre l'agent et un pool de récupérateurs. Plutôt que de traiter la récupération comme une étape monolithique, cette compétence encapsule le processus de sélection en tant que capacité agent réutilisable.

Architecture du cadre

Le cadre fonctionne via un pipeline structuré impliquant six modules :

Interface de compétence : Le point d'entrée unifié pour l'agent.
Analyseur de scène : Construit une représentation structurée de la scène ( $s$ ) basée sur la requête ( $q$ ), l'historique de dialogue ( $h$ ) et les métadonnées de la tâche ( $m$ ).
Mémoire d'expérience ( $M$ ) : Stocke les enregistrements historiques des caractéristiques de scène, des vecteurs de scores, de la stratégie la plus performante et de la marge de performance. Les caractéristiques incluent le type de tâche, le domaine, la longueur du contexte, la complexité de la question, le style de requête et la structure du document.
Routeur de stratégie : Sélectionne le récupérateur optimal ( $r^*$ ) en consultant la mémoire d'expérience basée sur la scène actuelle.
Pool de récupérateurs ( $R$ ) : Un pool de candidats de récupérateurs (par exemple, BM25, Dense, Hybride RRF).
Emballage des résultats : Retourne des preuves standardisées et structurées à l'agent.

Le flux opérationnel est défini comme suit :
$s = \text{Analyse}(q, h, m)$
$r^* = \text{Routage}(s, M)$
$o = \text{RécupérationEtEmballage}(q, r^*)$

Mécanisme de routage

L'implémentation actuelle utilise un routage basé sur des règles comme son paramétrage le plus performant, mappant les tâches directes vers des récupérateurs denses et les tâches multi-sauts/scientifiques vers un RRF hybride (Fusion de Rang Réciproque). Bien que des variantes de routage apprises aient été explorées, elles n'ont pas surpassé la référence basée sur des règles sous l'échelle actuelle de données d'expérience. Le système privilégie la réutilisation explicite de l'expérience et l'emballage structuré des preuves par rapport à une sélection purement guidée par la complexité.

Contributions clés

Les auteurs décrivent trois contributions principales :

Formulation : Ils reformulent la sélection de stratégie de récupération comme un problème d'orchestration de compétence agent, distinct de l'intégration directe de la logique de sélection d'embeddings dans le flux de travail supérieur.
Construction de la mémoire d'expérience : Ils ont construit un système de mémoire qui enregistre des caractéristiques de scène complètes, des scores de performance multi-récupérateurs et des marges de stratégie, plutôt que de simplement stocker l'étiquette « meilleure ».
Évaluation empirique : Ils ont évalué la compétence sur des tâches de récupération hétérogènes, en la comparant à la fois aux références fixes traditionnelles et aux approches modernes de routage adaptatif.

Résultats expérimentaux

Le système a été évalué sur trois benchmarks publics : BeIR/nq, BeIR/hotpotqa et BeIR/scifact, utilisant 120 requêtes par jeu de données avec des corpus candidats échantillonnés.

Performance par rapport aux références fixes

La compétence Experience-RAG a atteint les performances globales les plus élevées, surpassant toutes les références fixes à méthode unique :

nDCG@10 : 0,8924 (contre 0,8802 pour la référence fixe la plus forte, Hybride RRF).
Rappel@10 : 0,9428.
MRR@10 : 0,9006.
Les résultats indiquent que l'avantage principal de la compétence réside dans l'orchestration hétérogène, gérant efficacement des charges de travail mixtes plutôt que de dominer chaque sous-tâche individuellement.

Comparaison avec les références modernes

Lorsqu'elle est comparée à des approches modernes incluant HyDE, style LongRAG, style RAPTOR et style Adaptive-RAG :

Le style Adaptive-RAG a montré un avantage marginal (0,8934 nDCG@10 contre 0,8924 pour la compétence Experience-RAG).
HyDE, style LongRAG et style RAPTOR ont performé de manière significativement plus faible dans le cadre de corpus échantillonné et de récupération uniquement.
L'article note que la compétence Experience-RAG reste compétitive avec les références de routage modernes les plus fortes tout en offrant une limite système plus claire pour l'interaction face à l'agent.

Importance et affirmations

L'article conclut que la sélection de stratégie de récupération peut être productivement encapsulée comme une compétence agent réutilisable plutôt que d'être codée en dur dans le flux de travail. L'étude démontre que l'orchestration axée sur l'expérience est efficace pour des charges de travail de récupération hétérogènes et reste compétitive même lorsque des références modernes sont introduites dans un pool de candidats fixe.

Les auteurs adoptent une position modeste concernant la portée du travail actuel :

Les expériences reposent sur des corpus échantillonnés plutôt que sur des jeux de données à pleine échelle.
Le routage appris n'a pas encore surpassé les références basées sur des règles.
L'implémentation suppose un pool de candidats fixe, excluant l'intégration dynamique.
L'analyse du flux de travail est qualitative et ne constitue pas encore un benchmark complet d'agent interactif de bout en bout.

Par conséquent, les auteurs positionnent ce travail comme un court article ou un préprint établissant la viabilité de la couche de compétence, avec des travaux futurs prévus pour aborder l'intégration dynamique de candidats, le routage au niveau des capacités et l'évaluation complète d'agents de bout en bout.