💬 NLP

DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation

DynaKRAG est un cadre unifié qui formule la génération augmentée par récupération multi-sauts comme un problème de contrôle conditionné par l'état, utilisant une politique apprise pour sélectionner dynamiquement parmi des opérations d'évidence valides telles que la récupération et la reformulation de requête, surpassant ainsi les méthodes existantes sur des benchmarks tels que HotpotQA, 2Wiki et MuSiQue.

Auteurs originaux : Yaqi Wu, Xiaolei Guo, Chenyu Zhou, Jiaqi Huang, Xianfa Zhang, Junxu Zhang, Zhuo Yu, Zhubo Shi, Jianghao Lin, Dongdong Ge

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yaqi Wu, Xiaolei Guo, Chenyu Zhou, Jiaqi Huang, Xianfa Zhang, Junxu Zhang, Zhuo Yu, Zhubo Shi, Jianghao Lin, Dongdong Ge

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère complexe, du type : « Qui a volé les joyaux de la couronne et où ont-ils été cachés ? »

Dans l'ancienne façon de faire (les systèmes d'IA classiques), le détective recevrait un manuel de règles strict : « Examinez les trois premiers dossiers dans le classeur. Si vous ne trouvez pas la réponse, regardez les trois suivants. Arrêtez-vous après cinq dossiers, peu importe la situation. » C'est rigide. Parfois, le premier dossier donne un indice qui change toute la direction de l'enquête, mais le manuel de règles force le détective à continuer de consulter les mauvais dossiers.

DynaKRAG est une nouvelle façon plus intelligente pour le détective de travailler. Au lieu de suivre un manuel de règles fixe, il utilise un gestionnaire flexible basé sur l'apprentissage qui décide de la prochaine étape en fonction de ce qui a été découvert jusqu'à présent.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le carnet de notes du détective (l'« État »)

Chaque fois que le détective trouve un nouveau morceau de papier (une preuve), il l'inscrit dans son carnet de notes. Ce carnet n'est pas juste un tas de papiers ; c'est une carte vivante. Il suit :

Quelle était la question d'origine.
Quels papiers ont déjà été lus.
Quels indices manquent (ex : « Je connais le nom du voleur, mais je ne sais pas où il habite »).
Quelles actions ont été entreprises jusqu'à présent.

2. Le menu des mouvements (les « Actions »)

À tout moment, le détective dispose d'un menu de mouvements possibles, mais tous les mouvements ne sont pas disponibles tout le temps.

Chercher dans les étagères : Chercher plus de documents.
Réécrire la question : Peut-être que la question d'origine était confuse ; reformulons-la différemment.
Suivre une piste : Si un document mentionne une personne spécifique (une « entité pont »), cherchez plus d'informations sur cette personne.
Vérifier les lacunes : Demandez-vous : « Ai-je assez d'informations pour résoudre cela ? Si non, qu'est-ce qui manque ? »
S'arrêter et résoudre : Si les preuves sont complètes, rédigez la réponse finale.

3. Le processus de décision en deux étapes

C'est la recette secrète de DynaKRAG. Avant que le détective ne choisisse un mouvement, deux choses se produisent :

Étape A : Le Videur (Couche de Validité) : Imaginez un videur à l'entrée d'un club. Le videur regarde la situation actuelle et dit : « Vous ne pouvez pas faire cela pour le moment. » Par exemple, vous ne pouvez pas « réécrire la question » si vous n'avez pas encore lu de documents. Vous ne pouvez pas « suivre une piste » si vous n'avez pas trouvé de piste. Le videur filtre les mouvements impossibles, ne laissant qu'une liste d'options valides.
Étape B : L'Entraîneur (Contrôleur Appris) : Maintenant que le videur a transmis la liste des mouvements valides au détective, l'Entraîneur intervient. L'Entraîneur a appris de milliers de cas de détectives passés. Il regarde le carnet de notes actuel et dit : « Parmi ces options valides, celle qui nous aidera à résoudre le mystère le plus efficacement en ce moment est de suivre la piste de l'adresse du suspect ».

4. Pourquoi est-ce meilleur ?

Pas d'efforts inutiles : Les anciens systèmes pourraient continuer à chercher des réponses alors qu'ils en ont déjà assez, ou ils pourraient continuer à poser la même question encore et encore. DynaKRAG sait quand s'arrêter.
S'adapter au mystère : Si le premier indice révèle un angle totalement nouveau, le système change immédiatement de tactique (comme réécrire la question) au lieu de suivre aveuglément un plan préétabli.
Économiser de l'énergie : Le système est « efficace en jetons » (token-efficient). En termes d'IA, les « jetons » sont comme des mots ou des morceaux de données qui coûtent de l'argent et du temps à traiter. DynaKRAG arrête de rassembler des preuves dès qu'il a assez d'éléments pour résoudre l'énigme, économisant ainsi du temps et de l'argent par rapport aux systèmes qui continuent de creuser sans fin.

Les Résultats

Les auteurs ont testé ce « détective intelligent » sur trois ensembles de données de puzzles très difficiles (HotpotQA, 2Wiki et MuSiQue).

De meilleures réponses : Il a résolu plus de puzzles correctement que les meilleures méthodes précédentes.
Une dépense plus intelligente : Il a utilisé moins de ressources (moins de « jetons ») pour obtenir ces meilleures réponses.
Preuve de concept : Lorsqu'ils ont retiré l'« Entraîneur » (le décideur appris) et ont simplement laissé le système choisir des mouvements de manière aléatoire parmi la liste des mouvements valides, les performances ont chuté de manière significative. Cela prouve que le choix de la prochaine étape est tout aussi important que la capacité à effectuer l'étape elle-même.

En résumé : DynaKRAG transforme l'IA d'un robot suivant un script rigide en un détective flexible qui sait exactement quel outil utiliser ensuite, en fonction de ce qu'il a déjà découvert, garantissant qu'il résolve le mystère avec le moins d'efforts inutiles possible.

Résumé Technique : DynaKRAG

Énoncé du Problème

La génération augmentée par récupération multi-étapes (Multi-hop RAG) traite des questions dont la réponse dépend de preuves distribuées sur plusieurs documents et étapes de raisonnement. Contrairement au RAG standard, qui suit généralement un paradigme fixe de « récupération puis génération », le RAG multi-étapes nécessite un processus d'acquisition d'informations évolutif. Un seul passage récupéré suffit rarement ; il peut au contraire révéler une « entité de pont » (bridge entity), exposer une relation manquante, indiquer un défaut de requête ou fournir un support suffisant pour l'arrêt.

Les méthodes RAG adaptatives existantes (ex. : IRCoT, Self-Ask, CRAG, S2G-RAG) introduisent des comportements utiles tels que la récupération itérative, la reformulation de requête, la critique de l'évidence et l'évaluation de la suffisance. Cependant, ces méthodes organisent généralement ces opérations au sein de pipelines spécifiques à la méthode ou de topologies de contrôle prédéfinies. Cette fragmentation crée deux limitations principales :

Absence de contrôle unifié : Les opérations d'évidence hétérogènes sont difficiles à exprimer, à comparer et à apprendre au sein d'un cadre unique. Un système décidant de récupérer davantage peut ne pas savoir quand la réécriture est préférable, et un module de suffisance peut identifier une information manquante sans arbitrer conjointement contre l'expansion du pont ou l'arrêt.
Inefficacité : Les trajectoires adaptatives peuvent invoquer de manière répétée des récupérateurs et des modèles de langage. Sans une politique apprise pour coordonner ces opérations, les systèmes peuvent gaspiller des jetons (tokens) dans des preuves redondantes ou ne pas s'arrêter lorsque l'évidence est suffisante.

Le défi central est d'apprendre une politique partagée conditionnée par l'état qui choisit dynamiquement parmi les opérations d'évidence actuellement valides à mesure que l'état de l'évidence évolue, en équilibrant la récupération, le diagnostic et l'acquisition dirigée par les lacunes.

Méthodologie : DynaKRAG

DynaKRAG (Dynamic Knowledge Retrieval-Augmented Generation) formule l'acquisition d'évidence multi-étapes comme un contrôle d'opérations d'évidence atomiques conditionné par l'état. Il découple la validité d'une action de son utilité, permettant aux règles d'imposer la cohérence des transitions tandis que l'apprentissage détermine l'opération la plus utile.

1. Cadre d'Évidence-Action Unifié

Le système modélise le processus comme une trajectoire $\tau = (s_0, a_0, s_1, a_1, \dots, s_T)$ .

État ( $s_t$ ) : Encode les informations observables incluant la question, les documents récupérés, les statistiques de la frontière de récupération, l'historique des actions, les entités de pont détectées et le feedback de diagnostic (ex. : descriptions d'informations manquantes). Crucialement, il n'inclut pas les réponses de référence (gold answers) ou les annotations de support lors de l'inférence.
Opérations Atomiques : Le cadre définit sept actions atomiques :
- Récupération/Expansion : retrieve_more (avance la frontière), gap_query (cible les faits manquants), bridge_entity_expand (récupère autour des entités détectées), rewrite_query (reformule la requête basée sur l'évidence).
- Diagnostic/Terminaison : sufficiency_check (demande au générateur si l'évidence est suffisante ; si non, enregistre l'information manquante), stop_answer.
- Post-traitement : compress_answer_evidence (extrait les extraits de support avant la génération finale).
Couche de Validité : Une couche rigide, basée sur des règles, construit l'ensemble d'actions exécutables $A(s_t)$ en filtrant les opérations indéfinies, épuisées ou prématurées (ex. : empêcher gap_query si aucune lacune n'est connue).

2. Politique de Contrôle Apprise Conditionnée par l'État

DynaKRAG emploie un contrôleur appris pour classer les actions valides :

Modèle de Valeur d'Action : Un régresseur de forêt aléatoire $\hat{v}_\theta(s, a)$ $\overset{v}{^}_{θ} (s, a)$ estime l'amélioration qu'une action apporte à l'état de l'évidence.
- Cibles d'Entraînement : Pendant l'entraînement, la valeur $v(s, a)$ est définie par le changement de Rappel de Support (SR) (la fraction de documents de support annotés présents). Pour les actions d'acquisition, $v = SR(s') - SR(s)$. Pour la vérification de suffisance, elle prédit si $SR(s)=1$. Pour l'arrêt, elle score en fonction de la couverture actuelle.
- Inférence : Le contrôleur sélectionne l'action $a^*$ qui maximise la valeur moins un terme de coût : $a^* = \arg\max_{a \in A(s_t)} [\hat{v}_\theta(s_t, a) - \lambda c(s_t, a)]$ .
Modèle de Continuation : Un modèle distinct estime l'utilité de poursuivre la trajectoire, empêchant un arrêt prématuré lorsque l'on prédit que des preuves supplémentaires pourraient aider.
Compression Terminale : Lors de la terminaison, un compresseur extrait les extraits mutuellement supportés de l'étayage accumulé pour réduire la charge sur le générateur de réponse final.

3. Procédure d'Inférence

La boucle d'inférence (Algorithme 1) itère comme suit :

Construire l'ensemble d'actions valides $A(s_t)$ basé sur les contraintes de l'état actuel.
Évaluer les actions valides en utilisant le modèle de valeur appris.
Sélectionner l'action la mieux classée.
Exécuter l'action (ex. : interroger l'index dense, mettre à jour l'état).
Répéter jusqu'à ce que stop_answer soit sélectionné ou qu'une limite de récupération/action soit atteinte.
Optionnellement, compresser l'évidence et générer la réponse finale.

Contributions Clés

Cadre Unifié : Le papier propose un cadre unifié d'évidence-action où les stratégies de RAG hétérogènes sont représentées comme des opérations atomiques sur un état partagé, s'éloignant des pipelines isolés et spécifiques à chaque méthode.
Contrôleur Appris Rentable : Il développe un contrôleur qui sépare la validité stricte de l'action de l'utilité conditionnée par l'état. Cela permet une coordination dynamique de la récupération, du diagnostic, de la reformulation et de la terminaison le long d'une trajectoire évolutive sans remplacer le récupérateur ou le générateur sous-jacent.
Validation Empirique : À travers des expériences contrôlées sur trois benchmarks, les auteurs isolent les effets du classement d'actions appris, du feedback de suffisance et de la compression terminale, démontnant que le contrôle dynamique produit des gains constants en qualité et en efficacité.

Résultats Expérimentaux

Les auteurs ont évalué DynaKRAG en utilisant Qwen2.5-7B-Instruct, GPT-4o-mini et Llama-3.1-8B-Instruct comme générateurs de base, entraînés sur HotpotQA, 2WikiMultiHopQA et MuSiQue.

Performance : DynaKRAG a atteint les scores F1 les plus élevés sur les trois benchmarks avec Qwen2.5-7B (0,5998 sur HotpotQA, 0,5340 sur 2Wiki, 0,3061 sur MuSiQue), surpassant les bases contrôlées les plus fortes (ex. : S2G-RAG, CoRAG) de 2,88 à 7,19 points.
Généralisation : La politique, entraînée sur les trajectoires de Qwen, s'est transférée efficacement à GPT-4o-mini et Llama-3.1-8B sans réentraînement, atteignant des résultats de pointe sur la plupart des configurations. Cela suggère que la politique apprise capture des préférences d'acquisition d'évidence généralisables plutôt que de sur-apprendre un générateur spécifique.
Efficacité : DynaKRAG a réduit la consommation totale de jetons de 13,1 % à 20,7 % par rapport à la base F1 la plus forte (S2G-RAG) tout en atteignant une meilleure précision.
Études d'Ablation :
- Remplacer le contrôleur appris par une politique uniforme-valide a réduit le F1 de 3,96 à 5,78 points, prouvant que l'exposition des actions ne suffit pas ; les classer est critique.
- Supprimer le feedback de suffisance a nui à la performance sur tous les jeux de données, confirmant la valeur d'une évaluation explicite de la préparation de l'évidence.
- Supprimer la compression terminale a également dégradé les performances, soulignant le bénéfice du raffinement du contexte.
Sensibilité au Budget de Récupération : Des expériences contrôlées ont montré que « plus de récupération » n'est pas uniformément bénéfique. Par exemple, sur MuSiQue, la performance a culminé à deux appels de récupération et a décliné à trois, indiquant qu'un contrôle dynamique est nécessaire pour allouer les budgets efficacement selon l'état spécifique de l'évidence.

Signification et Revendications

Le papier affirme que le RAG multi-étapes adaptatif dépend de la sélection d'opérations d'évidence appropriées à partir de l'état d'information actuel. En formulant l'acquisition d'évidence comme un processus de contrôle en boucle fermée, DynaKRAG surmonte la fragmentation des méthodes existantes.

Les auteurs soulignent que leur approche démontre le bénéfice de la coordination de la récupération, du diagnostic et de l'acquisition dirigée par les lacunes sous un état d'évidence évolutif. Les résultats suggèrent qu'une politique de contrôle unifiée et apprise peut surpasser les systèmes spécialisés basés sur des pipelines, tant en qualité de réponse qu'en efficacité de jetons, et que ces stratégies de contrôle peuvent se généraliser à travers différents noyaux de modèles de langage. Le travail établit que la décision de ce qu'il faut faire ensuite (récupérer, réécrire, vérifier la suffisance ou s'arrêter) est aussi critique que la récupération elle-même, et que cette décision doit être pilotée par une politique conditionnée par l'état plutôt que par des heuristiques fixes.