Résumé Technique : PathRouter

Problématique

Les systèmes de génération augmentée par récupération sur graphes (GraphRAG) agentiques utilisent des agents de modèles de langage pour rechercher et raisonner de manière itérative sur des preuves structurées en graphes. Bien que ces systèmes visent à améliorer la prise de décision en naviguant dans des réseaux d'informations complexes, les méthodes d'entraînement existantes reposant uniquement sur l'apprentissage par renforcement (RL) basé sur le résultat souffrent de deux limitations critiques :

1. Aliasing de Récompense Réponse-Chemin (Answer-Path Reward Aliasing) : Le RL standard attribue des récompenses basées uniquement sur la correction de la réponse finale. Cela confond les trajectoires où la réponse correcte est dérivée de chemins de preuves utiles avec celles où la réponse est extraite de la mémoire paramétrique du modèle (raccourcis) malgré un échec de la récupération de preuves. Par conséquent, le modèle est renforcé pour des succès « chanceux » qui n'améliorent pas les capacités de récupération.
2. Ambiguïté de Mise à Jour de Recherche (Search-Update Ambiguity) : Le retour d'information scalaire au niveau de la trajectoire (par exemple, un score de récompense unique pour toute l'interaction) ne parvient pas à indiquer quelles actions de recherche spécifiques (requêtes de recherche ou étapes de raisonnement) ont contribué au résultat. Cela laisse l'agent sans guide exploitable pour ajuster sa stratégie de recherche lorsqu'une trajectoire échoue ou réussit via des raccourcis.

Méthodologie : PathRouter

Les auteurs proposent PathRouter, un cadre d'entraînement sensible aux chemins conçu pour aligner les signaux de récompense avec la qualité de la récupération. Le cadre opère via trois mécanismes fondamentaux :

1. Routage Sensible aux Chemins et Mise à l'Échelle Différenciée de l'Avantage

Au lieu de traiter toutes les trajectoires uniformément, PathRouter évalue chaque trajectoire selon deux axes :

• Correction de la Réponse ($C_i$) : Si la réponse finale est correcte.
• Chevauchement du Chemin de Preuve ($P_i$) : Le chevauchement F1 au niveau du jeton entre les passages récupérés et les preuves de support « gold » (vérité terrain).

Sur la base de ces métriques, les trajectoires sont classées en quatre types, chacun recevant un poids différencié pour la mise à l'échelle de l'avantage de l'Optimisation de Politique Relative de Groupe (GRPO) :

• Succès Fidèle ($C \uparrow, P \uparrow$) : Réponse correcte avec un chevauchement de preuves élevé. Reçoit le poids complet.
• Échec par Raccourci ($C \uparrow, P \downarrow$) : Réponse correcte mais faible chevauchement de preuves (reposant sur la mémoire paramétrique). Reçoit un poids réduit pour supprimer le renforcement des comportements de raccourci.
• Preuve Récupérée ($C \downarrow, P \uparrow$) : Réponse incorrecte mais chevauchement de preuves élevé (échec de raisonnement). Reçoit un poids atténué pour éviter de pénaliser excessivement le comportement de récupération utile.
• Échec Conjoint ($C \downarrow, P \downarrow$) : Réponse incorrecte avec un faible chevauchement de preuves. Reçoit le poids complet.

Ce routage garantit que les mises à jour de la politique reflètent la qualité de la récupération plutôt que la simple correction de la réponse finale.

2. Enseignant de Preuves-Gold Sélectif pour l'Ambiguïté de Mise à Jour de Recherche

Pour résoudre l'ambiguïté de savoir quelles actions de recherche ajuster, PathRouter introduit un enseignant de preuves-gold gelé pour les trajectoires pauvres en preuves ($P_i < \theta_P$).

• Mécanisme : L'enseignant est sollicité avec la requête et les passages de support gold (contexte privilégié). Il ne génère pas une nouvelle trajectoire mais évalue le déroulement (rollout) on-policy de l'étudiant.
• Guidage KL au Niveau du Jeton : L'enseignant fournit une supervision de la divergence de Kullback-Leibler (KL) spécifiquement sur les jetons de raisonnement et les jetons de requête de recherche.
• Exclusion : Les jetons de réponse et les blocs d'observation récupérés sont exclus de la supervision KL pour empêcher l'imitation directe de la réponse et garantir que l'agent apprenne à trouver des preuves plutôt qu'à simplement produire la réponse.
• Planification (Scheduling) : Un échauffement linéaire est appliqué au coefficient KL pour permettre à l'étudiant d'explorer via les récompenses GRPO avant que la contrainte de l'enseignant ne prenne effet.

3. Objectif d'Entraînement

La perte totale combine la perte GRPO routée avec la perte KL de l'enseignant sélectif :
$$\mathcal{L} = \mathcal{L}_{GRPO} + \lambda_T(s) \cdot \mathcal{L}_{TKL}$$
La fonction de récompense incorpore également le façonnage de l'exploration (bonus pour la récupération multi-tours, pénalités pour les arrêts paresseux, les dépassements de délai et la redondance) afin d'encourager une collecte de preuves approfondie.

Contributions Clés

1. Identification de l'Aliasing de Récompense : L'article identifie l'aliasing de récompense réponse-chemin comme un mode de défaillance primaire dans le GraphRAG agentique et propose un mécanisme de mise à l'échelle de l'avantage conditionné par le routage pour découpler la correction de la réponse de la qualité de la récupération.
2. Distillation Sélective au Niveau du Jeton : Un nouveau mécanisme d'enseignant sélectif est introduit, appliquant un guidage KL au niveau du jeton aux jetons de raisonnement et de requête de recherche pour les trajectoires pauvres en preuves. Cela résout l'ambiguïté de mise à jour de recherche sans imiter les réponses finales.
3. Validation Empirique : Des expériences approfondies démontrent que PathRouter améliore systématiquement à la fois la précision de la réponse et le chevauchement du chemin de preuve sur six benchmarks de questions-réponses et trois tailles de modèles (1.5B, 3B, 7B).

Résultats Expérimentaux

Évalué sur six benchmarks (HotpotQA, 2WikiMultiHopQA, MuSiQue, NQ, PopQA, TriviaQA) utilisant les modèles Qwen2.5 :

• Gains de Performance : PathRouter surpasse systématiquement les bases solides, y compris Graph-R1.
  • Sur les modèles 7B, il a obtenu un gain moyen de F1 de 4,9 points (de 57,82 à 62,74) et un gain de correspondance exacte (EM) de 4,69 points.
  • Sur les modèles 3B, il a obtenu un gain moyen de F1 de 3,1 points.
  • Les améliorations sont plus marquées sur les tâches de raisonnement multi-étapes (ex: +7,4 F1 sur HotpotQA, +8,2 sur MuSiQue pour les modèles 7B).
• Décalage de Trajectoire : L'analyse des distributions de trajectoire montre que PathRouter déplace avec succès la masse des catégories « raccourci » et « échec conjoint » vers les catégories « succès fidèle » et « échec de raisonnement avec présence de preuves », indiquant une amélioration de l'acquisition de preuves indépendamment de la correction de la réponse.
• Généralisation : Les tests de transfert inter-jeux de données ont révélé une haute généralisation OOD (ratio moyen de 95,7 %), suggérant que les stratégies de récupération apprises sont robustes et ne sont pas liées aux distributions spécifiques des jeux de données.
• Résultats d'Ablation :
  • Supprimer la récompense de chemin ($r_p$) dégrade significativement la qualité des preuves (SF-F1) tout en conservant le F1 de la réponse, confirmant que le signal cible la récupération.
  • Supprimer le KL de l'enseignant sélectif réduit les performances, particulièrement sur les tâches multi-étapes, confirmant son rôle dans la résolution de l'ambiguïté de mise à jour de recherche.
  • L'efficacité du KL de l'enseignant s'est avérée dépendante de la capacité ; les plus petits modèles (1.5B) montrent des résultats mitigés ou une dégradation avec un enseignant fort, suggérant que la capacité de l'étudiant est un facteur limitant.

Signification et Revendications

L'article affirme que PathRouter traite les limitations fondamentales d'attribution de crédit de l'apprentissage par renforcement basé uniquement sur le résultat dans les systèmes agentiques. En évaluant conjointement la correction de la réponse et le chevauchement du chemin de preuve, le cadre garantit que les mises à jour de la politique sont pilotées par la qualité du processus de récupération, et non par la simple production de la réponse.

Les auteurs soutiennent que cette approche permet aux agents d'apprendre des politiques de récupération qui sont à la fois précises dans la réponse et fidèles aux preuves. Le travail suggère que l'entraînement sensible au chemin produit des comportements de récupération généralisables qui évitent les raccourcis spécifiques aux jeux de données, offrant ainsi une base plus robuste pour les tâches de raisonnement complexe dans les systèmes GraphRAG. L'article reconnaît les limitations concernant les hyperparamètres supplémentaires requis pour le routage et la planification, ainsi que le coût computationnel accru par étape dû aux passages directs de l'enseignant, notant un compromis entre l'efficacité de l'entraînement et l'amélioration de la fidélité.