Résumé Technique : EviBack

Problématique

L'apprentissage par renforcement (RL) a permis aux systèmes de RAG (Génération Augmentée par Récupération) agentiques d'apprendre des stratégies de recherche multi-tours à partir de récompenses de résultats vérifiables. Cependant, une limitation critique existe dans les paradigmes d'entraînement actuels : lorsqu'un groupe de trajectoires échantillonnées (rollouts) ne produit aucune réponse correcte (un groupe « tout-zéro »), le signal de RL standard ne fournit aucune information comparative. Dans ces scénarios, l'avantage normalisé est nul, rendant les progrès partiels ou les comportements de recherche intermédiaires corrects indiscernables d'un échec total. De plus, les méthodes existantes qui reposent sur la conception manuelle de prompts pour l'évaluation de processus échouent souvent à caractériser de manière stable des dimensions telles que la rationalité de la requête et la suffisance de l'évidence, ou risquent de permettre aux réponses de référence d'écraser les jugements sur l'insuffisance d'évidence.

Méthodologie

Le papier propose EviBack, un cadre conçu pour fournir une supervision auxiliaire aux groupes de rollouts tout-zéro tout en préservant l'intégrité des récompenses vérifiables de l'Acteur. La méthodologie se compose de trois composantes centrales :

1. Retrait du Enseignant sous Contrainte d'Évidence (Evidence-Constrained Teacher Backoff)

EviBack introduit un modèle « Enseignant » (Teacher) qui agit comme un mécanisme de repli. Il n'est activé que lorsqu'un groupe de rollouts de l'Acteur ne contient aucune trajectoire avec une correspondance exacte vérifiable (groupes tout-zéro).

• Architecture à deux étapes : L'Enseignant sépare l'évaluation de l'évidence de l'affinement de la réponse pour éviter que les réponses de référence ne masquent l'insuffisance de l'évidence.
  • Étape A (Aveugle à l'Or - Gold-Blind) : Évalue si l'évidence accumulée visible pour l'Acteur est suffisante pour répondre à la question. Il produit un statut : Suffisante (S), Insuffisante (I), ou Ambiguë (A). Cette étape opère sans accès à la réponse de vérité terrain.
  • Étape B (Consciente de l'Or - Gold-Aware) : Ne s'exécute que si l'étape A détermine que l'évidence n'est pas insuffisante ($s_A \neq I$). Elle affine la réponse pour l'aligner avec la référence, mais préserve strictement la limite d'« Insuffisance » établie par l'étape A.
• Signal de Récompense : Pour les groupes tout-zéro, l'Enseignant fournit une récompense hybride basée sur le statut et un score F1 aligné sur la référence. Cette récompense est réduite (par un facteur $\lambda = 0,1$) pour garantir qu'elle n'écrase pas le signal d'apprentissage des groupes contenant des succès vérifiés.

2. E2E-APE (Ingénierie Automatique de Prompts de Bout en Bout)

Pour construire la politique de l'Enseignant, les auteurs proposent l'E2E-APE, une méthode de génération de prompts de juge guidée par des contraintes.

• Processus : Contra contrairement à l'optimisation de prompt traditionnelle qui maximise les scores finaux des tâches, l'E2E-APE part de contraintes explicites requises pour l'évaluation de processus intermédiaire (ex: rationalité de la requête, efficacité de l'évidence).
• Automatisation : Utilisant un contrôleur GPT-5.5, le pipeline partitionne automatiquement les données de rollout, génère des prompts/workflows candidats, les évalue par rapport à des métriques spécifiques (conformité de la limite d'évidence, stabilité, coût) et sélectionne une politique à deux étapes cadencée.
• Résultat : Ce processus transforme un enseignant à prompt unique rédigé manuellement en une politique à deux étapes figée et versionnée, sans intervention manuelle après le lancement initial.

3. Protocole d'Entraînement

Le système utilise le GRPO (Optimisation de Politique Relative par Groupe).

• Priorité à l'Acteur : Si une trajectoire dans un groupe atteint une correspondance exacte vérifiable, l'Enseignant est contourné et les récompenses standards de l'Acteur sont utilisées.
• Repli Sélectif : L'Enseignant est invoqué uniquement pour les groupes où toutes les trajectoires échouent. Les récompenses résultantes sont normalisées au sein du groupe, et l'avantage de repli est mis à l'échelle pour maintenir une contribution de gradient de politique plus faible que les groupes avec des succès vérifiés.

Principales Contributions

1. E2E-APE : Une méthode d'ingénierie automatique de prompts de bout en bout basée sur des contraintes pour générer des prompts de juge. Elle déplace l'attention de la maximisation de la performance finale de la tâche vers la satisfaction des contraintes pour l'évaluation de processus intermédiaire, réduisant les coûts de conception manuelle et améliorant la stabilité de la notation.
2. Cadre EviBack : Un système de récompense hybride pour le RAG d'agents de recherche qui combine des récompenses de réponse finale vérifiables avec des récompenses de processus dérivées de l'Enseignant. Il étend la supervision par RL des résultats finaux vers la qualité des trajectoires de recherche, traitant spécifiquement le problème des groupes « tout-zéro ».
3. Préservation de la Limite d'Évidence : Une conception d'Enseignant à deux étapes novatrice qui découple le jugement de suffisance de l'évidence de l'affinement de la réponse, garantissant que les réponses de référence ne peuvent pas écraser les jugements d'insuffisance d'évidence.

Résultats Expérimentaux

Les auteurs ont évalué EviBack sur sept benchmarks de QA en domaine ouvert (incluant NQ, HotpotQA, MuSiQue, 2WikiMultiHopQA, etc.) et sur trois échelles de modèles Qwen3 (0.6B, 1.7B et 4B).

• Gains de Performance : EviBack améliore systématiquement les scores F1 par rapport à la base solide Search-R1.
  • À l'échelle 1.7B, EviBack atteint un gain relatif de 16 % par rapport à la base.
  • Des améliorations ont été observées tant pour les scores F1 macro single-hop que multi-hop sur toutes les échelles.
• Efficacité de Recherche : La méthode a réduit le nombre moyen de recherches, les taux de requêtes dupliquées et les taux de terminaison forcée (max-turn). Par exemple, à l'échelle 1.7B, le taux de réponse valide est passé de 0,7317 à 0,8611, tandis que les recherches moyennes sont passées de 1,73 à 1,59.
• Construction de l'Enseignant : L'Enseignant construit via E2E-APE surpasse l'Enseignant à tâche double à prompt unique conçu manuellement, améliorant le F1 de 0,0260 et le taux de réponse valide de 0,2197, tout en réduisant considérablement la surcharge de recherche.
• Études d'Ablation : Les expériences ont confirmé que la contrainte d'évidence à deux étapes et le facteur d'échelle spécifique de repli ($\lambda=0,1$) étaient critiques pour équilibrer les gains de performance avec l'efficacité de la recherche.

Signification et Revendications

Le papier affirme qu'EviBack comble une lacune fondamentale dans l'entraînement des agents de recherche : l'absence de signaux comparatifs dans les cas d'échec. En introduisant un mécanisme de retrait sélectif et contraint par l'évidence, le système fournit un feedback précis sur le raisonnement intermédiaire sans compromettre la vérifiabilité de la récompense finale.

Les auteurs soulignent que leur approche :

• Restaure la supervision auxiliaire pour les groupes qui, autrement, ne fourniraient aucun signal d'apprentissage.
• Empêche la fuite de référence (reference leakage) de fausser les jugements de suffisance d'évidence, un problème courant dans les modèles de récompense de processus.
• Démontre la viabilité de l'ingénierie automatique de prompts (E2E-APE) pour créer des politiques d'évaluation complexes satisfaisant des contraintes qui surpassent les conceptions manuelles.

Le travail conclut que bien que des signaux plus riches dérivés de l'Enseignant (ex: qualité de la requête, redondance) restent une direction pour la recherche future, la conception actuelle contrainte par l'évidence offre une méthode robuste et efficace pour améliorer les performances du RAG agentique. Le code est promis pour être rendu public ultérieurement.