💬 NLP

EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents

EviSD est un cadre d'auto-distillation conditionné par l'évidence qui améliore les agents de langage augmentés par la recherche en exploitant l'évidence au niveau de l'instance et les réponses de référence comme informations privilégiées pour affiner l'attribution de crédit au niveau de l'action pendant l'entraînement, atteignant ainsi une performance supérieure sur plusieurs benchmarks sans modifier le comportement lors de l'inférence.

Auteurs originaux : Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

Publié 2026-08-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Shu Wu, Bowen Song, Liang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment devenir un détective. Dans le monde de l'intelligence artificielle, ce robot est appelé un « agent augmenté par la recherche ». Sa tâche est de résoudre des questions complexes en réfléchissant, en cherchant des indices sur Internet, en réfléchissant à nouveau, et en cherchant encore, jusqu'à ce qu'il trouve enfin la réponse. Pour s'améliorer, nous utilisons une méthode d'apprentissage appelée « apprentissage par renforcement ». Considérez cela comme un jeu vidéo où le robot ne reçoit un signal de « victoire » ou de « défaite » qu'à la toute fin du jeu. S'il résout le mystère, il obtient un score élevé ; s'il échoue, il obtient un zéro.

Le problème de cette approche « victoire ou défaite », c'est qu'elle ressemble un peu à l'évaluation d'un élève en se basant uniquement sur sa note à l'examen final sans regarder ses devoirs. Si le robot trouve la bonne réponse, nous savons que tout le parcours était bon, mais nous ne savons pas quelle recherche spécifique était brillante et laquelle était une perte de temps. Le robot a-t-il trouvé l'indice en or lors de la première recherche ? Ou le robot a-t-il simplement eu de la chance avec sa dernière supposition ? Parce que le robot ne peut pas faire la différence, il pourrait continuer à faire de mauvaises recherches, en espérant qu'elles mèneront éventuellement à une victoire. Ce document s'attaque à la partie confuse du milieu du parcours du détective, en essayant d'enseigner au robot exactement quels mouvements étaient utiles et lesquels étaient des distractions, afin qu'il devienne un enquêteur plus intelligent et plus rapide.

Voici entré EviSD, un nouveau tour de formation astucieux qui agit comme un « entraîneur privilégié » pour le robot. Les chercheurs ont réalisé que, pendant que le robot apprend, il a accès à une fiche de référence qu'il n'aura pas lorsqu'il travaillera réellement dans le monde réel. Cette fiche de référence contient la « réponse d'or » (la solution correcte) et les « preuves de soutien » (les paragraphes de texte spécifiques qui prouvent que la réponse est juste).

Voici comment fonctionne EviSD, en utilisant une analogie ludique : Imaginez que le robot est un étudiant passant un examen.

L'Étudiant (Le Robot) : L'étudiant passe l'examen en utilisant uniquement les informations dont il dispose à ce moment-là. Il note ses requêtes de recherche et sa réponse finale.
L'Entraîneur (L'Enseignant) : Après que l'étudiant a terminé, le même modèle de robot enfile un « Chapeau d'Entraîneur ». L'Entraîneur regarde les réponses de l'étudiant mais est autorisé à jeter un coup d'œil à la fiche de référence (les preuves et la réponse correcte).
La Boucle de Rétroaction : L'Entraîneur compare ce que l'étudiant a écrit par rapport à ce qu'il aurait dû écrire, en connaissant les indices secrets.
- Si l'étudiant a posé une excellente question de recherche qui aurait permis de trouver les preuves, l'Entraîneur lui donne un pouce levé.
- Si l'étudiant a posé une question vague qui n'aiderait pas, l'Entraîneur lui donne une petite tape sur l'épaule pour qu'il fasse mieux la prochaine fois.
- Crucialement, l'Entraîneur ne se contente pas de dire « Tu as réussi » ou « Tu as échoué ». Il dit : « Ta recherche pour 'X' était excellente car elle correspond aux preuves, mais ta recherche pour 'Y' était une impasse. »

La magie d'EviSD est qu'il utilise ce « feedback de l'Entraîneur » pour affiner le cerveau du robot uniquement pour les parties spécifiques où le robot a fait un mouvement (les requêtes de recherche et la réponse finale). Il ne cherche pas à réécrire toute la personnalité du robot ou à le forcer à mémoriser la fiche de référence. Au lieu de cela, il agit comme un bouton de volume. Si l'entraînement original disait : « Cette recherche était bonne », l'Entraîneur augmente le volume encore plus haut si les preuves soutiennent cela. Si l'entraînement original était incertain, l'Entraîneur aide à clarifier les choses. Mais si le robot s'est trompé dans la réponse finale, l'Entraîneur ne prétendra pas que la recherche était parfaite ; le score « victoire ou défaite » reste le plus important.

Les chercheurs ont testé cette méthode sur sept défis de questions-réponses différents, allant de la simple culture générale aux énigmes complexes à plusieurs étapes. Ils ont constaté qu'EviSD surpasse systématiquement les autres méthodes de pointe. En fait, il a amélioré la précision du robot d'environ 1,3 à 2,3 points par rapport aux meilleures techniques existantes. Peut-être plus impressionnant encore, le robot a appris à être plus efficace, ayant besoin de moins de recherches pour trouver la réponse (passant d'une moyenne de 2,27 recherches à 1,87).

L'article suggère que cette approche est un pas en avant significatif car elle résout le problème de « l'attribution de crédit » — déterminer quels actions spécifiques ont mené au succès — sans changer la façon dont le robot se comporte lorsqu'il travaille réellement dans le monde réel. Lorsque le robot sort pour résoudre de vrais problèmes, il n'a pas la fiche de référence, et c'est très bien ainsi ; il utilise simplement les bonnes habitudes apprises durant l'entraînement. L'étude montre qu'en donnant au robot un moment pour réfléchir avec une « vue privilégiée » de la vérité, nous pouvons lui apprendre à être un détective beaucoup plus aiguisé, capable de distinguer une chance insolente d'une investigation bien planifiée.

Résumé Technique : EviSD – Auto-distillation Conditionnée par l'Évidence pour les Agents Augmentés par la Recherche

Énoncé du Problème

Les agents de langage augmentés par la recherche utilisent la récupération d'informations externe pour entrelacer le raisonnement avec la collecte d'informations. Bien que les récentes méthodes d'apprentissage par renforcement (RL) basées sur le résultat, telles que le Group Relative Policy Optimization (GRPO), permettent l'entraînement via des réponses finales vérifiables, elles souffrent d'une limitation fondamentale en matière d'attribution de crédit (credit assignment). Le signal d'avantage lié au résultat diffuse le même avantage à chaque jeton généré dans une trajectoire. Par conséquent, le système ne peut pas distinguer :

Les requêtes de recherche efficaces qui ont extrait une preuve décisive.
Les recherches redondantes ou vagues qui n'ont apporté aucune valeur.
Les jetons de raisonnement intermédiaire par rapport aux jetons de réponse terminaux.

Ce feedback de type « résultat uniquement » échoue à localiser les décisions spécifiques à une instance, ce qui rend difficile l'optimisation des actions spécifiques (recherche ou réponse) qui ont mené au succès ou à l'échec, particulièrement dans les scénarios multi-tours où les requêtes précoces dictent la qualité du raisonnement ultérieur.

Les approches existantes tentent d'affiner la granularité du crédit via des récompenses spécifiques à la recherche ou des estimateurs par étape, mais elles manquent souvent d'un mécanisme pour déterminer quelle information spécifique à l'instance doit guider une action échantillonnée. Inversement, les méthodes d'auto-distillation on-policy (OPSD) introduisent des contextes enseignants privilégiés mais reposent souvent sur un recul dérivé de la trajectoire ou sur des compétences au niveau de la tâche, qui ne parviennent pas directement à identifier l'évidence spécifique requise pour une requête donnée.

Méthodologie : EviSD

Les auteurs proposent EviSD (Evidence-Conditioned Self-Distillation), un cadre qui utilise l'évidence de support au niveau de l'instance comme information privilégiée pour affiner le crédit dérivé du résultat. La méthode repose sur deux décisions de conception fondamentales :

1. Construction de Contexte Privilégié au Niveau de l'Instance

EviSD traite l'évidence de support (annotée dans les données d'entraînement) comme une information privilégiée pour les actions de recherche et les réponses d'or (golden answers) pour les actions de réponse.

Pour les Actions de Recherche : Le modèle enseignant est conditionné sur l'évidence de support annotée ( $E_q$ ) de l'instance de QA actuelle. Cela fournit une vue de ce qu'une requête utile devrait découvrir sans prescrire une chaîne de requête spécifique.
Pour les Actions de Réponse : L'enseignant est conditionné sur la réponse d'or ( $C_q$ ).
Alignement des Actions : Le contexte privilégié est prépendé au contexte original uniquement lorsque le student génère une action de recherche ou de réponse. Pour les autres jetons (raisonnement, délimiteurs), le contexte reste inchangé.

2. Modulation de Crédit Ancrée sur le Résultat et Localisée sur l'Action

Plutôt que d'optimiser une perte de distillation séparée, EviSD traduit l'écart entre l'enseignant et l'étudiant en une correction bornée de l'avantage GRPO.

Contraste Enseignant-Étudiant : La même politique agit à la fois comme étudiant (échantillonnant à partir du contexte original) et comme enseignant (re-évaluant la même action sous le contexte privilégié). Le signal est le rapport de log-vraisemblance détaché ( $\delta$ ) entre les deux vues.
Localisation : La modulation s'applique uniquement aux jetons de contenu des actions de recherche et de réponse générées ( $m^{act}$ ). Les jetons de raisonnement et les passages récupérés conservent leur crédit GRPO original.
Fonction de Modulation : Le signal privilégié module l'amplitude de l'avantage dérivé du résultat ( $A$ ) via une fonction bornée :
$\Delta A^{priv} = \lambda |A| \tanh(\tau \delta) m^{act}$
$\hat{A} = A + \Delta A^{priv}$
Ici, $\lambda$ contrôle la correction relative maximale, et $\tau$ contrôle la sensibilité. Crucialement, pour $\lambda < 1$ , la correction ne peut pas inverser le signe de l'avantage original. La récompense de résultat reste l'ancre pour la direction de la mise à jour ; l'information privilégiée ne fait que raffiner la force du crédit pour les jetons d'action spécifiques.

Entraînement et Inférence

Entraînement : Le modèle échantillonne des trajectoires, calcule les récompenses de résultat, construit les contextes privilégiés pour les tours de recherche/réponse, re-évalue les actions pour générer l'écart enseignant-étudiant, et met à jour la politique en utilisant l'avantage modulé $\hat{A}$ dans l'objectif GRPO découpé standard.
Inférence : L'agent déployé fonctionne exactement comme avant. Les contextes privilégiés et la vue de l'enseignant sont supprimés, ne nécessitant aucun changement dans le pipeline d'inférence ni de latence supplémentaire.

Principales Contributions

Cadre Conditionné par l'Évidence : EviSD introduit une utilisation novatrice de l'évidence de support au niveau de l'instance comme contexte enseignant privilégié pour les actions de recherche, complétée par les réponses d'or pour les actions de réponse.
Modulation Localisée sur l'Action : Le papier propose une règle de modulation de crédit qui convertit l'écart détaché enseignant-étudiant en une correction bornée des avantages GRPO. Cette approche ne nécessite aucune perte de distillation auxiliaire et évite les changements lors de l'inférence.
Performance et Robustesse : La méthode atteint des résultats de pointe sur sept benchmarks de QA et trois backbones de modèles (Qwen2.5-3B, 7B et Qwen3-1.7B), surpassant les bases les plus fortes de 1,3 à 2,3 points de précision Exact Match (EM) en moyenne macro.

Résultats Expérimentaux

Les auteurs ont évalué EviSD sur sept jeux de données (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMQA, MuSiQue, Bamboogle) couvrant le raisonnement mono-saut (single-hop) et multi-saut (multi-hop).

Performance Globale : EviSD a obtenu l'EM macro-moyenne la plus élevée dans tous les contextes évalués. Sur le backbone Qwen2.5-7B, il a surpassé la deuxième meilleure méthode (SDAR) de 1,3 à 2,3 points.
Efficacité de la Recherche : EviSD a démontré des taux de réussite plus élevés avec moins de recherches (1,87 recherche par trajectoire contre 2,16 pour SDAR), indiquant une guidance plus précise des actions de recherche.
Études d'Ablation :
- Source de Privilège : Remplacer l'évidence spécifique à l'instance par un contexte de réponse uniquement a réduit la performance de 2,1 points EM, confirmant la valeur de l'évidence pour superviser les actions de recherche.
- Localisation : Appliquer la modulation à la réponse complète (plutôt qu'aux segments d'action) a réduit la performance de 7,1 points, validant la nécessité de localiser la guidance aux jetons d'action.
- Dynamique d'Entraînement : EviSD a maintenu une courbe de taux de réussite on-policy fluide et une divergence KL plus faible par rapport aux concurrents, suggérant une amélioration stable de la politique sans déviations abruptes.
Sensibilité : La méthode a montré une sensibilité limitée à la qualité de l'évidence privilégiée ; remplacer l'évidence d'or par des documents récupérés pertinents n'a entraîné qu'une dégradation négligeable des performances.

Signification et Revendications

Le papier affirme que EviSD comble l'écart critique de l'attribution de crédit pour les agents de recherche dans le RL basé sur le résultat en localisant l'attribution de crédit sans sacrifier la scalabilité des récompenses de résultat. En traitant l'évidence de support comme une information privilégiée, le cadre guide l'agent pour identifier quelle information est nécessaire pour une requête sans dicter la requête elle-même.

Les auteurs soulignent que leur approche se distingue des méthodes d'auto-distillation antérieures car elle :

Utilise une évidence spécifique à l'instance plutôt que le recul dérivé de la trajectoire ou des compétences réutilisables.
Module le crédit de résultat plutôt que d'optimiser un objectif de distillation séparé.
Préserve la direction de la mise à jour déterminée par la récompense de résultat tout en affinant l'amplitude du crédit pour des actions spécifiques.

En fin de compte, EviSD démontète que l'affinement de l'attribution de crédit par l'auto-distillation conditionnée par l'évidence peut considérablement améliorer les capacités de raisonnement augmentées par la recherche à travers différentes échelles de modèles et générations, tout en maintenant une architecture d'inférence prête pour le déploiement.