🤖 AI

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP remédie au décalage entre récompense et crédit chez les agents de recherche profonde en introduisant un mécanisme d'attribution de crédit guidé par la provenance qui retrace les documents de support jusqu'à leurs actions d'exposition et redistribue l'avantage via une modulation préservant le signe, améliorant ainsi de manière significative les performances par rapport aux bases de référence GRPO sur de multiples benchmarks.

Auteurs originaux : Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous formez un détective numérique super intelligent pour résoudre des mystères complexes sur Internet. Ce détective, appelé « agent de recherche profonde » (deep-search agent), ne se contente pas de deviner ; il traque les indices, lit des pages web et assemble les preuves pour répondre à une question. Pendant longtemps, la façon dont nous enseignions aux détectives était un peu comme noter un film entier en se basant uniquement sur sa scène finale. Si le détective trouvait la bonne réponse à la fin, tout le film recevait une étoile d'or. S'il se trompait, tout le film recevait un « F » rouge.

Mais voici le problème : parfois, le détective trouve un indice brillant au milieu du film mais se trompe dans la réponse finale parce qu'il s'est laissé embrouiller plus tard. D'autres fois, il tombe sur la bonne réponse par chance sans jamais avoir trouvé la véritable preuve. L'ancienne méthode ne pouvait pas faire la différence. Elle attribuait le même crédit (ou le même blâme) à chaque mouvement du détective, même aux mouvements insignifiants. Les auteurs de ce papier appellent cela le « décalage de crédit de récompense » (reward-credit mismatch). C'est comme un professeur qui donnerait une mauvaise note à un étudiant pour l'ensemble d'une dissertation simplement parce que la conclusion est fausse, même si l'étudiant a rédigé trois paragraphes de recherche parfaits au milieu.

La Grande Idée : STAMP
Les chercheurs proposent une nouvelle méthode d'entraînement appelée STAMP (Step-level Trace-guided Advantage Modulation with Provenance). Voyez STAMP comme un critique de cinéma super observateur qui regarde le film du détective image par image.

Au lieu de regarder seulement la réponse finale, STAMP pose deux questions spécifiques :

Le détective a-t-il réellement trouvé la bonne preuve ? (A-t-il trouvé la personne ou le fait spécifique qu'il recherchait ?)
Quel mouvement spécifique a révélé cette preuve pour la première fois ? (L'a-t-il trouvé en tapant une requête de recherche, ou en cliquant sur un lien ?)

STAMP utilise un « vérificateur basé sur une référence » — essentiellement un contrôleur intelligent qui examine les documents trouvés par le détective et demande : « Ce document prouve-t-il réellement le fait recherché ? » Si c'est le cas, STAMP remonte ce document jusqu'au moment précis où le détective l'a vu pour la première fois. Ce moment précis reçoit un « boost de crédit ».

Comment ça fonctionne sans casser le film
C'est là que réside l'astuce : STAMP ne change pas la note finale du film. Si le détective se trompe toujours dans sa réponse finale, le film reste un échec. Mais STAMP utilise une « modulation d'avantage préservant le signe » (sign-preserving advantage modulation) pour ajuster l'entraînement.

Imaginez le détective sur des montagnes russes. Si la course est un succès (avantage positif), STAMP donne un petit boost supplémentaire aux moments spécifiques où il a trouvé de bons indices, rendant ces mouvements encore plus gratifiants. Si la course est un crash (avantage négatif), STAMP ne punit pas les bons mouvements aussi durement. Il dit : « D'accord, la mission a échoué, mais cette requête de recherche que tu as faite était en fait brillante — ne supprimons pas cette leçon. » Cela garantit que le détective apprend exactement quels mouvements de recherche fonctionnent, sans confondre la leçon avec le résultat final.

Ce que le papier dit que ce n'est PAS
Les auteurs sont très clairs sur ce que cette méthode n'est pas. Ils s'opposent à l'idée selon laquelle nous devrions inventer des systèmes de récompense complexes pour chaque étape de la recherche. Ils rejettent également l'idée que nous devions deviner quels mouvements étaient bons sans preuve. STAMP repose sur des preuves avérées : si le document n'est pas là, ou si le vérificateur dit qu'il ne soutient pas le fait, aucun crédit n'est accordé. Ils affirment explicitement que le simple fait d'ajouter des bonus aléatoires aux étapes ne fonctionne pas, car les anciens systèmes les compensent de toute façon.

Les Résultats : Est-ce que ça marche ?
L'équipe a testé STAMP sur trois ensembles de défis : BrowseComp, BrowseComp-ZH (une version chinoise) et xbench-DS. Ils ont comparé STAMP à une méthode d'entraînement standard appelée GRPO en utilisant exactement le même modèle de départ, les mêmes données d'entraînement et les mêmes outils de recherche.

Les résultats ont montré que STAMP améliore systématiquement les performances du détective :

Sur BrowseComp, la précision a augmenté de +2,0 points.
Sur BrowseComp-ZH, elle a bondi de +5,5 points.
Sur xbench-DS, elle s'est améliorée de +3,0 points.

Le papier suggère que ces gains se produisent parce que STAMP capture des « joyaux cachés » — des étapes qui ont trouvé des preuves utiles même dans des tentatives ratées — que l'ancienne méthode ignorait. En fait, ils ont découvert que dans les tentatives correctes, 83,5 % des étapes ne produisaient aucune preuve utile, tandis que dans les tentatives erronées, 7,0 % des étapes trouvaient des indices utiles. STAMP corrige cela en récompensant les étapes utiles, quel que soit le résultat final.

À quel point en sont-ils sûrs ?
Les auteurs sont confiants dans ces chiffres car ils ont mené des expériences contrôlées où tout était identique, à l'exception de la méthode d'entraînement. Ils ont également réalisé des « études d'ablation » (qui consistent à démonter la machine pour voir quelle pièce fait quoi) et ont constaté que chaque partie de STAMP — le vérificateur, le traçage de la première exposition et la modulation spéciale — a contribué au succès.

Cependant, ils notent une limite : ils n'ont testé cela que sur une taille de modèle spécifique (Qwen3-30B). Ils suggèrent que, bien que cela fonctionne bien pour ce cas, il n'est pas encore prouvé que cette méthode fonctionne aussi bien sur des modèles beaucoup plus grands (comme 70B+). Ainsi, bien que les résultats soient solides pour les tests effectués, le plein potentiel pour des cerveaux plus gros reste une question ouverte.

En résumé, STAMP apprend aux détectives IA à apprécier le voyage, et pas seulement la destination, en accordant du crédit aux mouvements spécifiques qui ont réellement mis au jour la vérité.

Résumé Technique : STAMP – Attribution de Crédit Guidée par la Provenance pour les Agents de Recherche Profonde

1. Énoncé du Problème : Le Décalage entre Récompense et Crédit

Les agents de recherche profonde, qui effectuent une navigation web multi-étapes pour vérifier des relations et assembler des preuves, sont de plus en plus entraînés via l'apprentissage par renforcement (RL). Cependant, les paradigmes d'entraînement actuels souffrent d'un décalage fondamental connu sous le nom de décalage entre récompense et crédit (reward-credit mismatch).

Évaluation au niveau de la trajectoire : Les approches standards de RL (par exemple, GRPO) attribuent un score scalaire unique à l'ensemble d'un déroulement (rollout) basé sur la justesse du résultat, la qualité des citations ou la couverture des preuves. Cette récompense est ensuite diffusée uniformément à chaque jeton d'action au sein de cette trajectoire.
Le décalage : Cette diffusion uniforme ne parvient pas à distinguer les actions qui ont exposé avec succès des preuves critiques de celles qui ne l'ont pas fait. L'analyse empirique révèle que dans les déroulements corrects, 83,5 % des étapes ne produisent aucune preuve cible, tandis que dans les déroulements incorrects, 7,0 % des étapes exposent tout de même des preuves utiles d'entités ou de relations.
Conséquence : Le « canal de preuve » — identifier quelle recherche ou lecture spécifique a été la première à faire surface des documents de soutien — reste un signal de supervision sous-utilisé. Le simple ajout de bonus par étape à une récompense scalaire échoue souvent car les bonus sont sommés et re-diffusés uniformément, effaçant la localisation temporelle voulue.

2. Méthodologie : STAMP

Les auteurs proposent STAMP (Step-level Trace-guided Advantage Modulation with Provenance), un cadre qui découple ce que la trajectoire vérifie comme preuve de quelle action a rendu cette preuve disponible pour la première fois. STAMP opère sans modifier la récompense au niveau de la trajectoire ni le classement relatif des trajectoires au sein d'un groupe.

Composants Clés

Vérification basée sur une référence :
- Un graphe de preuves $G=(V, E)$ est construit pour chaque requête lors de l'entraînement, définissant les entités cachées cibles et les relations factuelles à un saut.
- Un vérificateur (instancié sous forme d'un extracteur-appariateur basé sur un LLM) juge si les documents cités dans une trajectoire soutiennent des entités ou des contraintes spécifiques définies par le graphe. Il s'agit d'un jugement basé sur une référence, évitant ainsi la nécessité de noter directement des actions intermédiaires arbitraires.
Attribution de la Première Exposition (Provenance) :
- Au lieu de créditer l'action qui consomme un document, STAMP crédite l'action qui l'a exposé pour la première fois (par exemple, la requête de recherche qui a renvoyé l'URL).
- Pour chaque document de soutien $d$ , le système identifie l'étape $t$ la plus précoce où $d$ est devenu disponible. Tout le crédit pour $d$ est attribué à cette étape.
- Le crédit est distribué uniformément entre les documents de soutien pour une entité ou une relation vérifiée, avec un plafond $C$ pour éviter qu'une seule étape ne domine le gradient.
Modulation d'Avantage Préservant le Signe :
- STAMP injecte ce crédit par étape dans le processus de mise à jour GRPO via un opérateur de modulation multiplicative : $M_c(A) = A(1 + \text{sign}(A)c)$ .
- Mécanisme :
  - Pour les trajectoires à avantage positif ( $A > 0$ ), les étapes ayant exposé des preuves reçoivent un renforcement amplifié ( $1+c$ ).
  - Pour les trajectoires à avantage négatif ( $A < 0$ ), les étapes ayant exposé des preuves subissent une atténuation ( $1-c$ ) plutôt qu'une pénalité uniforme. Cela empêche que des actions de recherche utiles dans des échecs de parcours ne soient traitées comme non informatives.
  - La modulation préserve le signe de l'avantage original, garantissant que la récompense au niveau de la trajectoire et le classement par groupe restent intacts.
- Cette approche évite les pièges du façonnage additif (qui nécessite des seuils de consensus) ou de la mise à l'échelle par puissance (qui peut inverser la sémantique).

3. Configuration Expérimentale

Modèle de base : Qwen3-30B-A3B-Thinking-2507.
Jeux de données : Données d'entraînement bilingues synthétisées à partir de Wikipédia (3 000 requêtes pour SFT, 2 600 pour RL).
Benchmarks : BrowseComp, BrowseComp-ZH, et xbench-DS.
Lignes de base (Baselines) : Comparaisons contrôlées utilisant une initialisation SFT, des données d'entraînement et des outils de recherche identiques, ne différant que par la conception de la récompense :
- GRPO : Récompense de résultat binaire.
- E-GRPO : Récompense de taux de succès des entités.
- C-GRPO : Récompense de type rubrique de citation + résultat.

4. Résultats Clés

STAMP améliore systématiquement les performances sur tous les benchmarks et toutes les bases de récompense, démontant que l'attribution de crédit basée sur la provenance capture des signaux d'optimisation complémentaires.

Gains de Performance :
- Par rapport à la ligne de base GRPO standard : +2,0 (BrowseComp), +5,5 (BrowseComp-ZH), et +3,0 (xbench-DS).
- Par rapport à E-GRPO : +1,1 à +1,7 points.
- Par rapport à C-GRPO : +2,2 à +3,5 points.
Études d'Ablation :
- Vérification : La vérification basée sur un LLM surpasse significativement l'appariement de chaînes de caractères simple.
- Attribution : L'attribution par « première exposition » surpasse l'attribution à « toutes les étapes », confirmant la valeur de l'identification de l'action de découverte.
- Modulation : La modulation bornée et l'atténuation des avantages négatifs sont toutes deux critiques ; supprimer le plafond ou ignorer les trajectoires négatives dégrade les performances.
Dynamique d'Entraînement : STAMP converge plus rapidement et atteint des taux de vérification de relations plus élevés que la ligne de base. L'attribution de crédit reste parcimonieuse (~10–12 % des étapes), indiquant que la méthode réussit à concentrer la pression d'optimisation sur les actions spécifiques qui comptent.

5. Signification et Revendications

L'article affirme que STAMP comble une lacune critique dans le RL de recherche profonde en utilisant la provenance de la citation comme un signal par étape vérifiable, sans nécessiter d'annotations humaines supplémentaires ni changer la structure fondamentale de la récompense au niveau de la trajectoire.

Orthogonalité : La méthode est orthogonale au choix de la récompense au niveau de la trajectoire (résultat seul, sensible aux entités ou basée sur une rubrique), offrant des gains additifs dans tous les cas.
Efficacité : Elle évite le coût computationnel de l'apprentissage de modèles de récompense de processus (PRM) ou de la modélisation complexe de récompense par jeton pendant la génération du déroulement. La vérification et l'attribution se font a posteriori.
Interprétabilité : En traçant les preuves jusqu'à la requête de recherche ou l'action de lecture spécifique qui les a exposées, la méthode fournit un mécanisme clair d'attribution de crédit qui s'aligne sur le comportement réel de recherche d'information de l'agent.

Les auteurs concluent que la provenance de la citation porte des signaux d'optimisation non capturés par les récompenses de trajectoire seules, offrant une voie robuste pour améliorer les agents de recherche profonde grâce à une attribution de crédit plus fine.