🤖 AI

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP pakt de mismatch tussen beloning en krediet in deep-search agents aan door een herkomstgestuurd credit-toewijzingsmechanisme te introduceren dat ondersteunende documenten terug naar hun blootstellende acties herleidt en voordeel herverdeelt via tekenbehoudende modulatie, waardoor de prestaties ten opzichte van GRPO-baselines over meerdere benchmarks aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente digitale detective traint om ingewikkelde mysteries op het internet op te lossen. Deze detective, een "deep-search agent" genoemd, raadt niet alleen maar; het zoekt naar aanwijzingen, leest webpagina's en puzzelt bewijsmateriaal samen om een vraag te beantwoorden. Een lange tijd was de manier waarop we deze detectives leerden een beetje alsover het beoordelen van een hele film op basis van alleen de slotscène. Als de detective aan het einde het juiste antwoord had, kreeg de hele film een gouden ster. Als het antwoord fout was, kreeg de hele film een rode "F".

Maar dit is het probleem: soms vindt de detective in het midden van de film een briljante aanwijzing, maar geeft hij aan het einde het verkeerde antwoord omdat hij later in de war is geraakt. Andere keren komt de detective door puur geluk bij het juiste antwoord zonder ooit het echte bewijs te hebben gevonden. De oude methode kon het verschil niet zien. Het gaf dezelfde krediet (of schuld) aan elke enkele zet die de detective maakte, zelfs aan de saaie zetten die niets toevoegden. De auteurs van dit artikel noemen dit de "reward-credit mismatch" (mismatch tussen beloning en krediet). Het is alsof een leraar een student een onvoldoende geeft voor een heel essay, alleen maar omdat de conclusie niet klopt, zelfs als de student in het midden drie perfecte paragrafen vol met onderzoek heeft geschreven.

Het Grote Idee: STAMP
De onderzoekers stellen een nieuwe trainingsmethode voor genaamd STAMP (Step-level Trace-guided Advantage Modulation with Provenance). Denk aan STAMP als een superobservante filmcriticus die de film van de detective frame voor frame bekijkt.

In plaats van alleen naar het eindantwoord te kijken, stelt STAMP twee specifieke vragen:

Heeft de detective daadwerkelijk het juiste bewijs gevonden? (Heeft hij de specifieke persoon of feit gevonden waar hij naar op zoek was?)
Welke specifieke zet heeft dat bewijs voor het eerst onthuld? (Vond hij het toen hij een zoekopdracht typde, of toen hij op een link klikte?)

STAMP gebruikt een "reference-based verifier" — in feite een slimme controleur die naar de documenten kijkt die de detective heeft gevonden en vraat: "Bewijst dit document daadwerkelijk het feit dat we nodig hebben?" Als dat zo is, traceert STAMP dat document terug naar het exacte moment waarop de detective het voor het eerst zag. Dat specifieke moment krijgt een "credit boost".

Hoe het werkt zonder de film te breken
Dit is het slimme deel: STAMP verandert de eindcijfer van de film niet. Als de detective de missie nog steeds niet heeft voltooid, blijft de film een mislukking. Maar STAMP gebruikt een speciale "sign-preserving advantage modulation" om de training bij te sturen.

Stel je voor dat de detective op een achtbaan zit. Als de rit een succes was (positieve advantage), geeft STAMP een kleine extra boost aan de specifieken momenten waarop ze goede aanwijzingen vonden, waardoor die zetten nog belonender aanvoelen. Als de rit een crash was (negatieve advantage), straft STAMP de goede zetten niet zo hard. Het zegt: "Oké, je hebt de missie niet gehaald, maar die ene zoekopdracht die je deed was eigenlijk briljant — laten we die les niet uitwissen." Dit zorgt ervoor dat de detective precies leert welke zoekzetten werken, zonder de les te verwarren met de uiteindelijke uitkomst.

Wat het artikel zegt dat het NIET is
De auteurs zijn zeer duidelijk over wat deze methode niet is. Ze argumenteren tegen het idee dat we voor elke stap van de zoektocht complexe nieuwe beloningssystemen moeten uitvinden. Ze verwerpen ook het idee dat we moeten gokken welke zetten goed waren zonder bewijs. STAMP vertrouwt op bewezen bewijslast: als het document er niet is, of als de verifier zegt dat het het feit niet ondersteunt, wordt er geen krediet gegeven. Ze stellen expliciet dat het simpelweg toevoegen van willekeurige bonussen aan stappen niet werkt, omdat de oude systemen ze toch gewoon middelen.

De Resultaten: Werkt het?
Het team heeft STAMP getest op drie verschillende uitdagingen: BrowseComp, BrowseComp-ZH (een Chinese versie) en xbench-DS. Ze vergeleken het met een standaard trainingsmethode genaamd GRPO, waarbij ze exact hetzelfde startmodel, dezelfde trainingsdata en dezelfde zoektools gebruikten.

De resultaten toonden aan dat STAMP de prestaties van de detective consistent verbeterde:

Op BrowseComp steeg de nauwkeurigheid met +2,0 punten.
Op BrowseComp-ZH sprong het met +5,5 punten.
Op xbench-DS verbeterde het met +3,0 punten.

Het papier suggereert dat deze winst voortkomt uit het feit dat STAMP "verborgen parels" vindt — stappen die nuttig bewijs vonden, zelfs in mislukte pogingen, die de oude methode negeerde. Sterker nog, ze ontdekten dat in correcte pogingen 83,5% van de stappen daadwerkelijk geen nuttig bewijs produceerde, terwijl in foutieve pogingen 7,0% van de stappen wél nuttige aanwijzingen vonden. STAMP lost dit op door de nuttige stappen te belonen, ongeacht de uiteindelijke uitkomst.

Hoe zeker zijn ze?
De auteurs zijn zelfverzekerd over deze cijfers omdat ze gecontroleerde experimenten hebben uitgevoerd waarbij alles identiek was, behalve de trainingsmethode. Ze hebben ook "ablatie-studies" uitgevoerd (wat lijkt op het uit elkaar halen van de machine om te zien welk onderdeel wat doet) en ontdekten dat elk onderdeel van STAMP — de verifier, het traceren van de eerste blootstelling en de speciale modulatie — bijdroeg aan het succes.

Ze merken echter ook een beperking op: ze hebben dit alleen getest op één specifiek modelformaat (Qwen3-30B). Ze suggereren dat hoewel het goed werkt bij dit model, het nog niet bewezen is of deze methode even goed werkt op veel grotere modellen (zoals 70B+). Dus hoewel de resultaten solide zijn voor de tests die ze hebben uitgevoerd, blijft het volledige potentieel voor grotere breinen een open vraag.

Kortom, STAMP leert AI-detectives om de reis te waarderen, niet alleen de bestemming, door krediet te geven aan de specifieke zetten die daadwerkelijk de waarheid aan het licht brachten.

Technische Samenvatting: STAMP – Provenance-Guided Credit Assignment voor Deep Search Agents

1. Probleemstelling: De Reward-Credit Mismatch

Deep search agents, die multi-step webnavigatie uitvoeren om relaties te verifiëren en bewijslast samen te stellen, worden steeds vaker getraind met Reinforcement Learning (RL). Huidige trainingsparadigma's lijden echter aan een fundamentele discrepantie die bekend staat als de reward-credit mismatch.

Trajectory-Level Scoring: Standaard RL-benaderingen (bijv. GRPO) wijzen een enkele scalaire beloning toe aan een volledige traject op basis van de juistheid van de uitkomst, de kwaliteit van de citaties of de dekking van het bewijs. Deze beloning wordt vervolgens uniform uitgezonden naar elke actie-token binnen dat traject.
De Mismatch: Deze uniforme uitzending slaagt er niet in om onderscheid te maken tussen acties die succesvol kritiek bewijs hebben blootgelegd en acties die dat niet hebben gedaan. Empirische analyse laat zien dat in correcte rollouts 83,5% van de stappen geen doelbewijs produceert, terwijl in incorrecte rollouts 7,0% van de stappen nog steeds nuttig entiteits- of relationeel bewijs blootlegt.
Gevolg: Het "bewijs-kanaal" — het identificeren van welke specifieke zoek- of leesactie voor het eerst ondersteunende documenten naar voren bracht — blijft een onderbenut supervisiesignaal. Het simpelweg toevoegen van stap-niveau bonussen aan een scalaire beloning faalt vaak omdat de bonussen worden opgeteld en uniform opnieuw worden uitgezonden, waardoor de beoogde temporele lokalisatie wordt uitgewist.

2. Methodologie: STAMP

De auteurs stellen STAMP voor (Step-level Trace-guided Advantage Modulation with Provenance), een framework dat ontkoppelt wat bewijs een traject verifieert van welke actie dat bewijs voor het eerst beschikbaar maakte. STAMP werkt zonder de traject-niveau beloning of de relatieve rangschikking van trajecten binnen een groep te wijzigen.

Kerncomponenten

Referentie-gebaseerde Verificatie:
- Voor elke query wordt een trainings-tijd bewijs-graaf $G=(V, E)$ geconstrueerd, die de doelgerichte verborgen entiteiten en single-hop feitelijke relaties definieert.
- Een verifieerder (geïnstantieerd als een LLM-gebaseerde extractor-matcher) beoordeelt of de geciteerde documenten in een traject specifieke entiteiten of restricties ondersteunen die in de graaf zijn gedefinieerd. Dit is een referentie-gebaseerde beoordeling, wat het overbodig maakt om willekeurige tussenliggende acties direct te scoren.
First-Exposure Attribution (Provenance):
- In plaats van krediet toe te kennen aan de actie die een document consumeert, kent STAMP krediet toe aan de actie die het document voor het eerst blootlegde (bijv. de zoekopdracht die de URL retourneerde).
- Voor elk ondersteunend document $d$ identificeert het systeem de vroegst mogelijke stap $t$ waar $d$ beschikbaar werd. Alle credit voor $d$ wordt toegewezen aan deze stap.
- Krediet wordt uniform verdeeld over ondersteunende documenten voor een geverifieerde entiteit of relatie, begrensd door een limiet $C$ om te voorkomen dat een enkele stap de gradiënt domineert.
Sign-Preserving Advantage Modulation:
- STAMP injecteert dit stap-niveau krediet in het GRPO-updateproces via een multiplicatieve modulatie-operator: $M_c(A) = A(1 + \text{sign}(A)c)$ .
- Mechanisme:
  - Voor positieve-advantage trajecten ( $A > 0$ ) ontvangen stappen die bewijs blootlegden een versterkte bekrachtiging ( $1+c$ ).
  - Voor negatieve-advantage trajecten ( $A < 0$ ) worden stappen die bewijs blootlegden afgezwakt ( $1-c$ ) in plaats van uniform bestraft. Dit voorkomt dat nuttige zoekacties in mislukte rollouts als niet-informatief worden behandeld.
  - De modulatie behoudt het teken van de oorspronkelijke advantage, waardoor de traject-niveau beloning en de groepsrangschikking ongemoeid blijven.
- Deze aanpak vermijdt de valkuilen van additieve shaping (die consensus-drempels vereist) of power-gebaseerde schaling (die de semantiek kan inverteren).

3. Experimentele Opzet

Base Model: Qwen3-30B-A3B-Thinking-2507.
Datasets: Tweetalige trainingsdata gesynthetiseerd uit Wikipedia (3.000 queries voor SFT, 2.600 voor RL).
Benchmarks: BrowseComp, BrowseComp-ZH, en xbench-DS.
Baselines: Gecontroleerde vergelijkingen met identieke SFT-initialisatie, trainingsdata en zoektools, waarbij alleen het reward-ontwerp verschilt:
- GRPO: Binaire outcome reward.
- E-GRPO: Entity hit rate reward.
- C-GRPO: Citation-rubric + outcome reward.

4. Belangrijkste Resultaten

STAMP verbetert consequent de prestaties over alle benchmarks en reward-baselines, wat aantoont dat provenance-gebaseerde credit assignment complementaire optimalisatiesignalen vastlegt.

Prestatiewinsten:
- Ten opzichte van de standaard GRPO baseline: +2,0 (BrowseComp), +5,5 (BrowseComp-ZH), en +3,0 (xbench-DS).
- Ten opzichte van E-GRPO: +1,1 tot +1,7 punten.
- Ten opzichte van C-GRPO: +2,2 tot +3,5 punten.
Ablatie-studies:
- Verificatie: LLM-gebaseerde verificatie presteert significant beter dan eenvoudige string matching.
- Attribution: "Earliest-exposure" attributie presteert beter dan "all-step" attributie, wat de waarde bevestigt van het identificeren van de ontdekkingsactie.
- Modulatie: Zowel gebonden modulatie als de attenuatie van negatieve advantages zijn cruciaal; het verwijderen van de limiet of het negeren van negatieve trajecten verslechtert de prestaties.
Trainingsdynamiek: STAMP convergeert sneller en bereikt hogere relation-verificatiesnelheden dan de baseline. Credit attribution blijft schaars (~10–12% van de stappen), wat aangeeft dat de methode erin slaagt de optimalisatiedruk te concentreren op de specifieke acties die er toe doen.

5. Betekenis en Claims

Het artikel beweert dat STAMP een kritieke kloof in deep search RL aanpakt door citatie-provenance te gebruiken als een verifieerbaar, stap-niveau signaal zonder extra menselijke annotaties nodig te hebben of de fundamentele traject-niveau reward-structuur te wijzigen.

Orthogonaliteit: De methode is orthogonaal aan de keuze van de traject-niveau reward (outcome-only, entity-aware, of rubric-based), en levert additieve winsten in alle gevallen.
Efficiëntie: Het vermijdt de computationele kosten van het leren van process reward models of het uitvoeren van complexe token-niveau reward modeling tijdens de generatie van de rollout. Verificatie en attributie vinden post-hoc plaats.
Interpreteerbaarheid: Door bewijs terug te traceren naar de specifieke zoekopdracht of leesactie die het blootlegde, biedt de methode een duidelijk mechanisme voor credit assignment dat aansluit bij het werkelijke informatiezoekgedrag van de agent.

De auteurs concluderen dat citatie-provenance optimalisatiesignalen bevat die niet door traject-niveau rewards alleen worden gevangen, en biedt een robuust pad om deep search agents te verbeteren door middel van fijnmaziger credit assignment.