🤖 AI

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP adressiert die Diskrepanz zwischen Belohnung und Kredit durch die Einführung eines provenz-gesteuerten Credit-Assignment-Mechanismus, der unterstützende Dokumente auf ihre offenlegenden Aktionen zurückverfolgt und den Vorteil mittels zeichenerhaltender Modulation umverteilt, wodurch die Leistung gegenüber GRPO-Baselines über mehrere Benchmarks hinweg signifikant verbessert wird.

Ursprüngliche Autoren: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen superschlauen digitalen Detektiv, um knifflige Rätsel im Internet zu lösen. Dieser Detektiv, ein „Deep-Search-Agent“, rät nicht einfach nur; er jagt nach Hinweisen, liest Webseiten und setzt Beweise zusammen, um eine Frage zu beantworten. Lange Zeit war die Art und Weise, wie wir diese Detektive trainierten, so, als würde man einen ganzen Film nur anhand der Schlussszene bewerten. Wenn der Detektiv am Ende die richtige Antwort fand, bekam der ganze Film ein Goldsternchen. Wenn er die falsche Antwort lieferte, bekam er ein rotes „F“.

Aber hier liegt das Problem: Manchmal findet der Detektiv mitten im Film einen brillanten Hinweis, kommt aber am Ende trotzdem auf die falsche Antwort, weil er später verwirrt wurde. Ein anderes Mal stolpert er durch Glück auf die richtige Antwort, ohne jemals die echten Beweise gefunden zu haben. Die alte Methode konnte diesen Unterschied nicht erkennen. Sie gab jedem einzelnen Schritt des Detektivs das gleiche Lob (oder die gleiche Schuld), auch den langweiligen Schritten, die gar nichts bewirkten. Die Autoren dieser Arbeit nennen dies den „Reward-Credit-Mismatch“ (Belohnungs-Kredit-Fehlpassung). Es ist, als würde ein Lehrer einem Schüler eine schlechte Note für einen ganzen Aufsatz geben, nur weil der Schluss falsch war, selbst wenn der Schüler in der Mitte drei perfekte Absätze voller Recherche geschrieben hat.

Die große Idee: STAMP
Die Forscher schlagen eine neue Trainingsmethik namens STAMP (Step-level Trace-guided Advantage Modulation with Provenance) vor. Denken Sie an STAMP als einen superaufmerksamen Filmkritiker, der den Film des Detektivs Bild für Bild verfolgt.

Anstatt nur auf die endgültige Antwort zu schauen, stellt STAMP zwei spezifische Fragen:

Hat der Detektiv tatsächlich die richtigen Beweise gefunden? (Hat er die spezifische Person oder den spezifischen Fakt gefunden, nach dem er gesucht hat?)
Welcher spezifische Schritt hat diese Beweise zum ersten Mal enthüllt? (Hat er sie gefunden, als er eine Suchanfrage tippte, oder als er auf einen Link klickte?)

STAMP verwendet einen „referenzbasierten Verifizierer“ – im Grunde einen smarten Prüfer, der die vom Detektiv gefundenen Dokumente untersucht und fragt: „Beweist dieses Dokument tatsächlich den gesuchten Fakt?“ Wenn ja, verfolgt STAMP dieses Dokument bis zu dem exakten Moment zurück, in dem der Detektiv es zum ersten Mal gesehen hat. Dieser spezifische Moment erhält einen „Credit-Boost“.

Wie es funktioniert, ohne den Film zu zerstören
Das ist der clevere Teil: STAMP ändert nicht die Endnote des Films. Wenn der Detektiv die Aufgabe immer noch nicht gelöst hat, bleibt der Film ein Fehlschlag. Aber STAMP nutzt eine spezielle „sign-preserving advantage modulation“ (vorzeichenerhaltende Vorteilsmodulation), um das Training anzupusen.

Stellen Sie sich den Detektiv auf einer Achterbahnfahrt vor. Wenn die Fahrt ein Erfolg war (positiver Vorteil), gibt STAMP den spezifischen Momenten, in denen gute Hinweise gefunden wurden, einen kleinen zusätzlichen Schub, damit diese Schritte noch belohnender wirken. Wenn die Fahrt ein Absturz war (negativer Vorteil), bestraft STAMP die guten Schritte nicht so hart. Es sagt: „Okay, du hast die Mission verfehlt, aber diese eine Suchanfrage, die du gestellt hast, war eigentlich brillant – lass uns diese Lektion nicht auslöschen.“ Dies stellt sicher, dass der Detektiv lernt, genau welche Suchschritte funktionieren, ohne die Lektion mit dem Endergebnis zu verwechseln.

Was das Paper sagt, es NICHT ist
Die Autoren sind sich sehr klar darüber, was diese Methode nicht ist. Sie argumentieren gegen die Idee, dass wir für jeden einzelnen Schritt der Suche komplexe neue Belohnungssysteme erfinden müssen. Sie lehnen auch die Idee ab, dass wir raten müssen, welche Schritte gut waren, ohne einen Beweis zu haben. STAMP stützt sich auf bewiesene Erkenntnisse: Wenn das Dokument nicht da ist oder wenn der Verifizierer sagt, dass es den Fakt nicht unterstützt, wird kein Credit gegeben. Sie stellen explizit fest, dass das bloße Hinzufügen von zufälligen Boni zu den Schritten nicht funktioniert, da die alten Systeme diese einfach herausmitteln würden.

Die Ergebnisse: Funktioniert es?
Das Team testete STAMP auf drei verschiedenen Herausforderungssätzen: BrowseComp, BrowseComp-ZH (eine chinesische Version) und xbench-DS. Sie verglichen es mit einer Standard-Trainingsmethode namens GRPO, wobei sie exakt dasselbe Ausgangsmodell, dieselben Trainingsdaten und dieselben Suchwerkzeuge verwendeten.

Die Ergebnisse zeigten, dass STAMP die Leistung des Detektivs konsistent verbesserte:

Auf BrowseComp stieg die Genauigkeit um +2,0 Punkte.
Auf BrowseComp-ZH sprang sie um +5,5 Punkte.
Auf xbench-DS verbesserte sie sich um +3,0 Punkte.

Das Paper legt nahe, dass diese Gewinne dadurch entstehen, dass STAMP „versteckte Juwelen“ findet – Schritte, die selbst in gescheiterten Versuchen nützliche Beweise lieferten, die die alte Methode ignoriert hätte. Tatsächlich fanden sie, dass in korrekten Versuchen 83,5 % der Schritte überhaupt keine nützlichen Beweise produzierten, während in falschen Versuchen 7,0 % der Schritte durchaus nützliche Hinweise fanden. STAMP behebt dies, indem es die nützlichen Schritte belohnt, unabhängig vom Endergebnis.

Wie sicher sind sie sich?
Die Autoren sind zuversichtlich in diese Zahlen, da sie kontrollierte Experimente durchgeführt haben, bei denen alles identisch war, außer der Trainingsmethode. Sie führten auch „Ablationsstudien“ durch (die wie das Zerlegen einer Maschine sind, um zu sehen, welches Teil was bewirkt) und fanden heraus, dass jeder Teil von STAMP – der Verifizierer, das Verfolgen der ersten Exposition und die spezielle Modulation – zum Erfolg beigetragen hat.

Sie merken jedoch eine Einschränkung an: Sie haben dies nur an einer spezifischen Modellgröße (Qwen3-30B) getestet. Sie deuten an, dass, obwohl es dort gut funktioniert, noch nicht bewiesen ist, ob diese Methode auch bei viel größeren Modellen (wie 70B+) genauso gut funktioniert. Daher ist, obwohl die Ergebnisse für die durchgeführten Tests solide sind, die volle Kapazität für „größere Gehirne“ noch eine offene Frage.

Kurz gesagt: STAMP lehrt KI-Detektive, die Reise zu schätzen, nicht nur das Ziel, indem es Kredit für die spezifischen Züge gibt, die tatsächlich die Wahrheit ans Licht gebracht haben.

Technisches Resümee: STAMP – Provenance-Guided Credit Assignment für Deep Search Agents

1. Problemstellung: Der Reward-Credit-Mismatch

Deep-Search-Agenten, die mehrstufige Web-Navigation durchführen, um Relationen zu verifizieren und Evidenz zusammenzustellen, werden zunehmend mittels Reinforcement Learning (RL) trainiert. Aktuelle Trainingsparadigmen leiden jedoch unter einer fundamentalen Diskrepanz, die als Reward-Credit-Mismatch bekannt ist.

Trajektorien-basierte Bewertung: Standardmäßige RL-Ansätze (z. B. GRPO) weisen einem gesamten Rollout basierend auf der Korrektheit des Ergebnisses, der Qualität der Zitate oder der Evidenzabdeckung einen einzelnen Skalar-Reward zu. Dieser Reward wird dann gleichmäßig an jedes Aktions-Token innerhalb dieser Trajektorie übertragen.
Der Mismatch: Diese gleichmäßige Übertragung versäumt es, zwischen Aktionen zu unterscheiden, die erfolgreich kritische Evidenz freigelegt haben, und solchen, die dies nicht getan haben. Empirische Analysen zeigen, dass in korrekten Rollouts 83,5 % der Schritte keine Ziel-Evidenz produzieren, während in inkorrekten Rollouts 7,0 % der Schritte dennoch nützliche Entitäten- oder Relations-Evidenz freilegen.
Konsequenz: Der „Evidenz-Kanal“ – die Identifizierung, welche spezifische Such- oder Leseaktion zuerst unterstützende Dokumente hervorgebracht hat – bleibt ein ungenutztes Supervisionssignal. Das bloße Hinzufügen von Schritt-basierten Boni zu einem Skalar-Reward schlägt oft fehl, da die Boni summiert und dann gleichmäßig neu übertragen werden, wodurch die beabsichtigte zeitliche Lokalisierung ausgelöscht wird.

2. Methodik: STAMP

Die Autoren schlagen STAMP vor (Step-level Trace-guided Advantage Modulation with Provenance), ein Framework, das entkoppelt, welche Evidenz eine Trajektorie verifiziert, von der Frage, welche Aktion diese Evidenz zuerst verfügbar gemacht hat. STAMP arbeitet, ohne den Trajektorien-basierten Reward oder das relative Ranking von Trajektorien innerhalb einer Gruppe zu verändern.

Kernkomponenten

Referenzbasierte Verifizierung:
- Für jede Abfrage wird zur Trainingszeit ein Evidenz-Graph $G=(V, E)$ konstruiert, der die Ziel-Entitäten und Single-Hop-Faktrelationen definiert.
- Ein Verifizierer (implementiert als LLM-basierter Extrahierer-Matcher) beurteilt, ob die zitierten Dokumente in einer Trajektorie spezifische Entitäten oder Constraints aus dem Graphen unterstützen. Dies ist eine referenzbasierte Beurteilung, die die Notwendigkeit vermeidet, beliebige Zwischenaktionen direkt zu bewerten.
First-Exposure Attribution (Provenienz):
- Anstatt die Aktion zu belohnen, die ein Dokument konsumiert, belohnt STAMP die Aktion, die es zuerst exponiert hat (z. B. die Suchanfrage, die die URL zurückgegeben hat).
- Für jedes unterstützende Dokument $d$ identifiziert das System den frühesten Schritt $t$ , in dem $d$ verfügbar wurde. Die gesamte Credit wird diesem Schritt zugewiesen.
- Die Credit wird gleichmäßig über die unterstützenden Dokumente für eine verifizierte Entität oder Relation verteilt, begrenzt durch eine Kapazität $C$ , um zu verhindern, dass ein einzelner Schritt den Gradienten dominiert.
Vorzeichen-erhaltende Advantage-Modulation:
- STAMP injiziert diese Schritt-basierte Credit mittels eines multiplikativen Modulationsoperators in den GRPO-Update-Prozess: $M_c(A) = A(1 + \text{sign}(A)c)$ .
- Mechanismus:
  - Für Trajektorien mit positivem Vorteil ( $A > 0$ ) erhalten Schritte, die Evidenz exponiert haben, eine verstärkte Verstärkung ( $1+c$ ).
  - Für Trajektorien mit negativem Vorteil ( $A < 0$ ) werden Schritte, die Evidenz exponiert haben, abgeschwächt ( $1-c$ ), anstatt sie einheitlich zu bestrafen. Dies verhindert, dass nützliche Suchaktionen in gescheiterten Rollouts als nicht informativ behandelt werden.
  - Die Modulation bewahrt das Vorzeichen des ursprünglichen Vorteils, wodurch der Trajektorien-basierte Reward und das Gruppen-Ranking unberührt bleiben.
- Dieser Ansatz vermeidet die Fallstricke von additiver Shaping (die Konsensschwellen erfordert) oder kraftbasierter Skalierung (die Semantik invertieren kann).

3. Experimentelles Setup

Basismodell: Qwen3-30B-A3B-Thinking-2507.
Datensätze: Bilinguale Trainingsdaten, synthetisiert aus Wikipedia (3.000 Abfragen für SFT, 2.600 für RL).
Benchmarks: BrowseComp, BrowseComp-ZH und xbench-DS.
Baselines: Kontrollierte Vergleiche mit identischer SFT-Initialisierung, Trainingsdaten und Suchwerkzeugen, die sich nur im Reward-Design unterscheiden:
- GRPO: Binärer Outcome-Reward.
- E-GRPO: Entity Hit Rate Reward.
- C-GRPO: Citation-Rubric + Outcome-Reward.

4. Kernergebnisse

STAMP verbessert die Leistung konsistent über alle Benchmarks und Reward-Baselines hinweg und zeigt, dass Provenienz-basierte Credit-Assignment komplementäre Optimierungssignale erfasst.

Leistungssteigerungen:
- Über der Standard-GRPO-Baseline: +2,0 (BrowseComp), +5,5 (BrowseComp-ZH) und +3,0 (xbench-DS).
- Über E-GRPO: +1,1 bis +1,7 Punkte.
- Über C-GRPO: +2,2 bis +3,5 Punkte.
Ablationsstudien:
- Verifizierung: Die LLM-basierte Verifizierung übertrifft einfaches String-Matching signifikant.
- Attribution: Die „Earliest-Exposure“-Attribution übertrifft die „All-Step“-Attribution, was den Wert der Identifizierung der Entdeckungsaktion bestätigt.
- Modulation: Sowohl die begrenzte Modulation als auch die Abschwächung negativer Vorteile sind entscheidend; das Entfernen der Kapazität oder das Ignorieren negativer Trajektorien verschlechtert die Leistung.
Trainingsdynamik: STAMP konvergiert schneller und erreicht höhere Raten bei der Verifizierung von Relationen als die Baseline. Die Credit-Attribution bleibt spärlich (~10–12 % der Schritte), was darauf hindeutet, dass die Methode den Optimierungsdruck erfolgreich auf die entscheidenden Aktionen konzentriert.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass STAMP eine kritische Lücke im Deep-Search-RL schließt, indem es die Zitations-Provenienz als verifizierbares, schrittweises Signal nutzt, ohne zusätzliche menschliche Annotationen zu benötigen oder die grundlegende Trajektorien-basierte Reward-Struktur zu ändern.

Orthogonalität: Die Methode ist orthogonal zur Wahl des Trajektorien-basierten Rewards (Outcome-only, Entity-aware oder Rubric-based) und liefert in allen Fällen additive Gewinne.
Effizienz: Sie vermeidet die Rechenkosten beim Erlernen von Process Reward Models oder komplexen Token-Level-Reward-Modellierungen während der Rollout-Generierung. Verifizierung und Attribution erfolgen post-hoc.
Interpretierbarkeit: Durch das Zurückverfolgen der Evidenz auf die spezifische Suchanfrage oder die Leseaktion, die sie exponiert hat, bietet die Methode einen klaren Mechanismus für die Credit-Assignment, der mit dem tatsächlichen Informationssuche-Verhalten des Agenten übereinstimmt.

Die Autoren kommen zu dem Schluss, dass die Zitations-Provenienz Optimierungssignale trägt, die durch Trajektorien-basierte Rewards allein nicht erfasst werden können, und bietet somit einen robusten Weg zur Verbesserung von Deep-Search-Agenten durch feinere Credit-Assignment.