🤖 AI

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP affronta il disallineamento tra ricompensa e credito negli agenti di deep-search introducendo un meccanismo di assegnazione del credito guidato dalla provenienza che traccia i documenti di supporto fino alle loro azioni espositive e ridistribuisce l'vantaggio tramite modulazione preservante il segno, migliorando così significativamente le prestazioni rispetto ai baseline GRPO attraverso molteplici benchmark.

Autori originali: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di addestrare un detective digitale super intelligente per risolvere misteri complicati su internet. Questo detective, chiamato un "agente di deep-search", non si limita a indovinare; caccia indizi, legge pagine web e mette insieme le prove per rispondere a una domanda. Per molto tempo, il modo in cui insegnavamo a questi detective era un po' come valutare un intero film basandosi solo sulla scena finale. Se il detective arrivava alla risposta corretta alla fine, l'intero film riceveva una stella d'oro. Se sbagliava la risposta, l'intero film riceveva un "F" rosso.

Ma ecco il problema: a volte il detective trova un indizio brillante a metà del film ma arriva alla risposta finale sbagliata perché si confonde più tardi. Altre volte, arriva alla risposta corretta per fortuna senza aver mai trovato la vera prova. Il vecchio metodo non riusciva a distinguere tra le due cose. Dava lo stesso credito (o colpa) a ogni singola mossa del detective, comprese quelle noiose che non facevano nulla. Gli autori di questo articolo chiamano questo fenomeno "mismatch tra ricompensa e credito" (reward-credit mismatch). È come un insegnante che dà a uno studente un voto insufficiente per un intero saggio solo perché la conclusione è sbagliata, anche se lo studente ha scritto tre paragrafi di ricerca perfetti nel mezzo.

La Grande Idea: STAMP
I ricercatori propongono un nuovo metodo di addestramento chiamato STAMP (Step-level Trace-guided Advantage Modulation with Provenance). Pensa a STAMP come a un critico cinematografico super osservatore che guarda il film del detective fotogramma per fotogramma.

Invece di guardare solo la risposta finale, STAMP pone due domande specifiche:

Il detective ha effettivamente trovato la prova giusta? (Ha trovato la persona o il fatto specifico che stava cercando?)
Quale mossa specifica ha rivelato per la prima volta quella prova? (L'ha trovata quando ha digitato una query di ricerca o quando ha cliccato su un link?)

STAMP utilizza un "verificatore basato su riferimenti" — fondamentalmente un controllore intelligente che esamina i documenti trovati dal detective e chiede: "Questo documento prova effettivamente il fatto che stiamo cercando?". Se lo fa, STAMP traccia quel documento fino al momento esatto in cui il detective lo ha visto per la prima volta. Quel momento specifico riceve un "incremento di credito".

Come Funziona Senza Rompere il Film
Ecco la parte intelligente: STAMP non cambia il voto finale del film. Se il detective arriva comunque alla risposta sbagliata, il film è comunque un fallimento. Ma STAMP utilizza una speciale "modulazione dell'advantage che preserva il segno" per perfezionare l'addestramento.

Immagina il detective su una montagna russa. Se il viaggio è stato un successo (advantage positivo), STAMP dà un piccolo ulteriore impulso ai momenti specifici in cui sono stati trovati buoni indizi, facendo sentire quelle mosse ancora più gratificanti. Se il viaggio è stato un disastro (advantage negativo), STAMP non punisce le buone mosse in modo così severo. Dice: "Ok, hai fallito la missione, ma quella singola query di ricerca che hai fatto è stata in realtà brillante — non cancelliamo quella lezione". Questo assicura che il detective impari esattamente quali mosse di ricerca funzionano, senza confondere la lezione con l'esito finale.

Cosa Dice il Paper di NON Essere
Gli autori sono molto chiari su ciò che questo metodo non è. Sostengono contro l'idea che sia necessario inventare sistemi di ricompensa complessi per ogni singolo passaggio della ricerca. Inoltre, escludono l'idea che sia necessario indovinare quali mosse siano state buone senza prove. STAMP si basa su prove dimostrate: se il documento non c'è, o se il verificatore dice che non supporta il fatto, nessun credito viene assegnato. Affermano esplicitamente che aggiungere semplicemente bonus casuali ai passaggi non funziona perché i vecchi sistemi li farebbero comunque mediare.

I Risultati: Funziona?
Il team ha testato STAMP su tre diversi set di sfide: BrowseComp, BrowseComp-ZH (una versione cinese) e xbench-DS. Hanno confrontato STAMP con un metodo di addestramento standard chiamato GRPO, utilizzando lo stesso modello di partenza, gli stessi dati di addestramento e gli stessi strumenti di ricerca.

I risultati hanno mostrato che STAMP migliora costantemente le prestazioni del detective:

Su BrowseComp, l'accuratezza è aumentata di +2.0 punti.
Su BrowseComp-ZH, è balzata di +5.5 punti.
Su xbench-DS, è migliorata di +3.0 punti.

Il paper suggerisce che questi guadagni avvengono perché STAMP cattura le "gemme nascoste" — passaggi che hanno trovato prove utili anche negli tentativi falliti, che il vecchio metodo ignorava. Infatti, hanno scoperto che negli tentativi corretti, l'83.5% dei passaggi non ha prodotto alcuna prova utile, mentre negli tentativi errati, il 7.0% dei passaggi ha effettivamente trovato indizi utili. STAMP corregge questo problema premiando i passaggi utili indipendentemente dall'esito finale.

Quanto Sono Sicuri?
Gli autori sono fiduciosi in questi numeri perché hanno eseguito esperimenti controllati dove tutto era identico tranne che per il metodo di addestramento. Hanno anche eseguito "studi di ablazione" (che sono come smontare una macchina per vedere quale pezzo fa cosa) e hanno scoperto che ogni parte di STAMP — il verificatore, il tracciamento della prima esposizione e la speciale modulazione — ha contribuito al successo.

Tuttavia, notano una limitazione: hanno testato questo metodo solo su una dimensione specifica di modello (Qwen3-30B). Suggeriscono che, sebbene funzioni bene lì, non è ancora provato se questo metodo funzioni altrettanto bene su modelli molto più grandi (come i 70B+). Quindi, sebbene i risultati siano solidi per i test che hanno eseguito, il pieno potenziale per "cervelli più grandi" rimane una domanda aperta.

In breve, STAMP insegna ai detective IA ad apprezzare il viaggio, non solo la destinazione, dando credito alle mosse specifiche che hanno effettivamente svelato la verità.

Sintesi Tecnica: STAMP – Assegnazione del Credito Guidata dalla Provenienza per Agenti di Ricerca Profonda

1. Definizione del Problema: Il Disallineamento tra Ricompensa e Credito

Gli agenti di ricerca profonda (deep search agents), che eseguono la navigazione web multi-step per verificare relazioni e assemblare prove, vengono sempre più addestrati utilizzando l'Apprendimento per Rinforzo (RL). Tuttavia, i paradigmi di addestramento attuali soffrono di un disconnessione fondamentale nota come disallineamento tra ricompensa e credito (reward-credit mismatch).

Scoring a livello di traiettoria: Gli approcci RL standard (ad es. GRPO) assegnano un singolo scalare di ricompensa a un intero rollout basato sulla correttezza del risultato, sulla qualità delle citazioni o sulla copertura delle prove. Questa ricompensa viene poi trasmessa uniformemente a ogni token di azione all'interno di quella traiettoria.
Il Disallineamento: Questa trasmissione uniforme non riesce a distinguere tra le azioni che hanno esposto con successo prove critiche e quelle che non lo hanno fatto. L'analisi empirica rivela che nelle traiettorie corrette, l'83,5% dei passaggi non produce prove target, mentre nelle traiettorie errate, il 7,0% dei passaggi espone comunque prove utili di entità o relazioni.
Conseguenza: Il "canale delle prove" — ovvero l'identificazione di quale specifica ricerca o azione di lettura abbia prima fatto emergere i documenti a supporto — rimane un segnale di supervisione sottoutilizzato. Semplicemente aggiungere bonus a livello di step a una ricompensa scalare spesso fallisce perché i bonus vengono sommati e trasmessi uniformemente, cancellando la localizzazione temporale intesa.

2. Metodologia: STAMP

Gli autori propongono STAMP (Step-level Trace-guided Advantage Modulation with Provenance), un framework che scinde cosa prova una traiettoria da quale azione ha reso disponibile tale prova per la prima volta. STAMP opera senza alterare la ricompensa a livello di traiettoria o la classificazione relativa delle traiettorie all'interno di un gruppo.

Componenti Core

Verifica Basata su Riferimento:
- Per ogni query viene costruito un grafo delle prove $G=(V, E)$ durante l'addestramento, definendo le entità target nascoste e le relazioni fattuali a un solo salto (single-hop).
- Un verificatore (istanziato come estrattore-matcher basato su LLM) giudica se i documenti citati in una traiettoria supportano specifiche entità o vincoli definiti nel grafo. Si tratta di un giudizio basato su riferimento, evitando la necessità di valutare direttamente arbitrarie azioni intermedie.
Attribuzione della Prima Esposizione (Provenienza):
- Invece di attribuire il credito all'azione che consuma un documento, STAMP attribuisce il credito all'azione che lo ha esposto per la prima volta (ad es. la query di ricerca che ha restituito l'URL).
- Per ogni documento di supporto $d$ , il sistema identifica il primo step $t$ in cui $d$ è diventato disponibile. Tutto il credito per $d$ viene assegnato a questo step.
- Il credito è distribuito uniformemente tra i documenti di supporto per un'entità o relazione verificata, con un limite massimo $C$ per evitare che un singolo step domini il gradiente.
Modulazione dell'Advantage Preservante il Segno:
- STAMP inietta questo credito a livello di step nel processo di aggiornamento GRPO tramite un operatore di modulazione moltiplicativa: $M_c(A) = A(1 + \text{sign}(A)c)$ .
- Meccanismo:
  - Per le traiettorie con vantaggio positivo ( $A > 0$ ), gli step che hanno esposto le prove ricevono un rinforzo amplificato ( $1+c$ ).
  - Per le traiettorie con vantaggio negativo ( $A < 0$ ), gli step che hanno esposto le prove vengono attenuati ( $1-c$ ) anziché essere penalizzati uniformemente. Ciò evita che azioni di ricerca utili in rollout falliti vengano trattate come non informative.
  - La modulazione preserva il segno dell'advantage originale, garantendo che la ricompensa a livello di traiettoria e la classificazione del gruppo rimangano invariate.
- Questo approccio evita le criticità della modellazione additiva (che richiede soglie di consenso) o della scalatura basata su potenze (che può invertire la semantica).

3. Setup Sperimentale

Modello Base: Qwen3-30B-A3B-Thinking-2507.
Dataset: Dati di addestramento bilingue sintetizzati da Wikipedia (3.000 query per SFT, 2.600 per RL).
Benchmark: BrowseComp, BrowseComp-ZH e xbench-DS.
Baseline: Confronti controllati utilizzando identica inizializzazione SFT, dati di addestramento e strumenti di ricerca, differendo solo per il design della ricompensa:
- GRPO: Ricompensa binaria sull'esito.
- E-GRPO: Ricompensa basata sul tasso di colpi (hit rate) delle entità.
- C-GRPO: Ricompensa basata su rubrica di citazione + ricompensa sull'esito.

4. Risultati Chiave

STAMP migliora costantemente le prestazioni in tutti i benchmark e le baseline di ricompensa, dimostrando che l'attribuzione del credito basata sulla provenienza cattura segnali di ottimizzazione complementari.

Guadagni di Prestazioni:
- Rispetto alla baseline GRPO standard: +2,0 (BrowseComp), +5,5 (BrowseComp-ZH) e +3,0 (xbench-DS).
- Rispetto a E-GRPO: +1,1 a +1,7 punti.
- Rispetto a C-GRPO: +2,2 a +3,5 punti.
Studi di Ablazione:
- Verifica: La verifica basata su LLM supera significativamente il semplice matching di stringhe.
- Attribuzione: L'attribuzione "earliest-exposure" (prima esposizione) supera l'attribuzione "all-step" (tutti gli step), confermando il valore dell'identificazione dell'azione di scoperta.
- Modulazione: La modulazione limitata e l'attenuazione degli advantage negativi sono entrambi critici; rimuovere il limite o ignorare le traiettorie negative degrada le prestazioni.
Dinamiche di Addestramento: STAMP converge più velocemente e raggiunge tassi di verifica delle relazioni più elevati rispetto alla baseline. L'attribuzione del credito rimane sparsa (~10–12% degli step), indicando che il metodo concentra con successo la pressione di ottimizzazione sugli specifici passaggi che contano.

5. Significato e Rivendicazioni

L'articolo sostiene che STAMP affronta una lacuna critica nella ricerca profonda tramite RL, utilizzando la provenienza della citazione come un segnale verificabile a livello di step senza richiedere annotazioni umane aggiuntive o cambiare la struttura fondamentale della ricompensa a livello di traiettoria.

Ortogonalità: Il metodo è ortogonale alla scelta della ricompensa a livello di traiettoria (solo esito, consapevole delle entità o basata su rubrica), fornendo guadagni additivi in tutti i casi.
Efficienza: Evita il costo computazionale di apprendere modelli di ricompensa di processo (process reward models) o di eseguire complessi modelli di ricompensa a livello di token durante la generazione del rollout. Verifica e attribuzione avvengono post-hoc.
Interpretabilità: Tracciando le prove fino allo specifico passaggio di ricerca o azione di lettura che le ha esposte, il metodo fornisce un meccanismo chiaro di attribuzione del credito che si allinea al reale comportamento di ricerca delle informazioni dell'agente.

Gli autori concludono che la provenienza della citazione trasporta segnali di ottimizzazione non catturati dalle sole ricompense a livello di traiettoria, offrendo una strada robusta per migliorare gli agenti di ricerca profonda attraverso un'attribuzione del credito più granulare.