🤖 AI

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

O STAMP aborda o desajuste de recompensa-crédito em agentes de busca profunda ao introduzir um mecanismo de atribuição de crédito guiado por proveniência que rastreia documentos de suporte até suas ações de exposição e redistribui a vantagem via modulação de preservação de sinal, melhorando significativamente o desempenho sobre as linhas de base GRPO em múltiplos benchmarks.

Autores originais: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está treinando um detetive digital superinteligente para resolver mistérios complexos na internet. Este detetive, chamado de "agente de busca profunda" (deep-search agent), não apenas adivinha; ele caça pistas, lê páginas da web e reúne evidências para responder a uma pergunta. Por muito tempo, a maneira como ensinávamos esses detetives era um pouco como avaliar um filme inteiro baseando-se apenas na cena final. Se o detetive chegasse à resposta certa no final, o filme inteiro recebia uma estrela de ouro. Se chegasse à resposta errada, todo o filme recebia um "F" vermelho.

Mas aqui está o problema: às vezes o detetive encontra uma pista brilhante no meio do filme, mas ainda assim erra a resposta final porque se confundiu depois. Outras vezes, ele chega à resposta certa por sorte, sem nunca ter encontrado a evidência real. O método antigo não conseguia distinguir isso. Ele dava o mesmo crédito (ou culpa) para cada movimento do detetive, inclusive para os movimentos entediantes que não faziam nada. Os autores deste artigo chamam isso de "descompasso de crédito de recompensa" (reward-credit mismatch). É como um professor dar uma nota baixa para um aluno por toda uma redação só porque a conclusão estava errada, mesmo que o aluno tenha escrito três parágrafos perfeitos de pesquisa no meio.

A Grande Ideia: STAMP
Os pesquisadores propõem um novo método de treinamento chamado STAMP (Step-level Trace-guided Advantage Modulation with Provenance). Pense no STAMP como um crítico de cinema superobservador que assiste ao filme do detetive quadro a quadro.

Em vez de olhar apenas para a resposta final, o STAMP faz duas perguntas específicas:

O detetive realmente encontrou a evidência correta? (Ele encontrou a pessoa ou o fato específico que estava procurando?)
Qual movimento específico revelou essa evidência pela primeira vez? (Ele a encontrou quando digitou uma consulta de busca ou quando clicou em um link?)

O STAMP utiliza um "verificador baseado em referência" — basicamente um verificador inteligente que olha para os documentos que o detetive encontrou e pergunta: "Este documento realmente prova o fato que precisamos?" Se sim, o STAMP rastreia esse documento até o momento exato em que o detetive o viu pela primeira vez. Esse momento específico recebe um "impulso de crédito".

Como Funciona Sem Quebrar o Filme
Esta é a parte inteligente: o STAMP não altera a nota final do filme. Se o detetive ainda assim errou a resposta final, o filme continua sendo um fracasso. Mas o STAMP usa uma "modulação de vantagem com preservação de sinal" para ajustar o treinamento.

Imagine o detetive em uma montanha-russa. Se o passeio foi um sucesso (vantagem positiva), o STAMP dá um pequeno impulso extra aos momentos específicos onde eles encontraram boas pistas, fazendo com que esses movimentos pareçam ainda mais recompensadores. Se o passeio foi um desastre (vantagem negativa), o STAMP não pune os bons movimentos tão severamente. Ele diz: "Ok, você falhou na missão, mas aquela consulta de busca que você fez foi brilhante — não vamos apagar essa lição". Isso garante que o detetive aprenda exatamente quais movimentos de busca funcionam, sem confundir a lição com o resultado final.

O Que o Artigo Diz que NÃO É
Os autores são muito claros sobre o que este método não é. Eles argumentam contra a ideia de que precisamos inventar sistemas de recompensa complexos para cada etapa da busca. Eles também descartam a ideia de que precisamos adivinhar quais movimentos foram bons sem provas. O STAMP baseia-se em evidências provadas: se o documento não estiver lá, ou se o verificador disser que ele não sustenta o fato, nenhum crédito é dado. Eles afirmam explicitamente que simplesmente adicionar bônus aleatórios aos passos não funciona porque os sistemas antigos acabam apenas fazendo uma média deles.

Os Resultados: Funciona?
A equipe testou o STAMP em três conjuntos de desafios: BrowseComp, BrowseComp-ZH (uma versão em chinês) e xbench-DS. Eles compararam o STấm com um método de treinamento padrão chamado GRPO, usando exatamente o mesmo modelo inicial, os mesmos dados de treinamento e as mesmas ferramentas de busca.

Os resultados mostraram que o STAMP melhorou consistentemente o desempenho do detetive:

No BrowseComp, a precisão subiu +2,0 pontos.
No BrowseComp-ZH, saltou +5,5 pontos.
No xbench-DS, melhorou +3,0 pontos.

O artigo sugere que esses ganhos ocorrem porque o STAMP captura "joias escondidas" — etapas que encontraram evidências úteis mesmo em tentativas fracassadas — que o método antigo ignorava. De fato, eles descobriram que, em tentativas corretas, 83,5% das etapas não produziram nenhuma evidência útil, enquanto em tentativas erradas, 7,0% das etapas encontraram pistas úteis. O STAMP corrige isso ao recompensar as etapas úteis, independentemente do resultado final.

Quão Certos Eles Estão?
Os autores estão confiantes nesses números porque realizaram experimentos controlados onde tudo era idêntico, exceto pelo método de treinamento. Eles também realizaram "estudos de ablação" (que são como desmontar a máquina para ver o que cada peça faz) e descobriram que cada parte do STAMP — o verificador, o rastreamento da primeira exposição e a modulação especial — contribuiu para o sucesso.

No entanto, eles observam uma limitação: testaram isso apenas em um tamanho específico de modelo (Qwen3-30B). Eles sugerem que, embora funcione bem ali, ainda não está provado se este método funciona tão bem em modelos muito maiores (como 70B+). Portanto, embora os resultados sejam sólidos para os testes que realizaram, o pleno potencial para cérebros maiores é uma questão em aberto.

Em suma, o STAMP ensina os detetives de IA a apreciar a jornada, não apenas o destino, ao dar crédito aos movimentos específicos que realmente revelaram a verdade.

Resumo Técnico: STAMP – Atribuição de Crédito Guiada por Proveniência para Agentes de Busca Profunda

1. Declaração do Problema: O Descompasso entre Recompensa e Crédito

Agentes de busca profunda, que realizam navegação web em múltiplas etapas para verificar relações e reunir evidências, estão sendo cada vez mais treinados usando Aprendizado por Reforço (RL). No entanto, os paradigmas de treinamento atuais sofrem de um descompasso fundamental conhecido como descompasso entre recompensa e crédito (reward-credit mismatch).

Pontuação ao Nível da Trajetória: Abordagens padrão de RL (ex: GRPO) atribuem uma única recompensa escalar a toda a trajetória com base na correção do resultado, qualidade da citação ou cobertura de evidências. Esta recompensa é então transmitida uniformemente para cada token de ação dentro dessa trajetória.
O Descompasso: Esta transmissão uniforme falha em distinguir entre ações que expuseram evidências críticas e aquelas que não o fizeram. A análise empírica revela que, em trajetórias corretas, 83,5% das etapas não produzem evidência alvo, enquanto em trajetórias incorretas, 7,0% das etapas ainda expõem evidências úteis de entidades ou relações.
Consequência: O "canal de evidência" — identificar quais ações específicas de busca ou leitura foram as primeiras a apresentar documentos de suporte — permanece um sinal de supervisão subutilizado. Simplesmente adicionar bônus ao nível da etapa a uma recompensa escalar frequentemente falha porque os bônus são somados e transmitidos uniformemente, apagando a localização temporal pretendida.

2. Metodologia: STAMP

Os autores propõem o STAMP (Step-level Trace-guided Advantage Modulation with Provenance), um framework que desacopla o que evidência uma trajetória verifica de qual ação primeiro tornou essa evidência disponível. O STAMP opera sem alterar a recompensa ao nível da trajetória ou o ranking relativo das trajetórias dentro de um grupo.

Componentes Principais

Verificação Baseada em Referência:
- Um grafo de evidência $G=(V, E)$ de tempo de treinamento é construído para cada consulta, definindo entidades ocultas alvo e relações factuais de um salto (single-hop).
- Um verificador (instanciado como um extrator-combinador baseado em LLM) julga se os documentos citados em uma trajetória suportam entidades ou restrições específicas definidas no grafo. Esta é uma decisão baseada em referência, evitando a necessidade de pontuar ações intermediárias arbitrárias diretamente.
Atribuição de Primeira Exposição (Proveniência):
- Em vez de creditar a ação que consumiu um documento, o STAMP credita a ação que primeiro expôs esse documento (ex: a consulta de busca que retornou a URL).
- Para cada documento de suporte $d$ , o sistema identifica a etapa mais precoce $t$ onde $d$ tornou-se disponível. Todo o crédito para $d$ é atribuído a esta etapa.
- O crédito é distribuído uniformemente entre os documentos de suporte para uma entidade ou relação verificada, limitado por um teto $C$ para evitar que uma única etapa domine o gradiente.
Modulação de Vantagem com Preservação de Sinal:
- O STAMP injeta este crédito ao nível da etapa no processo de atualização do GRPO via um operador de modulação multiplicativa: $M_c(A) = A(1 + \text{sign}(A)c)$ .
- Mecanismo:
  - Para trajetórias de vantagem positiva ( $A > 0$ ), as etapas que expuseram evidências recebem um reforço amplificado ( $1+c$ ).
  - Para trajetórias de vantagem negativa ( $A < 0$ ), as etapas que expuseram evidências são atenuadas ( $1-c$ ) em vez de serem penalizadas uniformemente. Isso evita que ações de busca úteis em trajetórias falhas sejam tratadas como não informativas.
  - A modulação preserva o sinal da vantagem original, garantindo que a recompensa ao nível da trajetória e o ranking do grupo permaneçam intactos.
  - Esta abordagem evita as armadilhas da modelagem aditiva (que exige limiares de consenso) ou da escala baseada em potência (que pode inverter semânticas).

3. Configuração Experimental

Modelo Base: Qwen3-30B-A3B-Thinking-2507.
Datasets: Dados de treinamento bilíngues sintetizados a partir da Wikipedia (3.000 consultas para SFT, 2.600 para RL).
Benchmarks: BrowseComp, BrowseComp-ZH e xbench-DS.
Baselines: Comparações controladas usando o mesmo SFT inicialização, dados de treinamento e ferramentas de busca, diferindo apenas no design da recompensa:
- GRPO: Recompensa binária de resultado.
- E-GRPO: Recompensa de taxa de acerto de entidade (entity hit rate).
- C-GRPO: Recompensa de rubrica de citação + recompensa de resultado.

4. Resultados Principais

O STAMP melhora consistentemente o desempenho em todos os benchmarks e baselines de recompensa, demonstrando que a atribuição de crédito baseada em proveniência captura sinais de otimização complementares.

Ganhos de Desempenho:
- Sobre o baseline GRPO padrão: +2,0 (BrowseComp), +5,5 (BrowseComp-ZH) e +3,0 (xbench-DS).
- Sobre o E-GRPO: +1,1 a +1,7 pontos.
- Sobre o C-GRPO: +2,2 a +3,5 pontos.
Estudos de Ablação:
- Verificação: A verificação baseada em LLM supera significativamente a simples correspondência de strings (string matching).
- Atribuição: A atribuição de "primeira exposição" supera a atribuição de "todas as etapas", confirmando o valor de identificar a ação de descoberta.
- Modulação: A modulação limitada e a atenuação de vantagens negativas são ambas críticas; remover o teto ou ignorar trajetórias negativas degrada o desempenho.
Dinâmica de Treinamento: O STAMP converge mais rápido e alcança taxas de verificação de relação mais altas que o baseline. A atribuição de crédito permanece esparsa (~10–12% das etapas), indicando que o método consegue concentrar com sucesso a pressão de otimização nas ações específicas que importam.

5. Significância e Alegações

O artigo afirma que o STAMP aborda uma lacuna crítica no RL de busca profunda ao utilizar a proveniência da citação como um sinal verificável ao nível da etapa, sem exigir anotações humanas adicionais ou alterar a estrutura fundamental da recompensa ao nível da trajetória.

Ortogonalidade: O método é ortogonal à escolha da recompensa ao nível da trajetória (apenas resultado, consciente de entidade ou baseada em rubrica), proporcionando ganhos aditivos em todos os casos.
Eficiência: Evita o custo computacional de aprender modelos de recompensa de processo ou realizar modelagem de recompensa complexa ao nível do token durante a geração de trajetórias. A verificação e a atribuição ocorrem post-hoc.
Interpretabilidade: Ao rastrear a evidência de volta à consulta de busca ou ação de leitura específica que a expôs, o método fornece um mecanismo claro de atribuição de crédito que se alinha ao comportamento real de busca de informação do agente.

Os autores concluem que a proveniência da citação carrega sinais de otimização não capturados pelas recompensas ao nível da trajetória isoladamente, oferecendo um caminho robusto para melhorar agentes de busca profunda através de uma atribuição de crédito mais refinada.