🤖 AI

STAMP: Provenance-Guided Credit Assignment for Deep Search Agents

STAMP aborda el desajuste entre recompensa y crédito en agentes de búsqueda profunda mediante la introducción de un mecanismo de asignación de crédito guiado por procedencia que rastrea los documentos de apoyo hasta sus acciones de exposición y redistribuye la ventaja mediante modulación de preservación de signo, mejorando así significativamente el rendimiento sobre las líneas base de GRPO a través de múltiples evaluaciones.

Autores originales: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Publicado 2026-07-14

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ke Xu, Han Xu, Xinran Chen, Yuqian Wang, Zhixuan Li, Xiaojian Liu, Changwo Wu, Jianqiang Xia, Yuchen Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás entrenando a un detective digital superinteligente para resolver misterios complicados en internet. Este detective, llamado un "agente de búsqueda profunda" (deep-search agent), no solo adivina; busca pistas, lee páginas web y une la evidencia para responder a una pregunta. Durante mucho tiempo, la forma en que enseñábamos a estos detectives era un poco como calificar una película entera basándose solo en la escena final. Si el detective obtenía la respuesta correcta al final, toda la película recibía una estrella de oro. Si obtenía la respuesta incorrecta, toda la película recibía una "F" roja.

Pero aquí está el problema: a veces el detective encuentra una pista brillante en medio de la película pero aun así obtiene la respuesta final incorrecta porque se confunde después. Otras veces, llega a la respuesta correcta por suerte sin haber encontrado nunca la evidencia real. El método antiguo no podía distinguir la diferencia. Le daba el mismo crédito (o culpa) a cada uno de los movimientos del detective, incluso a los movimientos aburridos que no hacían nada. Los autores de este artículo llaman a esto el "desajuste de crédito de recompensa" (reward-credit mismatch). Es como un profesor que le pone una nota de reprobado a un estudiante por todo un ensayo solo porque la conclusión es incorrecta, incluso si el estudiante escribió tres párrafos de investigación perfectos en medio.

La Gran Idea: STAMP
Los investigadores proponen un nuevo método de entrenamiento llamado STAMP (Modulación de Ventaja Guiada por Trazas a Nivel de Paso con Proveniencia). Piensa en STAMP como un crítico de cine superobservador que ve la película del detective fotograma a fotograma.

En lugar de mirar solo la respuesta final, STAMP hace dos preguntas específicas:

¿Encontró realmente el detective la evidencia correcta? (¿Encontraron a la persona o el dato específico que buscaban?)
¿Qué movimiento específico reveló esa evidencia por primera vez? (¿La encontraron cuando escribieron una consulta de búsqueda o cuando hicieron clic en un enlace?)

STAMP utiliza un "verificador basado en referencias" —básicamente un comprobador inteligente que observa los documentos que el detective encontró y pregunta: "¿Este documento realmente prueba el hecho que necesitamos?" Si lo hace, STAMP rastrea ese documento hasta el momento exacto en que el detective lo vio por primera vez. Ese momento específico recibe un "impulso de crédito".

Cómo funciona sin romper la película
Esta es la parte ingeniosa: STAMP no cambia la calificación final de la película. Si el detective todavía obtuvo la respuesta final incorrecta, la película sigue siendo un fracaso. Pero, STAMP utiliza una "modulación de ventaja de preservación de signo" especial para ajustar el entrenamiento.

Imagina que el detective está en una montaña rusa. Si el viaje fue un éxito (ventaja positiva), STAMP le da un pequeño impulso extra a los momentos específicos donde encontraron buenas pistas, haciendo que esos movimientos se sientan aún más gratificantes. Si el viaje fue un choque (ventaja negativa), STAMP no castiga los movimientos buenos con tanta dureza. Dice: "Está bien, fallaste la misión, pero esa consulta de búsqueda que hiciste fue en realidad brillante; no borremos esa lección". Esto asegura que el detective aprenda exactamente qué movimientos de búsqueda funcionan, sin confundir la lección con el resultado final.

Lo que el artículo dice que NO es
Los autores son muy claros sobre lo que este método NO es. Argumentan contra la idea de que necesitamos inventar sistemas de recompensa complejos para cada paso de la búsqueda. También descartan la idea de que necesitamos adivinar qué movimientos fueron buenos sin pruebas. STAMP se basa en evidencia probada: si el documento no está ahí, o si el verificador dice que no respalda el hecho, no se otorga crédito. Afirman explícitamente que simplemente añadir bonificaciones aleatorias a los pasos no funciona porque los sistemas antiguos de todos modos las promedian.

Los Resultados: ¿Funciona?
El equipo probó STAMP en tres conjuntos de desafíos: BrowseComp, BrowseComp-ZH (una versión en chino) y xbench-DS. Compararon STAMP contra un método de entrenamiento estándar llamado GRPO utilizando exactamente el mismo modelo inicial, los mismos datos de entrenamiento y las mismas herramientas de búsqueda.

Los resultados mostraron que STAMP mejoró consistentemente el desempeño del detective:

En BrowseComp, la precisión aumentó +2.0 puntos.
En BrowseComp-ZH, saltó +5.5 puntos.
En xbench-DS, mejoró +3.0 puntos.

El artículo sugiere que estas ganancias ocurren porque STAMP captura "gemas ocultas": pasos que encontraron evidencia útil incluso en intentos fallidos, los cuales el método antiguo ignoraba. De hecho, descubrieron que en los intentos correctos, el 83.5% de los pasos en realidad no produjeron ninguna evidencia útil, mientras que en los intentos incorrectos, el 7.0% de los pasos sí encontraron pistas útiles. STAMP corrige esto recompensando los pasos útiles independientemente del resultado final.

¿Qué tan seguros están?
Los autores están seguros de estas cifras porque realizaron experimentos controlados donde todo era idéntico excepto por el método de entrenamiento. También realizaron "estudios de ablación" (que son como desarmar la máquina para ver qué pieza hace qué) y descubrieron que cada parte de STAMP —el verificador, el rastreo de la primera exposición y la modulación especial— contribuyó al éxito.

Sin embargo, señalan una limitación: solo probaron esto en un tamaño de modelo específico (Qwen3-30B). Sugieren que, aunque funciona bien allí, aún no se ha demostrado si este método funciona igual de bien en modelos mucho más grandes (como 70B+). Por lo tanto, aunque los resultados son sólidos para las pruebas que realizaron, el pleno potencial para cerebros más grandes sigue siendo una pregunta abierta.

En resumen, STAMP enseña a los detectives de IA a apreciar el viaje, no solo el destino, al dar crédito a los movimientos específicos que realmente descubrieron la verdad.

Resumen Técnico: STAMP – Asignación de Crédito Guiada por Procedencia para Agentes de Búsqueda Profunda

1. Declaración del Problema: El Desajuste entre Recompensa y Crédito

Los agentes de búsqueda profunda, que realizan navegación web de múltiples pasos para verificar relaciones y ensamblar evidencia, se están entrenando cada vez más mediante Aprendizaje por Refuerzo (RL). Sin embargo, los paradigmas de entrenamiento actuales sufren un desajuste fundamental conocido como el desajuste entre recompensa y crédito (reward-credit mismatch).

Calificación a Nivel de Trayectoria: Los enfoques estándar de RL (por ejemplo, GRPO) asignan un único escalar de recompensa a toda una trayectoria basado en la corrección del resultado, la calidad de las citas o la cobertura de la evidencia. Esta recompensa se transmite uniformemente a cada token de acción dentro de esa trayectoria.
El Desajuste: Esta transmisión uniforme no logra distinguir entre las acciones que expusieron con éxito evidencia crítica y aquellas que no lo hicieron. El análisis empírico revela que en las trayectorias correctas, el 83.5% de los pasos no producen evidencia objetivo, mientras que en las trayectorias incorrectas, el 7.0% de los pasos aún exponen evidencia útil de entidades o relaciones.
Consecuencia: El "canal de evidencia" —identificar qué acción específica de búsqueda o lectura hizo disponible por primera vez la documentación de apoyo— sigue siendo una señal de supervisión infrautilizada. Simplemente añadir bonificaciones por paso a una recompensa escalar a menudo falla porque las bonificaciones se suman y se transmiten uniformemente, borrando la localización temporal pretendida.

2. Metodología: STAMP

Los autores proponen STAMP (Step-level Trace-guided Advantage Modulation with Provenance), un marco que desacopla qué evidencia verifica una trayectoria de qué acción puso esa evidencia disponible por primera vez. STAMP opera sin alterar la recompensa a nivel de trayectoria ni el ranking relativo de las trayectorias dentro de un grupo.

Componentes Principales

Verificación Basada en Referencias:
- Para cada consulta, se construye un grafo de evidencia $G=(V, E)$ durante el entrenamiento, que define las entidades ocultas objetivo y las relaciones fácticas de un solo salto.
- Un verificador (instanciado como un extractor-comparador basado en LLM) juzga si los documentos citados en una trayectoria respaldan entidades o restricciones específicas definidas en el grafo. Este es un juicio basado en referencias, evitando la necesidad de calificar directamente acciones intermedias arbitrarias.
Atribución de Primera Exposición (Procedencia):
- En lugar de acreditar la acción que consume un documento, STAMP acredita la acción que expuso por primera vez dicho documento (por ejemplo, la consulta de búsqueda que devolvió la URL).
- Para cada documento de apoyo $d$ , el sistema identifica el paso más temprano $t$ donde $d$ estuvo disponible. Todo el crédito para $d$ se asigna a este paso.
- El crédito se distribuye uniformemente entre los documentos de apoyo para una entidad o relación verificada, limitado por un tope $C$ para evitar que un solo paso domine el gradiente.
Modulación de Ventaja Preservadora de Signo:
- STAMP inyecta este crédito por paso en el proceso de actualización de GRPO a través de un operador de modulación multiplicativa: $M_c(A) = A(1 + \text{sign}(A)c)$ .
- Mecanismo:
  - Para trayectorias de ventaja positiva ( $A > 0$ ), los pasos que expusieron evidencia reciben un refuerzo amplificado ( $1+c$ ).
  - Para trayectorias de ventaja negativa ( $A < 0$ ), los pasos que expusieron evidencia son atenuados ( $1-c$ ) en lugar de ser penalizados uniformemente. Esto evita que las acciones de búsqueda útiles en trayectorias fallidas sean tratadas como no informativas.
  - La modulación preserva el signo de la ventaja original, asegurando que la recompensa a nivel de trayectoria y el ranking de grupo permanezcan intactos.
- Este enfoque evita los problemas de la modelación aditiva (que requiere umbrales de consenso) o la escala basada en potencias (que puede invertir la semántica).

3. Configuración Experimental

Modelo Base: Qwen3-30B-A3B-Thinking-2507.
Conjuntos de Datos: Datos de entrenamiento bilingües sintetizados a partir de Wikipedia (3,000 consultas para SFT, 2,600 para RL).
Benchmarks: BrowseComp, BrowseComp-ZH y xbench-DS.
Líneas Base (Baselines): Comparaciones controladas utilizando el mismo inicio de SFT, datos de entrenamiento y herramientas de búsqueda, diferenciándose solo en el diseño de la recompensa:
- GRPO: Recompensa binaria de resultado.
- E-GRPO: Recompensa de tasa de acierto de entidad.
- C-GRPO: Recompensa de rúbrica de citación + recompensa de resultado.

4. Resultados Clave

STAMP mejora consistentemente el rendimiento en todos los benchmarks y baselines de recompensa, demostrando que la atribución de crédito basada en la procedencia captura señales de optimización complementarias.

Ganancias de Rendimiento:
- Sobre la línea base estándar de GRPO: +2.0 (BrowseComp), +5.5 (BrowseComp-ZH) y +3.0 (xbench-DS).
- Sobre E-GRPO: +1.1 a +1.7 puntos.
- Sobre C-GRPO: +2.2 a +3.5 puntos.
Estudios de Ablación:
- Verificación: La verificación basada en LLM supera significamente a la simple comparación de cadenas (string matching).
- Atribución: La atribución de "primera exposición" supera a la atribución de "todos los pasos", confirmando el valor de identificar la acción de descubrimiento.
- Modulación: Tanto la modulación acotada como la atenuación de las ventajas negativas son críticas; eliminar el tope o ignorar las trayectorias negativas degrada el rendimiento.
Dinámica de Entrenamiento: STAMP converge más rápido y logra tasas de verificación de relaciones más altas que la línea base. La atribución de crédito permanece dispersa (~10–12% de los pasos), lo que indica que el método concentra con éxito la presión de optimización en las acciones específicas que importan.

5. Significancia y Reivindicaciones

El artículo afirma que STAMP aborda una brecha crítica en el RL de búsqueda profunda al utilizar la procedencia de la citación como una señal verificable a nivel de paso sin requerir anotaciones humanas adicionales o cambiar la estructura fundamental de la recompensa a nivel de trayectoria.

Ortogonalidad: El método es ortogonal a la elección de la recompensa a nivel de trayectoria (solo resultado, consciente de entidades o basada en rúbricas), proporcionando ganancias aditivas en todos los casos.
Eficiencia: Evita el costo computacional de aprender modelos de recompensa de proceso o realizar un modelado de recompensa complejo a nivel de token durante la generación de la trayectoria. La verificación y la atribución ocurren post-hoc.
Interpretabilidad: Al rastrear la evidencia hasta la acción de búsqueda o lectura específica que la expuso, el método proporciona un mecanismo claro de asignación de crédito que se alinea con el comportamiento real de búsqueda de información del agente.

Los autores concluyen que la procedencia de la citación conlleva señales de optimización que no son capturadas por las recompensas a nivel de trayectoria por sí solas, ofreciendo un camino robusto para mejorar los agentes de búsqueda profunda mediante una asignación de crédito más fina.