🤖 machine learning

Beyond Outcome Rewards: Step-Level Self-Distilled Policy Optimization for Deep Search Agents

Este artículo presenta la Optimización de Política con Autodestilación a Nivel de Paso (SSPO, por sus siglas en inglés), un marco novedoso que resuelve la asimetría de información en el entrenamiento de agentes de búsqueda profunda mediante el aprovechamiento de Anclajes de Evidencia extraídos de la web y pesos de ventaja a nivel de paso para mejorar la asignación de crédito y superar al GRPO estándar con una sobrecarga computacional mínima.

Autores originales: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

Publicado 2026-08-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Haoze Wu, Chuqiao Kuang, Tianyi Zhuang, Xiaoguang Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a ser un detective maestro. En el mundo de la inteligencia artificial, este robot se llama "agente", y su trabajo es resolver acertijos complejos buscando en internet, leyendo páginas y conectando puntos. Para volverse realmente bueno en esto, el robot necesita practicar, pero aquí está la parte difícil: usualmente, el profesor solo otorga una calificación al final del caso. Si el robot resuelve el misterio, recibe una estrella de oro; si falla, recibe un cero. El problema es que el misterio podría haber tomado cincuenta pasos para resolverse. ¿Falló el robot porque perdió la última pista o porque cometió un pequeño error en el paso tres que lo arruinó todo? Con solo una puntuación al final del juego, el robot está volando a ciegas, adivinando qué pasos fueron buenos y cuáles fueron malos. Este es un gran obstáculo para crear agentes de búsqueda inteligentes.

Para solucionar esto, los científicos han probado una técnica llamada "autodestilación". Piensa en esto como el robot intentando aprender de una versión "fantasma" de sí mismo que ya conoce la respuesta. El fantasma (el profesor) ve la solución y las pistas, mientras que el robot real (el estudiante) tiene que resolverlo desde cero. La idea es que el estudiante copie el pensamiento del profesor. Sin embargo, en el mundo desordenado y abierto de internet, esto a menudo resulta contraproducente. El profesor, conociendo la respuesta, toma un atajo y resuelve el caso en tres pasos. El estudiante, al intentar copiar al profesor, aprende a tomar atajos también, saltándose el trabajo duro de investigar realmente. Es como un estudiante que copia el ensayo final de un profesor sin leer los libros; obtienen las palabras correctas pero no aprenden nada sobre cómo investigar.

Este artículo presenta una nueva forma de entrenar a estos robots detectives, llamada SSPO (Optimización de Política Autodestilada a Nivel de Paso). En lugar de permitir que el robot simplemente copie el atajo del profesor, los autores crearon una herramienta especial llamada Anclas de Evidencia (Evidence Anchors). Imagina que estas son notas adhesivas que el profesor deja sobre el escritorio. No revelan la respuesta final; en su lugar, resaltan las piezas específicas y cruciales de evidencia necesarias en cada paso de la investigación. Por ejemplo, en lugar de decir "El sospechoso está en París", una nota adhesiva podría decir "Revisa los registros de vuelo del martes".

La magia ocurre en cómo el robot aprende de estas notas. Los autores se dieron cuenta de que si el robot ya está resolviendo un caso correctamente, no se le debe obligar a cambiar su estilo. Por lo tanto, SSPO solo utiliza este método de enseñanza especial cuando el robot resuelve un caso de forma incorrecta. Cuando el robot falla, el sistema compara la ruta de búsqueda desordenada del robot con las "Anclas de Evidencia" del profesor. Si el robot pasó por alto una pieza crucial de evidencia que el profesor resaltó, el sistema le otorga a ese paso específico una "penalización" mayor (una lección más dura). Si el robot tomó un desvío extraño pero aun así encontró una pista útil, el sistema le da un respiro.

Crucialmente, el artículo muestra que este método no solo hace al robot más inteligente; lo convierte en un mejor buscador. El robot aprende a hacer preguntas precisas y dirigidas para encontrar la evidencia correcta, en lugar de lanzar redes amplias y vagas. En pruebas en tres diferentes y desafiantes evaluaciones de búsqueda (BrowseComp, GAIA y FRAMES), este nuevo método ayudó al robot a aprender más rápido y a desempeñarse mejor que los métodos estándar. De hecho, el robot entrenado con este nuevo método durante 100 pasos funcionó mejor que un robot entrenado con el método antiguo durante 200 pasos. Los autores sugieren que, al enfocarnos en la calidad de cada paso de búsqueda en lugar de solo en la calificación final, podemos construir agentes que no sean solo adivinadores con suerte, sino verdaderos e eficientes investigadores.

Resumen Técnico: Optimización de Política de Autodestilación a Nivel de Paso para Agentes de Búsqueda Profunda

Planteamiento del Problema

Los agentes de búsqueda profunda operan sobre trayectorias de largo horizonte que involucran docenas de pasos (por ejemplo, realizar búsquedas, navegar por páginas y refinar el razonamiento). Los enfoques estándar de Aprendizaje por Refuerzo (RL), como la Optimización de Política Relativa de Grupo (GRPO), suelen proporcionar únicamente una recompensa binaria única por trayectoria. Esta supervisión dispersa crea un severo cuello de botella en la asignación de crédito: el modelo no recibe orientación sobre qué pasos intermedios específicos condujeron al éxito o al fracaso.

Aunque la Autodestilación On-Policy (OPSD) ha tenido éxito en tareas de razonamiento de un solo turno (como matemáticas y código) utilizando los propios logit del modelo como profesores densos a nivel de token, extender esto a agentes de búsqueda de múltiples turnos introduce desafíos fundamentales:

Asimetría de Información Extrema: Un modelo "profesor" con acceso a información privilegiada (por ejemplo, evidencia curada y la respuesta correcta) colapsa significamente el proceso de búsqueda (por ejemplo, 3.5 llamadas a herramientas frente a 17.7 para el estudiante). La destilación simple provoca que el estudiante imite esta brevedad, aprendiendo a abandonar el uso de herramientas prematuramente en lugar de desarrollar estrategias de búsqueda robustas.
Falta de Información Privilegiada Natural: A diferencia de las matemáticas o el código, la búsqueda web abierta carece de soluciones de referencia listas o de retroalimentación de ejecución que puedan servir como un prefijo de profesor sin revelar toda la ruta de la respuesta.

Metodología: SSPO

Los autores proponen la Optimización de Política de Autodestilación a Nivel de Paso (SSPO), un marco diseñado para resolver la tensión entre la necesidad de supervisión densa y los riesgos de la asimetría de información. El método consta de dos componentes principales:

1. Anclajes de Evidencia (Información Privilegiada)

Para proporcionar al profesor el contexto necesario sin revelar la ruta completa de la solución, los autores construyen Anclajes de Evidencia. Estos son fragmentos de evidencia concisos a nivel de paso, extraídos de la web, que capturan las condiciones clave de razonamiento requeridas para responder una pregunta.

Construcción: Un LLM de última generación identifica la evidencia que respalda la respuesta de verdad de campo para cada par de pregunta-respuesta (QA).
Uso: Estos anclajes sirven como un prefijo para el modelo profesor únicamente cuando el estudiante genera una trayectoria incorrecta. Al profesor también se le proporciona la respuesta incorrecta del estudiante para evitar que repita los mismos errores.

2. Ponderación de Ventaja a Nivel de Paso

En lugar de minimizar la divergencia entre las distribuciones del profesor y el estudiante (lo que conduce al problema del "atajo"), SSPO convierte el desacuerdo profesor-estudiante en pesos de ventaja a nivel de paso dentro del objetivo GRPO.

Mecanismo: Para cada paso $\tau$ en una trayectoria, el método calcula la razón de log-verosimilitud conjunta ( $\Delta^{step}_{\tau}$ ) entre el profesor (con contexto privilegiado) y el estudiante.
Aplicación: Esta señal se aplica exclusivamente a las trayectorias incorrectas.
- Desacoplamiento de Dirección y Magnitud: La recompensa de resultado determina la dirección de la actualización de la política (reforzar o suprimir la trayectoria), mientras que la señal del profesor modula la magnitud de la actualización en cada paso.
- Lógica de Ponderación:
  - Si el estudiante es excesivamente confiado en un paso rechazado por el profesor ( $\Delta^{step}_{\tau} < 0$ ), la penalización se amplifica.
  - Si el estudiante tiene incertidumbre en un paso respaldado por el profesor ( $\Delta^{step}_{\tau} > 0$ ), la penalización se reduce, preservando el razonamiento intermedio válido.
  - Las trayectorias correctas se dejan sin cambios para preservar la diversidad de comportamiento.
Granularidad: La supervisión se alinea con la unidad natural de las acciones de búsqueda (Pensamiento + Llamada a Herramienta) en lugar de tokens individuales, asegurando que la señal coincida con el proceso de búsqueda de información.

Contribuciones Clave

Identificación de la Ruptura de Supuestos: El artículo demuestra que extender la autodestilación a la búsqueda de múltiples turnos rompe los supuestos válidos para tareas de un solo turno (brechas modestas entre profesor-estudiante e información privilegiada existente), lo que requiere un diseño fundamentalmente diferente.
Anclajes de Evidencia: Introducción de una nueva forma de información privilegiada —fragmentos de evidencia compactos a nivel de paso— que se alinea con la estructura de las acciones de búsqueda sin revelar la ruta de la respuesta completa.
Algoritmo SSPO: Un método de optimización de política que utiliza señales de autodestilación como pesos de ventaja en lugar de objetivos de optimización. Este enfoque inyecta supervisión de proceso detallada mientras evita la filtración de información privilegiada y la supresión de la diversidad en trayectorias correctas.

Resultados Experimentales

El método fue evaluado en Qwen3-8B a través de tres benchmarks de búsqueda de información: BrowseComp, GAIA y FRAMES.

Desempeño: SSPO supera consistentemente a GRPO estándar. En promedio, SSPO logra una mejora de +4.8 sobre la línea base de arranque en frío (cold-start), comparado con el +2.4 de GRPO.
Eficiencia de Muestreo: SSPO entrenado durante 100 pasos supera a GRPO entrenado durante 200 pasos, demostrando una eficiencia de muestreo superior.
Eficiencia: El método añade solo aproximadamente un 5% de sobrecarga computacional por paso (debido a una pasada hacia adelante adicional para el profesor).
Dinámicas de Entrenamiento: El análisis muestra que SSPO mantiene recompensas más altas y normas de gradiente más estables durante todo el entrenamiento en comparación con GRPO, que exhibe una saturación temprana. Las curvas de entropía permanecen alineadas, lo que sugiere que las ganancias provienen de actualizaciones de política más efectivas en lugar de un aumento en la exploración.
Estudios de Ablación:
- La destilación directa (minimizar la divergencia) colapsa el uso de herramientas y rinde por debajo de GRPO.
- La ponderación a nivel de token es insuficiente; se requiere la ponderación a nivel de paso para alinearse con las acciones de búsqueda de información.
- Los Anclajes de Evidencia son el principal motor de la supervisión de proceso, mientras que la retroalimentación de la respuesta incorrecta actúa como un rol complementario para penalizar fallos terminales.

Significado y Reivindicaciones

El artículo afirma que SSPO resuelve con éxito el problema de la asignación de crédito en agentes de búsqueda profunda al alinear la supervisión privilegiada con la estructura natural de los pasos de búsqueda. Al desacoplar la dirección de la actualización (determinada por las recompensas de resultado) de la magnitud de la actualización (modulada por la autodestilación a nivel de paso), el método guía a los agentes hacia una búsqueda de información más dirigida y basada en evidencia.

Los autores enfatizan que este enfoque permite a los agentes aprender mejores estrategias de búsqueda sin heredar la asimetría de información del profesor, logrando un desempeño superior con una sobrecarga computacional mínima. Los resultados sugieren que la supervisión de proceso detallada, cuando se estructura correctamente, es crítica para escalar los agentes de búsqueda profunda más allá de las limitaciones de las recompensas de resultado dispersas.