Resumen Técnico: ABSeeker - Entrenamiento de Agentes de Búsqueda de Largo Alcance mediante Asignación de Crédito con Retroceso por Respuesta

1. Planteamiento del Problema

Los agentes de búsqueda de largo alcance requieren múltiples acciones secuenciales para recuperar, verificar e integrar evidencia para resolver consultas complejas. Sin embargo, los métodos de entrenamiento existentes para estos agentes, incluyendo tanto el Ajuste Fino Supervisado (SFT) como el Aprendizaje por Refuerzo (RL), dependen típicamente de la supervisión a nivel de trayectoria. En este paradigma, todos los pasos dentro de una trayectoria se tratan de manera uniforme: las trayectorias exitosas se recompensan íntegramente, mientras que las trayectorias fallidas se penalizan íntegramente.

Este tratamiento uniforme crea un problema fundamental de asignación de crédito:

• Falsos Negativos: Una trayectoria fallida puede contener pasos intermedios altamente útiles (por ejemplo, descubrir evidencia decisiva o refinar una hipótesis) que reciben recompensa cero porque la respuesta final fue incorrecta.
• Falsos Positivos: Una trayectoria exitosa puede contener pasos erróneos, redundantes o engañosos que reciben recompensa total a pesar de obstaculizar el proceso de búsqueda.
• Falta de Granularidad: Los métodos existentes no logran distinguir la contribución individual de acciones específicas, lo que limita la capacidad de optimizar comportamientos críticos de búsqueda y razonamiento.

2. Metodología: Asignación de Crédito con Retroceso por Respuesta (ABC)

Los autores proponen la Asignación de Crédito con Retroceso por Respuesta (ABC), un marco de trabajo de grano fino que convierte los resultados dispersos a nivel de trayectoria en una supervisión densa a nivel de paso. La idea central es que, una vez disponible una respuesta de verdad de campo (ground-truth), la tarea de búsqueda se vuelve naturalmente retrocedible (backtrackable). Al realizar un retroceso desde la respuesta verificada, es posible recuperar la evidencia intermedia (pistas) que debería haber sido descubierta.

El marco opera a través de dos etapas primarias:

2.1 Recuperación de Pistas con Retroceso por Respuesta

Dada una consulta $q$ y su respuesta de verdad de campo verificada $a^*$, el sistema emplea un LLM para reconstruir la cadena de evidencia requerida para resolver la pregunta.

• Proceso: El modelo de recuperación actúa como un agente activo, realizando búsquedas web y visitando páginas (utilizando el mismo protocolo de llamada a herramientas que el agente de avance) para rastrear la evidencia desde la respuesta hacia atrás hasta las restricciones de la consulta.
• Salida: Un conjunto de pistas de evidencia intermedia $C = \{c_1, c_2, ..., c_K\}$. Estas pistas son piezas de información concretas y verificables (entidades, hechos, atributos o relaciones) que forman una cadena de evidencia verificada que conecta la consulta con la respuesta.
• Rol: Estas pistas sirven como anclajes fijos para evaluar la calidad de cada paso en una trayectoria de búsqueda, independientemente del resultado final.

2.2 Calificación de Pasos Anclada en Pistas

Cada paso $s_t$ en una trayectoria recolectada (ya sea exitosa o fallida) es evaluado frente al conjunto de pistas recuperadas $C$.

• Mecanismo de Calificación: Cada paso comienza con una puntuación base de 1.0. La puntuación se ajusta basándose en los comportos detectados en el razonamiento, las llamadas a herramientas y las respuestas del paso:
  • Deltas Positivos: Descubrir/verificar una pista correcta (+0.8), descartar un candidato incorrecto (+0.4) o enviar la respuesta verificada (+1.0).
  • Deltas Negativos: Descartar incorrectamente una pista correcta (-0.8) o enviar una respuesta incorrecta (-1.0).
• Recompensa Final: La recompensa del paso $r_t$ es la puntuación acumulada recortada al rango $[0, 2.0]$. Crucialmente, un paso en una trayectoria fallida que descubre una pista correcta recibe una recompensa positiva, mientras que un paso en una trayectoria exitosa que descarta evidencia útil recibe una penalización.

2.3 Pipeline de Entrenamiento

Basándose en estas recompensas densas a nivel de paso, los autores desarrollan dos algoritmos de entrenamiento:

1. ABC-SFT (Ajuste Fino Supervisado con Pesado de Recompensa): El SFT estándar se modifica para reponderar la pérdida de cada turno. El peso $w(r_t)$ se calcula mediante una función sigmoide de la recompensa del paso, permitiendo que los pasos de alta calidad contribuyan más fuertemente al gradiente mientras se penalizan los pasos erróneos.
2. ABC-GRPO (Aprendizaje por Refuerzo a Nivel de Paso): Las puntuaciones a nivel de paso sirven como recompensas en el algoritmo de Optimización de Política de Grupo Relativa (GRPO). En lugar de una única ventaja a nivel de trayectoria, el algoritmo calcula una ventaja descontada a nivel de paso para cada token, permitiendo actualizaciones de política de grano fino.

3. Contribuciones Clave

• Asignación de Crédito con Retroceso por Respuesta (ABC): Un marco novedoso que aprovecha las respuestas verificadas para reconstruir pistas de evidencia intermedia, permitiendo la evaluación de pasos de búsqueda individuales independientemente del resultado de la trayectoria.
• ABC-SFT y ABC-GRPO: Dos algoritmos de entrenamiento derivados de ABC que utilizan recompensas densas a nivel de paso para reponderar las pérdidas de SFT y optimizar las políticas de RL, respectivamente.
• ABSeeker: Un agente de búsqueda entrenado sobre un backbone de 4B parámetros (Qwen3.5-4B) utilizando solo 8.5k ejemplos. Demuestra que la supervisión de proceso de grano fino puede generar un alto rendimiento sin requerir escalas de modelos masivas.

4. Resultados Experimentales

Los autores evaluaron ABSeeker en cinco benchmarks: BrowseComp, BrowseComp-ZH, xbench-2505, xbench-2510, y GAIA-text.

• Rendimiento:
  • BrowseComp: 37.3% (sin gestión de contexto), mejorando a 55.3% con gestión de contexto.
  • BrowseComp-ZH: 39.1% (sin gestión de contexto), mejorando a 52.9% con gestión de contexto.
  • xbench-2505: 77.0%.
  • xbench-2510: 46.0%.
  • GAIA-text: 81.6%.
• Comparaciones:
  • ABSeeker logra el mejor rendimiento entre todos los agentes de búsqueda de 4B (superando a QUEST-4B, DR-Venus y AgentCPM-Explore).
  • Supera significativamente a los baselines de la misma escala y iguala o supera el rendimiento de agentes sustancialmente más grandes (~30B), como Tongyi DeepResearch y OpenSeeker, en varios benchmarks.
• Estudios de Ablación:
  • Reemplazar el SFT estándar con ABC-SFT produce mejoras consistentes en todos los benchmarks.
  • Reemplazar el GRPO estándar a nivel de trayectoria con ABC-GRPO aumenta aún más el rendimiento, demostrando que la asignación de crédito a nivel de paso mejora tanto la precisión de búsqueda como el comportamiento exploratorio.
  • El análisis de la distribución de recompensas revela que incluso en trayectorias exitosas, ~4% de los pasos son de baja calidad, mientras que ~10% de los pasos en trayectorias fallidas son de alta calidad. ABC identifica y recompensa con éxito estos últimos mientras penaliza a los primeros.

5. Significado y Reivindicaciones

El artículo sostiene que la Asignación de Crédito con Retroceso por Respuesta aborda eficazmente el desafío de la asignación de crédito en la búsqueda de largo alcance al proporcionar una supervisión de proceso explícita y de grano fino.

• Eficiencia: El método permite que un modelo compacto de 4B supere a agentes mucho más grandes, sugiriendo que la calidad de la supervisión del entrenamiento (distinguir pasos útiles de erróneos) es más crítica que la escala pura del modelo para tareas de búsqueda.
• Generalización: A pesar de haber sido entrenado exclusivamente en preguntas de tipo BrowseComp, ABSeeker se generaliza efectivamente a xbench y GAIA, indicando capacidades robustas de transferencia entre benchmarks.
• Supervisión de Proceso: Los resultados validan que recompensar acciones útiles en trayectorias fallidas y suprimir errores en las exitosas conduce a comportamientos de búsqueda más eficientes y deliberados.

Los autores concluyen que este enfoque resalta la importancia de la supervisión de proceso explícita para el entrenamiento escalable de agentes de búsqueda y proponen extender el marco a otras tareas de largo alcance donde los resultados puedan retrocederse hacia la evidencia intermedia.