💻 ciencias de la computación

STEP-VERIFIER: Learning to Verify Intermediate Agent Behavior with Process Reward Models

STEP-VERIFIER es un modelo de recompensa de procesos que aprende a verificar acciones individuales de agentes mediante comparaciones por pares sintetizadas automáticamente, proporcionando retroalimentación intermedia densa durante el entrenamiento para mejorar significativamente el rendimiento del agente en tareas complejas de uso de herramientas sin requerir la dependencia de un verificador durante el despliegue.

Autores originales: Longhui Zhang, Xian Wu, Chunyuan Chen, Fen Huang, Bin Wang

Publicado 2026-10-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Longhui Zhang, Xian Wu, Chunyuan Chen, Fen Huang, Bin Wang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, existe una clase creciente de programas conocidos como agentes. A diferencia de un chatbot estándar que simplemente responde a una pregunta, un agente está diseñado para tomar medidas. Puede navegar por la web, llamar a herramientas externas o manipular archivos para resolver problemas complejos. Para aprender a hacer esto, estos agentes suelen ser entrenados mediante un proceso similar al de ensayo y error. Intentan una tarea y, si tienen éxito al final, reciben una recompensa. Si fallan, no la reciben. Esto funciona bien para tareas sencillas, pero para misiones largas y complicadas que involucran docenas de pasos, crea un punto ciego significativo. El agente solo conoce el resultado final, no qué paso específico causó el fallo. Un solo movimiento erróneo al principio del proceso puede arruinar todo el intento, pero el sistema de aprendizaje trata ese fallo de la misma manera que un intento que salió mal en cada uno de sus pasos. Esta falta de detalle dificulta que el agente aprenda de sus errores de manera eficiente.

Investigadores de la Universidad de Hong Kong y Xiaomi han desarrollado un nuevo método para resolver este problema, llamado STEP-VERIFIER. En lugar de esperar hasta el final de una tarea para juzgar el desempeño de un agente, este sistema aprende a evaluar la calidad de cada acción individual a medida que ocurre. La innovación reside en cómo aprende a hacer esto sin necesidad de profesores humanos que califiquen cada paso. El equipo se dio cuenta de que podían utilizar los propios intentos pasados del agente para generar la retroalimentación necesaria. Cuando un agente intenta resolver el mismo problema muchas veces, a menudo sigue el mismo camino durante los primeros pasos antes de desviarse en diferentes direcciones. Al comparar los resultados finales de estas diferentes ramificaciones, el sistema puede inferir qué elección temprana fue mejor. Si un camino conduce al éxito y otro al fracaso, el sistema aprende que el punto de decisión donde se separaron fue crucial.

Los investigadores construyeron un modelo de "verificador" separado que actúa como un juez para estos pasos individuales. Entrenaron este verificador utilizando una vasta colección de interacciones registradas, donde cada intento era marcado como un éxito o un fracaso. El sistema busca momentos en los que dos intentos diferentes compartieron el mismo historial hasta cierto punto, pero luego tomaron acciones distintas. Calcula la diferencia en sus tasas de éxito final para crear una comparación. Por ejemplo, si una acción condujo a un resultado exitoso el 80% de las veces y otra llevó al éxito solo el 20% de las veces, el verificador aprende a otorgar una puntuación más alta a la primera acción. Este proceso crea un flujo denso de retroalimentación, diciéndole al agente exactamente qué movimientos fueron buenos y cuáles fueron malos, mucho antes de que la tarea haya terminado.

Crucialmente, este verificador se utiliza únicamente durante la fase de entrenamiento. Los investigadores diseñaron un cronograma donde la influencia del verificador es más fuerte al principio, cuando el agente está realizando muchos intentos aleatorios y los resultados finales son ruidosos. A medida que el agente mejora y sus propios resultados finales se vuelven más fiables, la retroalimentación del verificador se reduce gradualmente hasta desaparecer por completo. Esto asegura que el agente final, desplegado, no necesite al verificador para funcionar; ha interiorizado las lecciones y puede operar de forma independiente. Al ser probado en tres bancos de pruebas diferentes que involucraban navegación web, uso de herramientas y planificación de múltiples pasos, este enfoque superó significativamente a los métodos que dependían solo de las puntuaciones finales. El agente aprendió más rápido y cometió menos errores.

El estudio también comparó este nuevo método con otras formas de juzgar los pasos intermedios. Algunos enfoques previos utilizaban etiquetas simples de sí o no para cada paso, mientras que otros intentaban calificar el intento completo como una sola unidad. El enfoque STEP-VERIFIER, que utiliza un sistema de clasificación más matizado para comparar pares de acciones, demostró ser el más efectivo. Sus puntuaciones se alinearon mucho más estrechamente con los juicios humanos sobre lo que constituye un buen paso. De hecho, cuando los humanos revisaron las acciones del agente, estuvieron de acuerdo con la evaluación del verificador el 81.5% de las veces, una tasa mucho más alta que la de otros métodos automatizados. Esto sugiere que el sistema capturó con éxito la lógica sutil requerida para navegar tareas complejas.

Uno de los hallazgos más importantes es que el sistema funciona sin ningún esfuerzo humano adicional ni nueva recolección de datos. Depende enteramente de los datos ya generados durante el entrenamiento estándar. Los investigadores descubrieron que el sistema se enfoca naturalmente en los pasos en los que el agente pasa más tiempo, debido a que son los pasos donde tiene más datos para comparar. Sin embargo, también señalaron una limitación: para pasos muy difíciles que el agente intenta raramente, no hay suficientes datos para realizar un juicio fiable. En esos casos excepcionales, el sistema está menos informado. A pesar de este límite, el método representa un paso significativo adelante en la enseñanza de los agentes para pensar críticamente sobre sus propias acciones. Al convertir la propia historia del agente en un maestro, los investigadores han creado una forma de que estos sistemas aprendan de sus errores en tiempo real, conduciendo a una inteligencia artificial más capaz y fiable.

Resumen Técnico: STEP-VERIFIER

Planteamiento del Problema

Los agentes de modelos de lenguaje extensos (LLM) suelen completar tareas complejas mediante largas secuencias de llamadas a herramientas e interacciones con el entorno. Los paradigmas de entrenamiento actuales, como la Optimización de Política Relativa de Grupo (GRPO), dependen del entrenamiento basado en recompensas de resultado, donde el agente recibe una única señal binaria (éxito/fracaso) solo al final de un episodio. Este enfoque sufre de un punto ciego estructural: no puede distinguir entre un episodio que falla debido a un error temprano único y uno que falla debido a un colapso total del razonamiento. En consecuencia, los comportamientos intermedios que son críticos para el éxito o el fracaso permanecen sin ser juzgados, y la señal de aprendizaje es dispersa, dependiendo enteramente del resultado final de la trayectoria.

Aunque los Modelos de Recompensa de Proceso (PRM) han mostrado éxito en el razonamiento matemático al puntuar pasos individuales, aplicarlos a entornos de agentes es un desafío. Los métodos existentes suelen requerir anotaciones humanas a nivel de paso (que son costosas y limitan la calidad) o dependen de críticos aprendidos con baja eficiencia de muestreo para interacciones de largo horizonte. La pregunta central que aborda este trabajo es si un verificador a nivel de acción puede entrenarse sin etiquetas de paso humanas y sin interacciones adicionales con el entorno, utilizando únicamente los datos que ya son descartados por el entrenamiento estándar basado en resultados.

Metodología: STEP-VERIFIER

El sistema propuesto, STEP-VERIFIER, introduce un marco para aprender un verificador de proceso a partir de un corpus de interacciones registradas que están etiquetadas únicamente con resultados finales de éxito/fracaso.

1. Síntesis de Supervisión Pareada

El método aprovecha el hecho de que, en el entrenamiento basado en recompensas de resultado, la misma tarea se intenta a menudo múltiples veces, creando un corpus con múltiples continuaciones a partir de prefijos de interacción semánticamente idénticos.

Pares de División de Prefijos (Prefix-Split Pairs): Para un historial de interacción $h$ dado, el sistema identifica dos acciones distintas, $a$ y $a'$ , tomadas desde un mismo estado.
Estimación de Monte Carlo: Calcula el retorno final promedio de todas las continuaciones registradas tras $h \cdot a$ y $h \cdot a'$ . La diferencia entre estos promedios sirve como una estimación de Monte Carlo de la brecha de valor entre las dos acciones.
Etiquetas Sin Sesgo: Esta diferencia proporciona una etiqueta de comparación pareada (qué acción condujo a un mejor resultado) sin requerir nuevos despliegues (rollouts) o anotación humana. Los autores demuestran que estas etiquetas sintetizadas son estimadores insesgados y consistentes de la brecha de valor subyacente.

2. La Arquitectura del Verificador

El verificador es un modelo de lenguaje ( $s_\theta$ ) entrenado para puntuar pares de observación-acción individuales dentro de un contexto.

Cabeza de Bradley-Terry: En lugar de predecir puntuaciones absolutas, el verificador emite una puntuación escalar relativa a un contexto. Se entrena utilizando una cabeza de clasificación de Bradley-Terry para minimizar la log-verosimilitud negativa de las preferencias pareadas sintetizadas.
Calibración: Los autores demuestran que, bajo el modelo de respuesta de Bradley-Terry, minimizar el objetivo de entrenamiento asegura que la diferencia en las puntuaciones del verificador ( $\Delta_\theta$ ) recupere exactamente la brecha de valor subyacente ( $\Delta Q$ ). Esto proporciona puntuaciones calibradas, no solo clasificaciones ordinales, lo que permite utilizarlas como retroalimentación cuantitativa.

3. Entrenamiento con el Verificador en el Bucle (Verifier-in-the-Loop)

El verificador se integra en el bucle de entrenamiento de la política (específicamente en GRPO), pero está diseñado para salir del proceso antes del despliegue. Cumple dos funciones durante el entrenamiento:

Filtrado de Registros (Log Filtering): Antes de cada actualización de la política, el verificador puntúa todos los registros de interacción en el lote. La fracción de menor puntuación (por ejemplo, el 20% inferior) se elimina para evitar que trayectorias ruidosas o "golpes de suerte" corrompan la actualización del gradiente.
Retroalimentación Intermedia Densa: Para los registros restantes, el verificador proporciona puntuaciones a nivel de paso que son estandarizadas e inyectadas en el cálculo de la ventaja de la secuencia.
Programa de Recocido (Annealing Schedule): Crucialmente, el peso de esta retroalimentación densa ( $\lambda_k$ ) sigue un programa de recocido lineal, decayendo hacia cero a medida que el entrenamiento progresa (por ejemplo, al 75% del presupuesto). Esto asegura que la fase final de entrenamiento sea indistinguible de la optimización estándar basada solo en resultados, lo que significa que la política desplegada nunca depende del verificador.

Principales Contribuciones

Verificador a Nivel de Acción a partir de Etiquetas de Resultado: Un método para entrenar un verificador de proceso íntegramente a partir de un corpus de registros etiquetados con éxito, eliminando la necesidad de etiquetas de paso humanas, modelos de recompensa pre-entrenados o interacciones adicionales con el entorno.
Garantías Teóricas: Pruebas que establecen que las etiquetas sintetizadas son estimaciones insesgadas de la brecha de valor y que la cabeza de Bradley-Terry produce puntuaciones por acción que están calibradas, permitiendo su uso como retroalimentación cuantitativa en lugar de meras clasificaciones.
Esquema de Entrenamiento con Recocido: Una estrategia de "verificador en el bucle" que combina el filtrado de registros y la retroalimentación densa con un programa de recocido lineal. Esto permite que el verificador guíe las etapas tempranas mientras asegura que la política final sea independiente del verificador, sin incurrir en sobrecarga de inferencia.
Validación Empírica: Evaluaciones exhaustivas que demuestran que STEP-VERIFIER supera a los modelos base de solo resultado y a otros enfoques guiados por verificadores en múltiples benchmarks.

Resultados Experimentales

El sistema fue evaluado utilizando los backbones Llama-3.1-8B-Instruct y Mistral-7B-Instruct en tres benchmarks: GAIA (asistencia general), ToolBench (composición de APIs) y AgentBoard (planificación de múltiples turnos).

Ganancias de Rendimiento: STEP-VERIFIER superó a GRPO estándar, PPO y a los baselines guiados por verificadores (GRPO + ORM, GRPO + PRM) en cada métrica agregada.
- En GAIA con Llama-3.1-8B, alcanzó un 30.1% de precisión promedio, superando a GRPO (21.5%) por 8.6 puntos y al mejor baseline (GRPO + PRM) por 4.4 puntos.
- En ToolBench, alcanzó una tasa de victoria del 38.9%, superando a GRPO (30.4%).
Calidad de la Puntuación: Al compararse con juicios humanos en datos no vistos, STEP-VERIFIER logró un 81.5% de acuerdo pareado, significativamente superior a los modelos de recompensa a nivel de trayectoria (62.4%) y a los modelos de recompensa de proceso binarios (73.2%). Sus puntuaciones también mostraron una calibración superior (Error de Calibración Esperada de 0.06) en comparación con los baselines.
Estudios de Ablación:
- Eliminar la cabeza de Bradley-Terry (usando etiquetas binarias) causó una caída significativa en el rendimiento, confirmando que la calibración es esencial.
- Eliminar el programa de recocido (manteniendo el peso de la retroalimentación constante) resultó en el peor desempeño, indicando que una señal del verificador que persiste demasiado tiempo perjudica activamente las etapas finales del entrenamiento.
- El método depende del "suministro" de continuaciones registradas; el rendimiento decae en tareas donde los estados raros no recurren lo suficiente como para formar pares de comparación robustos.

Significado y Reivindicaciones

El artículo afirma que STEP-VERIFIER logra cerrar la brecha entre las recompensas de resultado dispersas y la necesidad de retroalimentación densa e intermedia en el entrenamiento de agentes. Al sintetizar la supervisión a partir de los registros de interacción existentes, evita el costo de la anotación humana al tiempo que proporciona un verificador que está calibrado y fundamentado teóricamente.

La reivindicación más significativa es la independencia de despliegue: el verificador actúa como una guía temporal para dar forma a la política y filtrar el ruido durante el entrenamiento, pero se elimina completamente antes del despliegue. Esto asegura que el agente final no sufra la sobrecarga de inferencia ni los riesgos de cambio de distribución asociados con depender de un modelo crítico separado en el tiempo de prueba. El trabajo sugiere que el "material descartado" del entrenamiento basado en recompensas de resultado contiene suficiente señal para aprender una verificación de proceso de alta calidad, siempre que la dinámica de entrenamiento (filtrado y recocido) se gestione correctamente.