🤖 machine learning

A Few Teacher Steps Go a Long Way: Cost-Efficient On-Policy Data Augmentation for Agent Post-Training

Este artículo propone una estrategia de aumento de datos on-policy rentable para el post-entrenamiento de agentes de LLM que asigna presupuestos de supervisión a continuaciones de profesor cortas y sin filtrar en contextos inducidos por el aprendiz, demostrando que este enfoque supera al clonación de comportamiento pura y iguala o supera a métodos de filtrado más complejos en múltiples evaluaciones.

Autores originales: Junze Ye, Jiayi Cheng, Miao Lu, Michal Mankowski, Jose Blanchet, Mohsen Bayati

Publicado 2026-09-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junze Ye, Jiayi Cheng, Miao Lu, Michal Mankowski, Jose Blanchet, Mohsen Bayati

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a un estudiante aprendiendo una habilidad compleja, como resolver un misterio o reparar una máquina averiada, observando a un maestro experto realizar la tarea de principio a fin. El estudiante copia cada movimiento que hace el experto, con la esperanza de que, al imitar la trayectoria perfecta, eventualmente aprenda a resolver el problema por su cuenta. Este enfoque funciona bien al principio, pero tiene un fallo oculto. En el mundo real, los estudiantes cometen errores. Cuando un estudiante tropieza, la situación cambia. La trayectoria en la que se encuentra ahora es diferente de la trayectoria perfecta que siguió el experto. Si el estudiante solo practica siempre en la trayectoria perfecta del experto, permanece sin preparación para las situaciones desordenadas e imperfectas que enfrentará en la realidad. Sabe cómo seguir al maestro, pero no sabe cómo recuperarse cuando se sale del camino.

Este es el desafío central que investigadores de la Universidad de Stanford y la Universidad de Nueva York se propusieron resolver para los agentes de inteligencia artificial. Estos agentes son modelos de lenguaje extensos diseñados para actuar en el mundo, ya sea buscando respuestas en la web, planificando tareas domésticas en una simulación basada en texto o escribiendo código para solucionar errores de software. Para enseñar a estos agentes, los desarrolladores suelen utilizar un método llamado ajuste fino supervisado, donde un modelo "maestro" potente genera ejemplos perfectos y un modelo "estudiante" más pequeño aprende a copiarlos. El enfoque estándar es alimentar al estudiante con miles de estas demostraciones perfectas de extremo a extremo. Sin embargo, los investigadores se dieron cuenta de que este método deja al estudiante mal equipado para manejar sus propios errores. Cuando el estudiante finalmente comete un error durante una tarea real, se encuentra en un contexto que nunca ha visto antes, porque el maestro nunca demostró qué hacer después de un tipo específico de fallo.

Para solucionar esto, el equipo propuso una nueva forma de generar datos de entrenamiento. En lugar de solo observar al maestro comenzar desde el principio y terminar el trabajo, dejan que el estudiante intente resolver el problema primero. Cuando el estudiante se queda atascado o toma un giro equivocado, los investigadores detienen al estudiante y le piden al maestro que intervenga para mostrar cómo continuar desde ese punto exacto de falla. Esto se conoce como datos "on-policy" (en la política), porque se generan basados en el comportamiento real del estudiante en lugar de una trayectoria perfecta hipotética. Pero esto planteó una nueva cuestión práctica: ¿cómo deberían los investigadores gastar sus recursos limitados? ¿Deberían dedicar su presupuesto a más demostraciones completas desde cero? ¿Deberían pedirle al maestro que escriba soluciones largas y detalladas por cada error que cometa el estudiante? ¿O deberían pedir solo unos pocos pasos rápidos para que el estudiante retome el rumbo?

Los investigadores trataron esto como un problema de asignación de presupuesto. Probaron diferentes estrategias en tres tipos distintos de tareas: responder preguntas complejas utilizando un motor de búsqueda, planificar acciones físicas en un entorno doméstico simulado y depurar código en una interfaz de línea de comandos. Compararon el método estándar de copiar demostraciones completas del experto contra su nuevo enfoque de pedir al maestro que proporcione correcciones cortas y dirigidas en los momentos en que el estudiante fallaba. Rastrearon cuidadosamente dos tipos de costos: la cantidad total de potencia informática utilizada para generar las respuestas del maestro y la cantidad de datos utilizados realmente para entrenar al estudiante.

Los resultados fueron claros y sorprendentes. En cada entorno que probaron, la estrategia de pedir solo unos pocos pasos de guía del maestro en los puntos específicos de falla del estudiante demostró ser la más eficiente. Cuando los investigadores limitaron al maestro a proporcionar solo un número pequeño de turnos —a veces, solo uno o tres pasos— para corregir la trayectoria del estudiante, el estudiante aprendió significativamente mejor que cuando fue entrenado con correcciones más largas y elaboradas. De hecho, pedir al maestro que escribiera una solución completa y perfecta desde el punto de falla a menudo desperdiciaba recursos. La longitud adicional no ayudó al estudiante a aprender; simplemente consumió más presupuesto sin mejorar el rendimiento.

El estudio encontró que unos pocos pasos del maestro, colocados exactamente donde el estudiante los necesitaba, eran mucho más valiosos que una conclusión más larga y curada. Por ejemplo, en las tareas de programación, un método que utilizó una pequeña fracción de los datos de entrenamiento habituales, combinado con estas correcciones cortas y sobre la marcha, permitió que el estudiante igualara el rendimiento de un sistema que había sido entrenado con un conjunto de datos masivo y luego sometido a un proceso complejo de aprendizaje por refuerzo de múltiples etapas. Los investigadores también descubrieron que filtrar las respuestas del maestro basándose en si eran "exitosas" o "perfectas" no siempre era el mejor uso de los recursos. A veces, ver cómo un maestro navega una situación difícil, incluso si el resultado final no es perfecto, era más instructivo que ver solo las trayectorias perfectas.

La conclusión clave es que la forma más efectiva de enseñar a un agente de IA no es mostrarle una película perfecta de cómo debe realizarse la tarea, sino intervenir brevemente en los momentos en que se pierde. Al gastar el presupuesto en correcciones cortas y dirigidas en lugar de en demostraciones largas, los desarrolladores pueden crear agentes más inteligentes que sean mejores para recuperarse de sus propios errores. La investigación sugiere que, para muchas tareas complejas, un poco de guía experta, entregada en el momento adecuado, llega muy lejos. Este enfoque permite un aprendizaje más eficiente, lo que significa que, con la misma cantidad de potencia de cómputo, podemos construir agentes que sean más robustos y capaces de manejar la naturaleza impredecible de los problemas del mundo real.

Planteamiento del Problema
El artículo aborda una ineficiencia fundamental en el ajuste fino supervisado (SFT) de agentes de Modelos de Lenguaje de Gran Escala (LLM). El SFT estándar se basa en el "clonación de comportamiento puro" (Pure BC), donde un modelo estudiante es entrenado con demostraciones completas de extremo a extremo generadas por un profesor capaz pero costoso. Este enfoque sufre de un desajuste de distribución: el estudiante es entrenado en contextos inducidos por las acciones perfectas del profesor, pero en el momento de la prueba, debe actuar sobre contextos inducidos por sus propias decisiones potencialmente imperfectas. Si bien trabajos recientes han adoptado la recolección de datos "on-policy" (consultando al profesor en los estados alcanzados por el estudiante) para mitigar esto, la cuestión central de diseño sigue sin resolverse: dado un presupuesto limitado de supervisión de profesor costosa, ¿cómo debe asignarse dicho presupuesto? ¿Se deben gastar los recursos en generar más demostraciones completas del profesor, continuaciones del profesor más largas tras los prefijos del estudiante, trayectorias filtradas por resultados o una cobertura más amplia de contextos inducidos por el aprendiz?

Metodología
Los autores enmarcan la construcción de datos on-policy como un problema de asignación de presupuesto, distinguiendo entre dos métricas de costo:

$C_i$ (Costo de Inferencia del Profesor): El total de tokens generados por el profesor antes de cualquier filtrado.
$C_{tr}$ (Costo de Entrenamiento Retenido): Los tokens retenidos para el entrenamiento SFT después del filtrado.

Para formalizar esto, el artículo propone un marco unificado de construcción de datos definido por una receta $G = (\rho, \pi_e, n, \Psi, T_{switch}, K, \Phi)$ , donde:

$\rho$ : La política que genera el contexto del prefijo (por ejemplo, el estudiante).
$\pi_e$ : La política del profesor.
$n$ : Número de intentos de propuesta por tarea.
$\Psi, \Phi$ : Filtros para contextos de prefijo y continuaciones.
$T_{switch}$ : La distribución para muestrear el tiempo de cambio (cuándo el profesor toma el control).
$K$ : El límite en el número de turnos del profesor en una continuación.
$\Phi$ : Reglas de filtrado post-continuación.

Los autores introducen una variante específica llamada OP-SHORT, que muestrea contextos de la trayectoria del estudiante, consulta al profesor para una continuación, pero limita estrictamente la longitud de la continuación a un pequeño número $K$ (por ejemplo, 1–5 turnos) sin filtrar por éxito. Esto se compara contra:

PURE-BC: Escalar el número de demostraciones completas del profesor.
OP-SUCCESS: Continuaciones completas del profesor filtradas solo por resultados exitosos.
OP-CRITICAL: Continuaciones completas del profesor filtradas para tareas donde el estudiante falló, mantenidas solo si el profesor tiene éxito.

Los experimentos se realizaron en tres benchmarks: HotpotQA (QA basado en búsqueda), ALFWorld (planificación incorporada basada en texto) y Terminal-Bench-Dev (codificación de línea de comandos).

Contribuciones Clave

Formulación de Asignación de Presupuesto: El artículo formaliza la construcción de datos SFT como un compromiso entre el costo de inferencia ( $C_i$ ) y el costo de entrenamiento ( $C_{tr}$ ), yendo más allá de la métrica genérica de "número de muestras de entrenamiento".
Marco Unificado: Proporciona un marco modular para describir y comparar explícitamente protocolos de aumentación de datos on-policy, aclarando cómo las elecciones en las políticas de despliegue, las distribuciones de tiempo de cambio y las longitudes de horizonte afectan la distribución del contexto inducido.
Hallazgos Empíricos sobre la Longitud de la Continuación: Los autores demuestran que las continuaciones del profesor acotadas y sin filtrar (OP-SHORT) son a menudo más rentables que las alternativas más largas o fuertemente filtradas. Específicamente, unos pocos pasos del profesor (un pequeño $K$ ) colocados en contextos inducidos por el aprendiz proporcionan señales de recuperación local suficientes sin los rendimientos decrecientes asociados con las completaciones más largas.

Resultados

HotpotQA: OP-SHORT con un $K$ pequeño (por ejemplo, $K=3$ ) superó a Pure BC con presupuestos equivalentes. Curiosamente, aumentar $K$ más allá de cierto punto (por ejemplo, $K=5$ ) provocó una degradación del rendimiento, lo que sugiere retornos no monotónicos. Los métodos filtrados (OP-SUCCESS, OP-CRITICAL) redujeron los tokens de entrenamiento ( $C_{tr}$ ) pero incurrieron en mayores costos de inferencia ( $C_i$ ) debido a las muestras rechazadas, lo que los hace menos eficientes cuando la inferencia del profesor es el cuello de botella.
ALFWorld: OP-SHORT superó consistentemente a Pure BC. Se encontró que la longitud de continuación óptima era $K=5$ , la cual superó a las continuaciones completas ( $K=\infty$ ) a pesar de usar menos tokens del profesor. Un ablativo sobre las proporciones de mezcla mostró que una combinación de datos de prefijo experto y datos on-policy es óptima, siendo la proporción ideal dependiente del presupuesto total.
Terminal-Bench-Dev: OP-SHORT con una pequeña fracción del corpus (10% de los datos de BC) y sin una etapa de aprendizaje por refuerzo (RL) igualó o superó el rendimiento de la línea base OpenThoughts-Agent, que utilizó el corpus completo seguido de una etapa de RL. Esto sugiere que el SFT on-policy dirigido puede recuperar las ganancias típicamente atribuidas al RL.

Significancia y Reivindicaciones
El artículo sostiene que la "cantidad correcta" de supervisión del profesor no es necesariamente "más" o "más larga", sino "mejor ubicada". Los autores argumentan que, una vez obtenido un estudiante inicial razonable vía Pure BC, el presupuesto adicional es mejor gastado en continuaciones acotadas del profesor en contextos inducidos por el aprendiz en lugar de en rollouts completos o filtrado pesado.

La significancia reside en una regla práctica para el post-entrenamiento de agentes bajo supervisión experta restringida:

Usar demostraciones puras del profesor para establecer un estudiante base.
Asignar el presupuesto restante a correcciones cortas y sin filtrar (unos pocos pasos) en los estados donde el estudiante actúa.
Evitar la suposición de que las completaciones más largas del profesor o el filtrado por éxito generan automáticamente un mejor rendimiento; en muchos casos, reducen la cobertura de estados distintos inducidos por el aprendiz, lo cual es crítico para corregir errores de acumulación.

Los autores señalan modestamente que sus hallazgos se basan en aumentación de una sola ronda y benchmarks verificables, y que la longitud de continuación óptima $K$ depende del dominio en lugar de ser una constante universal. No pretenden resolver el problema general del entrenamiento de agentes, sino ofrecen una estrategia eficiente en costos para la etapa de SFT.

Más como este