Resumen Técnico: TurnOPD

Planteamiento del Problema

La destilación on-policy (OPD) es un marco prometedor para el entrenamiento de agentes de lenguaje, donde un modelo estudiante aprende de un profesor más fuerte mediante el emparejamiento de la distribución del profesor sobre las propias trayectorias generadas por el estudiante. Sin embargo, la aplicación de la OPD convencional a tareas de agente de largo horizonte (que involucran interacciones de múltiples turnos, uso de herramientas y cambios en el entorno) revela dos ineficiencias críticas que degradan el rendimiento del entrenamiento y la utilización de recursos:

1. Desajuste Externo (Profundidad de Rollout): La OPD convencional suele utilizar rollouts de horizonte completo y longitud fija. Los autores identifican que la señal de supervisión de la divergencia KL inversa está fuertemente sesgada hacia los turnos iniciales. A medida que el entrenamiento progresa y las trayectorias se extienden, los turnos del "final" suelen proporcionar señales KL débiles, ruidosas o poco informativas. Continuar computando rollouts de longitud completa desperdicia recursos de tiempo de ejecución en estos pasos de bajo rendimiento.
2. Desajuste Interno (Asignación de Pérdida): Los objetivos de KL estándar a nivel de trayectoria normalizan la pérdida basándose en el recuento de tokens. Dado que los turnos iniciales suelen contener más tokens y una divergencia KL inicial más alta, estos dominan el presupuesto de pérdida. En consecuencia, los turnos de decisión más profundos —que son cruciales para el éxito en horizontes largos pero contienen menos tokens y una KL bruta menor— reciben una supervisión insuficiente. Los autores formalizan esto como un mecanismo de contaminación-compresión: a medida que el estudiante genera más contexto, la distribución del siguiente token se vuelve cada vez más "forzada" por el formato o patrones repetitivos, comprimiendo la KL observable incluso si persisten desacuerdos genuinos en la política. Esto conduce a un escenario donde los turnos profundos están subentrenados una vez que los comportamientos iniciales se alinean.

Metodología: TurnOPD

Para abordar estos desajustes, los autores proponen TurnOPD, una estrategia de presupuesto a nivel de turno que gestiona dinámicamente tanto el horizonte de rollout como la asignación de la pérdida. TurnOPD consta de dos controladores adaptativos:

1. Presupuesto de Profundidad de Rollout Adaptativo

Este controlador determina dinámicamente la longitud óptima del rollout ($H_{ctrl}$) para evitar el desperdicio de cómputo en los turnos finales de baja señal. Sintetiza dos señales:

• Proxy de Eficiencia ($H_{eff}$): Calcula el centroide de la distribución de la divergencia KL inversa ponderada por supervivencia. Trata la señal KL como una distribución de masa de destilación, desplazando la profundidad objetivo basándose en dónde se concentran las señales de corrección significativas.
• Límite Inferior de Cobertura ($H_{cov}$): Asegura que el rollout sea lo suficientemente profundo como para cubrir un percentil específico (por ejemplo, el 80%) de las trayectorias exitosas. Esto evita que el controlador trunque los rollouts de forma demasiado agresiva, garantizando que el estudiante aún observe suficientes finalizaciones exitosas.
• Mecanismo: El controlador actualiza $H_{ctrl} = \max(H_{eff}, H_{cov})$ utilizando rollouts de sondeo de longitud completa periódicos para estimar las estadísticas, mientras que los pasos de entrenamiento rutinarios utilizan el horizonte limitado.

2. Presupuesto de Pérdida Progresivo Normalizado por Turno

Este controlador aborda el desajuste interno desplazando gradualmente la estrategia de agregación de pérdida de un nivel de token a una supervisión balanceada por turno.

• Mezcla Lineal: En lugar de un cambio abrupto, el método interpola linealmente entre el peso estándar a nivel de trayectoria (proporcional al recuento de tokens, $q_{traj}$) y un peso uniforme a nivel de turno ($q_{turn}$).
• Progresión: El coeficiente de mezcla $\alpha$ aumenta linealmente con el progreso del entrenamiento. Inicialmente ($\alpha \approx 0$), la pérdida sigue la masa de los tokens para asegurar la estabilidad. A medida que el entrenamiento avanza, $\alpha$ aumenta, desplazando el peso hacia los turnos más profundos para asegurar que reciban la supervisión adecuada para refinar la toma de decisiones complejas.

Contribuciones Clave

1. Diagnóstico a Nivel de Turno: El artículo proporciona un análisis sistemático de la OPD en entornos de largo horizonte, revelando que las señales de supervisión y los presupuestos de optimización se distribuyen de manera no uniforme a través de los turnos. Identifica el fenómeno de "contaminación-compresión" donde las restricciones inducidas por el contexto suprimen artificialmente la KL observable en los turnos profundos.
2. Formalización de Desajustes: Los autores formalizan el "desajuste externo" (profundidad fija vs. utilidad de señal variable) y el "desajuste interno" (pérdida ponderada por tokens vs. importancia a nivel de turno) como las causas raíz de la ineficiencia de la OPD convencional.
3. Marco TurnOPD: La propuesta de un sistema de doble controlador que adapta la profundidad del rollout y la normalización de la pérdida simultáneamente, diseñado específicamente para la naturaleza de interacción condicionada por turnos.
4. Validación Empírica: Experimentos extensos que demuestran que TurnOPD avanza la frontera de precisión-tiempo, logrando un rendimiento superior con un tiempo de entrenamiento significativamente reducido en comparación con la OPD vanilla y otros baselines.

Resultados Experimentales

Los autores evaluaron TurnOPD en tres benchmarks representativos: ALFWorld (planificación encarnada), WebShop (navegación web) y Multi-Hop Search (recuperación de información). Utilizaron varios pares estudiante-profesor (por ejemplo, estudiantes Qwen3-1.7B/4B destilados de profesores Qwen3-8B/9B).

• Frontera de Precisión-Tiempo: TurnOPD alcanzó consistentemente la mejor "Precisión de Menor Tiempo" (la precisión más alta alcanzada dentro del tiempo de ejecución mínimo requerido para que cualquier método complete 100 pasos).
  • En ALFWorld-1.7B, TurnOPD mejoró el Same-Step Avg@4 de 83.0 (Vanilla OPD) a 86.3, reduciendo el tiempo de ejecución de 4.42 horas a 1.93 horas (una aceleración de 2.29×).
  • En WebShop, mejoró la precisión reduciendo el tiempo de 1.57h a 1.24h.
  • En Multi-Hop Search, logró la mejor precisión de Menor Tiempo, superando a la OPD vanilla bajo presupuestos de tiempo compartidos.
• Estudios de Ablación:
  • Solo Profundidad Adaptativa: Redujo significativamente el tiempo de ejecución (en aproximadamente un 55%) pero degradó ligeramente la precisión, confirmando que acortar los rollouts ahorra cómputo pero no resuelve el problema de la asignación de pérdida.
  • Solo Mezcla Lineal de Normalización: Mejoró la precisión al reasignar la pérdida a los turnos profundos, pero no redujo el tiempo de ejecución.
  • Combinado: El enfoque completo de TurnOPD logró el compromiso óptimo, aprovechando tanto la eficiencia como los palancas de optimización.
• Dinámica del Controlador: El análisis mostró que el controlador adaptativo rastreó con éxito las señales diagnósticas, aumentando la profundidad del rollout a medida que emergían trayectorias exitosas, equilibrando la eficiencia con las restricciones de cobertura.

Significado y Reivindicaciones

El artículo afirma que TurnOPD ofrece un marco más eficiente y efectivo para entrenar agentes de lenguaje de largo horizonte. Su principal significado radica en el cambio del paradigma de supervisión de una posición de token plana a una decisión condicionada por el turno dentro de un trazo de interacción en evolución.

Los autores sostienen que:

• La supervisión KL estándar y la normalización a lo largo de trayectorias completas son insuficientes para agentes de largo horizonte debido a los desajustes estructurales específicos identificados.
• TurnOPD avanza la frontera de precisión-tiempo, permitiendo que los agentes alcancen niveles de rendimiento más altos con un entrenamiento hasta 2.29× más rápido.
• El enfoque es robusto en diferentes tamaños de modelo y tipos de tareas, lo que sugiere que el presupuesto consciente del turno es un principio generalizable para el entrenamiento de agentes.

El artículo concluye que TurnOPD abre un camino hacia el entrenamiento consciente del turno y adaptativo al presupuesto, abordando los desafíos específicos de las tareas de agente de largo horizonte que los objetivos de generación de secuencias vanilla no logran resolver.