Resumen Técnico: SAGE-OPD

Planteamiento del Problema

La destilación on-policy (OPD) ha emergido como un enfoque líder para el entrenamiento de modelos de razonamiento de pesos abiertos, alineando las políticas del estudiante con las distribuciones del profesor en trayectorias inducidas por el propio comportamiento del estudiante, mitigando así el sesgo de exposición inherente al ajuste fino supervisado (SFT) offline. Sin embargo, la investigación actual sobre OPD se centra predominantemente en tareas de generación de un solo turno. Al aplicarse a agentes de LLM multi-turno realistas, la OPD estándar encuentra limitaciones significativas:

1. Errores Acumulativos: En interacciones multi-turno, las acciones incorrectas tempranas alteran el estado del entorno, distorsionando las observaciones subsecuentes y dificultando cada vez más la recuperación. Esto crea un desplazamiento de distribución donde los historiales inducidos por el estudiante en turnos posteriores se vuelven cada vez más fuera de la distribución del profesor.
2. Fragilidad de la Alineación a Nivel de Token: La OPD estándar aplica una alineación densa a nivel de token de manera uniforme. Esto puede penalizar excesivamente alternativas semánticamente válidas del estudiante que difieren de la redacción específica o la descomposición local del profesor.
3. Refuerzo de Degeneraciones: Los gradientes densos pueden reforzar degeneraciones locales, como pensamientos o acciones repetitivas, si estos patrones reciben accidentalmente probabilidades favorables del profesor.
4. Supervisión No Confiable: A medida que los errores del estudiante se acumulan, la distribución predictiva del profesor sobre historiales corruptos puede volverse incierta. La aplicación uniforme de la OPD en estos escenarios propaga una supervisión poco fiable.

La pregunta central abordada es si la OPD multi-turno puede preservar los beneficios de la supervisión on-policy aplicando la misma de forma selectiva solo en los turnos donde la intervención es tanto necesaria como fiable.

Metodología: SAGE-OPD

Los autores proponen SAGE-OPD (Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation), un marco libre de verificadores diseñado para asignar selectivamente la supervisión del profesor. El método opera sobre tres componentes clave:

1. Intervención a Nivel de Turno

En lugar de tratar la trayectoria como una secuencia plana de tokens, SAGE-OPD segmenta la trayectoria en turnos basados en la retroalimentación del entorno. Para cada turno $t$, se determina una variable de intervención discreta $z_t \in \{\text{Skip, Weak, Strong}\}$ para modular la fuerza de la supervisión:

• Skip (Omitir): La respuesta del estudiante es aceptable o semánticamente flexible; no se aplica supervisión del profesor ($w_t = 0$).
• Weak (Débil): La respuesta es potencialmente subóptima pero incierta; se aplica una supervisión parcial ($w_t = \alpha$).
• Strong (Fuerte): La respuesta contiene errores claros (p. ej., llamadas a herramientas fallidas, acciones faltantes); se aplica supervisión completa ($w_t = 1$).

La asignación de $z_t$ sigue un procedimiento de dos etapas sin necesidad de un verificador:

1. Chequeo Determinista: Si la retroalimentación del entorno indica un fallo de ejecución claro (p. ej., una acción mal formada), el turno se asigna inmediatamente como Strong.
2. Juicio del Profesor: Para turnos ejecutables pero ambiguos, se consulta al profesor mediante un prompt proactivo para clasificar el turno en una de las tres categorías basándose en el historial y la retroalimentación.

2. Ponderación de Confianza del Profesor

Para abordar la falta de fiabilidad de la supervisión del profesor en historiales fuera de la distribución, SAGE-OPD introduce una puntuación de confianza $c_t$. Esta puntuación mide la certeza predictiva del profesor para el turno actual, calculada como la probabilidad promedio del top-1 a través de los tokens de la respuesta del estudiante:
$$c_t = \frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \max_{v} \pi_\phi(v | h_t, a_{t,<i})$$
El peso selectivo final $s_t$ para el turno $t$ es el producto del peso de intervención $i_t$ y la puntuación de confianza $c_t$:
$$s_t = i_t \cdot c_t$$
Esto asegura que la supervisión fuerte se aplique solo cuando la intervención se considera necesaria y la señal del profesor es fiable.

3. Normalización de la Pérdida

Multiplicar directamente la pérdida de la OPD por $s_t$ reduce la magnitud general del gradiente, lo que podría alterar la escala de optimización. Para aislar el efecto de la ponderación selectiva, SAGE-OPD aplica un factor de normalización $Z$ para preservar la escala de la pérdida total de la OPD estándar mientras mantiene la ponderación relativa por turno:
$$L_{\text{SAGE-OPD}} = Z \sum_{t=0}^{T-1} s_t L_{\text{OPD}}(h_t, a_t)$$
donde $Z$ normaliza la suma de los conteos de tokens ponderados para igualar la escala de la OPD estándar.

Principales Contribuciones

1. Propuesta de Marco de Trabajo: Introducción de SAGE-OPD, un marco de intervención selectiva libre de verificadores que preserva los beneficios on-policy evitando la destilación densa uniforme en todos los turnos generados por el estudiante.
2. Mecanismo de Tres Componentes: Identificación e integración de tres componentes complementarios:
   • Intervención a nivel de turno: Decide si se necesita supervisión.
   • Ponderación de confianza del profesor: Decide cuánto confiar en la señal a nivel de token.
   • Normalización de la pérdida: Asegura que la escala de la señal de entrenamiento sea comparable a la de la OPD estándar.
3. Validación Empírica: Demostración de efectividad a través de interacción corporal (ALFWorld), resolución de tareas científicas (ScienceWorld) y búsqueda de respuestas basada en búsqueda (SearchQA).

Resultados Experimentales

Los autores evaluaron SAGE-OPD utilizando modelos Qwen3 (0.6B, 1.7B, 8B, 32B) a través de múltiples pares profesor-estudiante.

• ALFWorld: SAGE-OPD logró hasta un 13.3% de mejora relativa en la tasa de éxito no vista sobre la OPD estándar. Por ejemplo, con un estudiante Qwen3-1.7B y un profesor Qwen3-8B, la tasa de éxito no vista mejoró del 61.94% (OPD Estándar) al 70.15%. También redujo consistentemente el número promedio de turnos requeridos para resolver tareas.
• ScienceWorld: SAGE-OPD logró las mejores tasas de éxito para el estudiante Qwen3-1.7B con profesores de 8B y 32B. Notablemente, mejoró la puntuación media de la tarea para el estudiante Qwen3-0.6B de -12.88 (OPD) a +3.89, aunque esto vino acompañado de un número de turnos promedio ligeramente mayor, lo que sugiere una exploración más sostenida.
• SearchQA: SAGE-OPD logró el mejor Exact Match (EM) promedio para el estudiante Qwen3-1.7B destilado de Qwen3-8B, mejorando de 30.09 a 30.77.
• Dinámica de Entrenamiento: El análisis mostró que, mientras la OPD estándar se satura temprano (alrededor del 60-63% de éxito en divisiones no vistas), SAGE-OPD continúa mejorando en las etapas posteriores del entrenamiento, lo que indica una mejor generalización en lugar de solo una convergencia inicial más rápida.

Significado y Reivindicaciones

El artículo sostiene que la destilación on-policy multi-turno efectiva debe seguir siendo on-policy, pero no requiere una supervisión densa a nivel de token. El significado de SAGE-OPD radica en su capacidad para:

• Mitigar Errores Acumulativos: Al omitir selectivamente los turnos aceptables e intervenir solo cuando es necesario, evita la propagación de señales de profesor poco fiables en historiales corruptos.
• Evitar la Sobrecorrección: Al distinguir entre alternativas semánticamente válidas y errores reales, evita penalizar comportamientos flexibles del estudiante que difieren de la redacción específica del profesor.
• Operar Sin Verificadores: A diferencia del Aprendizaje por Refuerzo con Recompensas Verificables (RLVR), SAGE-OPD no requiere un verificador externo o una señal de recompensa definida por el entorno, basándose en su lugar en la retroalimentación del entorno y el juicio del profesor.

Los autores concluyen que la supervisión del profesor debe asignarse selectivamente a los turnos donde la intervención es necesaria y fiable, en lugar de aplicarse uniformemente a través de toda la trayectoria.