Resumen Técnico: Aprendizaje por Refuerzo Agente Auto-Distilado (SDAR)

Enunciado del Problema

El Aprendizaje por Refuerzo (RL) se ha convertido en un paradigma central para el entrenamiento posterior de agentes de Modelos de Lenguaje Grande (LLM), particularmente para interacciones de largo horizonte y múltiples turnos. Sin embargo, el RL estándar depende de señales de recompensa a nivel de trayectoria, las cuales proporcionan solo una supervisión gruesa para tareas complejas y multi-paso. Para abordar esto, se ha propuesto la Auto-Distilación en Política (OPSD) para introducir una guía densa a nivel de token desde una rama "profesora" aumentada con contexto privilegiado (por ejemplo, habilidades recuperadas).

A pesar de su atractivo teórico, transferir OPSD a agentes de múltiples turnos presenta dos desafíos críticos identificados en este trabajo:

1. Inestabilidad de múltiples turnos: A medida que el agente estudiante se desvía de la trayectoria soportada por el profesor, la supervisión a nivel de token se vuelve cada vez menos fiable. Esto conduce a errores acumulativos, un aumento explosivo de la divergencia KL por turno y una degradación catastrófica en el rendimiento de la tarea.
2. Confianza asimétrica en la guía privilegiada: En OPSD condicionada a habilidades, el profesor es la misma política aumentada con contexto privilegiado (como habilidades recuperadas), no un modelo intrínsecamente más fuerte. En consecuencia, una "brecha negativa" (donde el profesor asigna una probabilidad más baja a un token que el estudiante) no siempre implica que el token deba ser suprimido. Puede ser el resultado de una recuperación imperfecta de habilidades, habilidades irrelevantes o la incapacidad del profesor de fundamentar las habilidades en preferencias fiables. Tratar todas las señales del profesor por igual conduce a inestabilidad, especialmente cuando los tokens de brecha negativa constituyen una parte significativa de los datos de entrenamiento (observado como >50% en estudios preliminares).

Los enfoques híbridos existentes (por ejemplo, simplemente añadir la pérdida de OPSD al RL) o los métodos de currículo rígidos no logran resolver estos problemas, a menudo sufriendo gradientes de distilación ilimitados que abruman la señal de RL o dependiendo de horarios diseñados a mano que no se adaptan a las dinámicas a nivel de token.

Metodología: SDAR

Los autores proponen Aprendizaje por Refuerzo Agente Auto-Distilado (SDAR), un marco que trata OPSD como un objetivo auxiliar cuidadosamente controlado mientras mantiene el RL como la columna vertebral principal de optimización. La innovación central es un mecanismo de puerta adaptativo a nivel de token que modula la señal de distilación basándose en la fiabilidad de la guía del profesor.

1. Marco de Optimización

El objetivo de entrenamiento total combina la pérdida estándar de Optimización de Políticas Relativas de Grupo (GRPO) con una pérdida de auto-distilación con puerta:
$$\mathcal{L}(\theta) = \mathcal{L}_{GRPO}(\theta) + \lambda_{SDAR} \cdot \mathcal{L}_{SDAR}(\theta)$$

• $\mathcal{L}_{GRPO}$: La pérdida principal de RL, impulsada por recompensas del entorno y retroalimentación de verificadores, permanece intacta para preservar la optimización de políticas sin sesgo.
• $\mathcal{L}_{SDAR}$: La pérdida de distilación auxiliar, que se aplica selectivamente.

2. Mecanismo de Puerta a Nivel de Token

En lugar de aplicar la distilación uniformemente, SDAR calcula una puerta $g_t \in [0, 1]$ para cada token $t$ para controlar la intensidad de la influencia del profesor.

• Brecha Profesor-Estudiante ($\Delta_t$): Definida como la diferencia de log-probabilidad entre el profesor privilegiado y el estudiante: $\Delta_t = \log \pi_T(y_t | s^+_t) - \log \pi_\theta(y_t | s_t)$.
• Puerta Sigmoidal: La brecha se pasa a través de una función sigmoide con un parámetro de nitidez $\beta$:
  $$g_t = \sigma(\beta \cdot \Delta_t)$$
  Esto crea un peso suave y diferenciable que:
  • Amplifica la distilación para tokens de brecha positiva (donde el profesor respalda la elección del estudiante), tratándolos como guía de alta confianza.
  • Atenúa la distilación para tokens de brecha negativa (donde el profesor no está de acuerdo), evitando que el modelo siga ciegamente rechazos basados en habilidades potencialmente ruidosos o irrelevantes.
• Detener Gradiente: La puerta $g_t$ se desconecta del cálculo del gradiente. Esto asegura que la puerta actúe puramente como un peso de confianza, evitando bucles de optimización autorreferenciales y asegurando actualizaciones estables de primer orden.

3. Recuperación de Habilidades y Contexto

SDAR utiliza una rama "Auto-Profesor" que se condiciona en el contexto privilegiado $c^+$ (por ejemplo, habilidades recuperadas de un SkillBank). El marco evalúa la robustez a través de cuatro estrategias de recuperación: UCB (Límite Superior de Confianza), Coincidencia de Palabras Clave, Recuperación Completa y Recuperación Aleatoria. El mecanismo de puerta está diseñado para filtrar el ruido de habilidades recuperadas de baja calidad o irrelevantes.

Contribuciones Clave

1. Identificación de Confianza Asimétrica: El artículo establece que en el entrenamiento de agentes de múltiples turnos, la guía privilegiada es inherentemente asimétrica. Las aprobaciones positivas de un profesor con contexto privilegiado son fiables, pero los rechazos negativos pueden deberse a inestabilidad del contexto en lugar de a la calidad del token.
2. Puerta Adaptativa a Nivel de Token: SDAR introduce una estrategia de puerta novedosa que permite que cada token regule autónomamente su intensidad de distilación. Esto reemplaza los horarios rígidos y diseñados a mano con un currículo dinámico y auto-ritmado que opera en la granularidad más fina.
3. Estabilidad y Robustez: Al desacoplar la señal de distilación del objetivo principal de RL y aplicar una atenuación suave a las señales negativas, SDAR evita la inestabilidad catastrófica observada en combinaciones ingenuas de GRPO+OPSD.
4. Internalización del Conocimiento: A diferencia de los métodos que dependen de habilidades externas en el momento de la inferencia, SDAR internaliza con éxito el conocimiento privilegiado en los parámetros de la política, permitiendo un rendimiento sólido incluso sin habilidades recuperadas durante las pruebas.

Resultados Experimentales

Los autores evaluaron SDAR en tres benchmarks diversos: ALFWorld (IA encarnada), Search-QA (razonamiento aumentado con búsqueda) y WebShop (interacción de comercio electrónico). Los experimentos se realizaron en las familias de modelos Qwen2.5 (3B, 7B) y Qwen3 (1.7B).

• Mejoras de Rendimiento: SDAR supera sustancialmente a la línea base GRPO.
  • ALFWorld: +9.4% de mejora en Qwen2.5-3B.
  • Search-QA: +7.0% de mejora.
  • WebShop: +10.2% de mejora en Precisión (Qwen2.5-7B).
• Comparación con Híbridos: SDAR supera consistentemente a las líneas base híbridas como Skill-SD y RLSD en todas las escalas de modelos. Notablemente, evita el colapso del rendimiento observado en GRPO+OPSD ingenuo (que se degrada significativamente en modelos más pequeños como Qwen3-1.7B).
• Robustez ante la Calidad de Recuperación: Un hallazgo crítico es que SDAR se degrada de manera gradual con la calidad de la recuperación. Incluso con Recuperación Aleatoria (cero conciencia de la tarea), SDAR supera a la línea base GRPO pura. Esto confirma que el mecanismo de puerta filtra eficazmente el ruido de habilidades de baja calidad, extrayendo solo señales beneficiosas.
• Independencia en la Inferencia: SDAR logra resultados de vanguardia sin requerir recuperación de habilidades en el momento de la inferencia, demostrando una verdadera internalización del conocimiento. Por ejemplo, en ALFWorld con Qwen2.5-3B, SDAR (84.4%) supera a Skill-GRPO* (80.5%), que depende de habilidades en el momento de las pruebas.

Significado y Afirmaciones

El artículo afirma que SDAR ofrece una solución fundamentada a la inestabilidad de aplicar auto-distilación en el RL agente de múltiples turnos. Al tratar la distilación como un objetivo auxiliar con puerta en lugar de un motor principal o una restricción rígida, SDAR reconcilia la optimización gruesa impulsada por el entorno del RL con la guía densa a nivel de token del contexto privilegiado.

Los autores enfatizan que su enfoque no requiere un modelo profesor separado y más fuerte; en su lugar, aprovecha la misma política aumentada con contexto privilegiado, haciéndolo escalable y práctico. La capacidad del mecanismo de puerta para manejar la guía asimétrica —confiando en señales positivas mientras atenúa conservadoramente las negativas— se presenta como la clave para estabilizar el entrenamiento de múltiples turnos y permitir una generalización robusta a través de diferentes tamaños de modelos y dominios de tareas. El trabajo sugiere que para agentes de múltiples turnos, el RL debe permanecer como la columna vertebral principal, con la distilación sirviendo como un regulador dinámico a nivel de token en lugar de un supervisor estático.