Resumen Técnico: Auto-destilación Comparativa Verificada por Resultados para Agentes LLM

Planteamiento del Problema

Los avances recientes en los agentes de Modelos de Lenguaje de Gran Escala (LLM) han desplazado el enfoque desde la elicitación de capacidades externas (depender de la recuperación o herramientas externas durante la inferencia) hacia la internalización de capacidades (incrustar habilidades directamente en los parámetros del modelo). Si bien la Auto-destilación On-Policy (OPSD) ofrece un camino prometedor para la internalización mediante el uso de un profesor privilegiado (equipado con habilidades) para supervisar a un estudiante carente de habilidades, los métodos existentes sufren de dos limitaciones críticas:

1. Preferencias del Profesor no Validadas: Los métodos actuales suelen puntuar las acciones del estudiante basándose en las preferencias locales del profesor. Sin embargo, una acción con una puntuación alta no garantiza el éxito final de la tarea en tareas de largo horizonte, y una puntuación baja no indica la alternativa correcta. Las preferencias del profesor no son verificadas por los resultados reales del entorno.
2. Información Subutilizada: Los enfoques existentes no logran explotar plenamente la relación entre las trayectorias del estudiante y del profesor. A menudo descartan las ejecuciones fallidas del estudiante o tratan las trayectorias del profesor de manera uniforme, ignorando el estado específico donde el estudiante falló y el profesor tuvo éxito. Carecen de un mecanismo para alinear las trayectorias en el punto de divergencia de comportamiento para aislar la decisión correctiva.

Metodología: Auto-destilación Comparativa Verificada por Resultados (OVCSD)

OVCSD es un marco de aprendizaje on-policy diseñado para internalizar la guía privilegiada a través de interacciones exitosas con el entorno en lugar de depender únicamente de las puntuaciones del profesor. El método se basa en tres observaciones clave derivadas del análisis de las ejecuciones fallidas del estudiante:

1. Estructura de Estado Compartido: Las trayectorias fallidas a menudo comparten prefijos intermedios válidos a pesar de recibir recompensas de fallo terminal idénticas.
2. Dependencia del Estado y del Resultado: La utilidad de la intervención depende del estado específico alcanzado, y las acciones del profesor deben ser verificadas por los resultados del entorno para ser confiables.
3. Comparabilidad Consciente de la Alineación: La relación entre una rama fallida del estudiante y una rama exitosa del profesor cambia en su primer punto de divergencia alineado con el estado. Antes de este punto, los comportamientos son idénticos; en la divergencia, difieren; después, las historias se separan.

Componentes Principales

1. Intervención Adaptativa Verificada por Resultados

• Construcción de Árbol de Prefijos: OVCSD organiza las trayectorias fallidas del estudiante en un árbol de prefijos para identificar estados intermedios compartidos.
• Retroceso Adaptativo (Adaptive Backtracking): En lugar de un punto de intervención fijo, el sistema prioriza los nodos más profundos del árbol para preservar el progreso válido del estudiante. Si un profesor no puede recuperarse de un estado profundo, retrocede a ancestros más superficiales.
• Verificación de Resultados: Un profesor privilegiado (política congelada con contexto de habilidad) actúa desde el estado restaurado del estudiante. Crucialmente, la continuación del profesor solo se acepta si completa la tarea con éxito según la recompensa del entorno. Esto asegura que la supervisión esté fundamentada en el éxito ejecutable, no solo en la verosimilitud.

2. Aprendizaje Comparativo Consciente de la Alineación
OVCSD emplea dos objetivos complementarios basados en el punto de divergencia ($d$) entre la continuación verificada del profesor y las ramas fallidas del estudiante:

• Corrección de Divergencia Localizada: En el primer punto de divergencia alineado con el estado, OVCSD aplica un objetivo comparativo localizado. Aumenta la probabilidad de la acción verificada del profesor mientras disminuye las probabilidades de las alternativas fallidas del estudiante. Esto se logra computando una señal de ventaja normalizada donde la acción del profesor recibe una ventaja positiva y las alternativas fallidas del estudiante reciben una ventaja negativa.
• Destilación de Sufijo Post-Divergencia: Después del punto de divergencia, la trayectoria restante del profesor (el sufijo) se destila en la política del estudiante carente de habilidades mediante un objetivo de divergencia de Kullback-Leibler (KL). Esto enseña al estudiante cómo completar la tarea una vez que se ha tomado la decisión correcta.

3. Entrenamiento e Inferencia
El objetivo total de entrenamiento combina la actualización de la ventaja localizada y la pérdida de destilación de sufijo. Durante la inferencia, OVCSD despliega la política resultante carente de habilidades sin necesidad de recuperación de habilidades, construcción de árboles de prefijos o interacción con el profesor.

Contribuciones Clave

1. Auto-destilación Verificada por Resultados: La introducción de OVCSD, un marco que internaliza la guía privilegiada a través de la interacción exitosa con el entorno en lugar de depender de puntuaciones de profesor no verificadas.
2. Aprendizaje Consciente de la Alineación: La identificación de la comparación alineada con el estado como el mecanismo crítico para aprender del comportamiento exitoso del profesor y la exploración fallida del estudiante en tareas de múltiples turnos, específicamente separando la decisión correctiva del comportamiento de finalización.
3. Rendimiento de Estado del Arte sin Habilidades: Demostrar que OVCSD logra las mejores tasas de éxito sin habilidades a través de múltiples escalas de modelos y benchmarks, superando significativamente a las líneas base de RL y auto-destilación existentes.

Resultados Experimentales

Los experimentos se realizaron en ALFWorld (tareas domésticas) y WebShop (búsqueda de comercio electrónico) utilizando tres escalas de modelos (Qwen3-1.7B, Qwen2.5-3B y Qwen2.5-7B).

• Ganancias de Rendimiento: OVCSD superó consistentemente a las líneas base más fuertes.
  • En ALFWorld, logró ganancias absolutas en la tasa de éxito de hasta 29.7 puntos sobre la línea base más fuerte (SDAR).
  • En WebShop, logró ganancias de hasta 5.4 puntos.
  • Las mejoras fueron particularmente pronunciadas en tareas compositivas (ej. Heat, Cool, Pick2) que requieren múltiples decisiones dependientes.
• Eficiencia: El método añadió menos del 3% de interacción privilegiada (pasos del entorno) durante el entrenamiento. Al compararse contra las acciones acumuladas del entorno, OVCSD alcanzó la tasa de éxito final de GRPO con 2.1 veces menos acciones, lo que indica que las ganancias no son simplemente el resultado de un aumento en el presupuesto de muestreo.
• Estudios de Ablación:
  • Eliminar la actualización de la ventaja localizada o la destilación de sufijo redujo significativamente el rendimiento, confirmando la necesidad de ambas señales.
  • Eliminar la verificación de resultados o usar anclajes de intervención aleatorios redujo la eficiencia del proceso de aprendizaje y el número de ramas verificadas.
  • El análisis de la política mostró que OVCSD induce una preferencia localizada por las acciones del profesor específicamente en los puntos de divergencia, mientras que el GRPO estándar no muestra tal concentración.

Significado

El artículo sostiene que OVCSD proporciona un enfoque efectivo para la internalización de capacidades al abordar la fragilidad de las preferencias del profesor en tareas de largo horizonte. Al organizar los fallos en un árbol de prefijos y aplicar la verificación de resultados, el método asegura que el estudiante aprenda de comportamientos ejecutables y exitosos en lugar de preferencias hipotéticas. La separación de la decisión correctiva (divergencia) del comportamiento de finalización (sufijo) permite un aprendizaje más preciso y eficiente, permitiendo que los agentes sin habilidades realicen tareas complejas de múltiples pasos con altas tasas de éxito sin depender de la recuperación externa en el momento de la inferencia.