Resumen Técnico: El Aprendizaje por Clonación de Comportamiento no es Todo lo que Necesitas

Planteamiento del Problema

El artículo aborda un enigma central en el Aprendizaje por Imitación (IL): mientras que los resultados teóricos sugieren que los métodos offline como la Clonación de Comportamiento (BC) pueden lograr un rendimiento óptimo libre de horizonte en el entorno de experto limpio, la evidencia empírica en aplicaciones modernas (particularmente en el entrenamiento de Modelos de Lenguaje Extensos mediante Destilación On-Policy, o OPD) muestra consistentemente que los métodos online superan a los offline.

Los autores proponen un modelo de experto ruidoso para explicar esta discrepancia. En este escenario, el aprendiz no tiene acceso a una política de experto perfecta $\pi^\star$, sino a una versión corrupta $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$, donde $\eta$ es el nivel de ruido y $\nu$ es una distribución de ruido. El objetivo del aprendiz es aprender una política $\hat{\pi}$ que compita con la recompensa esperada del experto limpio $\pi^\star$, a pesar de tener acceso únicamente a trayectorias generadas por el experto ruidoso. Este modelo captura escenarios del mundo real como el entrenamiento de modelos de lenguaje sobre texto humano imperfecto, la destilación desde modelos maestros que no están totalmente convergidos, o tareas de razonamiento donde el "experto" es estocástico.

Metodología y Marco Teórico

Los autores analizan tanto los entornos de IL offline como online bajo este supuesto de experto ruidoso, utilizando la distancia de Hellinger entre distribuciones de trayectorias como un proxy para el regret (arrepentimiento).

1. Aprendizaje por Imitación Offline (El resultado de dificultad)

En el entorno offline, el aprendiz recibe un conjunto de datos fijo de $n$ trayectorias de $\pi^\star_\eta$.

• Análisis: Los autores demuestran que, para recuperar una política cercana al experto limpio $\pi^\star$, es necesario invertir el ruido. Derivan una cota que relaciona la distancia de Hellinger de las trayectorias limpias $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ con la distancia de Hellinger de las trayectorias ruidosas $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$.
• Hallazgo Clave: Sin suposiciones adicionales, la complejidad de muestreo requerida para competir con el experto limpio crece exponencialmente con el horizonte $H$ (específicamente, escalando como $(1-\eta)^{-H}$). Incluso con una "condición de dominación" (donde la distribución de ruido está dominada por la clase de políticas), la dependencia sigue siendo exponencial en $H$ si el ruido no es despreciable en relación con $1/H$.
• Límite Inferior (Lower Bound): Los autores prueban que esta dependencia exponencial es fundamental. Construyen un contraejemplo que muestra que cualquier algoritmo offline requiere una complejidad de muestreo exponencial en $H$ para lograr un error constante, lo que hace que el IL offline sea fundamentalmente intratable en entornos ruidosos de largo horizonte.

2. Aprendizaje por Imitación Online (La Solución)

En el entorno online, el aprendiz puede interactuar con el entorno, ejecutar su propia política y consultar al experto ruidoso para obtener las acciones en los estados visitados.

• Trayectorias Aumentadas: Los autores introducen el concepto de distribuciones de trayectorias aumentadas $P_{\pi, \pi'}$, donde el aprendiz ejecuta la política $\pi$ pero consulta al experto $\pi'$ para las acciones en cada estado. Esto permite al aprendiz comparar su propia distribución de trayectoria contra el comportamiento del experto en los mismos estados.
• Garantía Teórica: Demuestran que la suboptimidad de la política aprendida puede acotarse mediante la distancia de Hellinger (o la divergencia KL) entre las distribuciones de trayectorias aumentadas del aprendiz y del experto ruidoso. Crucialmente, bajo una condición de $\kappa$-dominación (donde la distribución de ruido está dominada por las políticas del experto y del aprendiz), esta cota es libre de horizonte. Incluso sin esta condición, la dependencia del horizonte es solo polinómica ($\sqrt{H}$), un contraste marcado con la dependencia exponencial en el caso offline.
• Algoritmo (NAIL): Los autores proponen NAIL (Agregación Robusta al Ruido para el Aprendizaje por Imitación). A diferencia de DAgger estándar, que aprende políticas paso a paso, NAIL agrega políticas a nivel de trayectoria utilizando pesos exponenciales sobre el log-verosimilitud negativa de las trayectorias aumentadas.
  • Corrupción Conocida: NAIL logra una cota de regret que escala como $H \sqrt{\log|\Pi|/n}$.
  • Corrupción Desconocida (Experto Determinista): Para el caso donde el experto es determinista y el ruido es "suave" (masa de probabilidad acotada en cualquier acción), los autores proponen NAILGUN. Este algoritmo logra una cota de regret libre de horizonte de $\log|\Pi|/n$ sin requerir el conocimiento del nivel de ruido $\eta$ o la distribución $\nu$.

Contribuciones Clave

1. Separación Teórica: El artículo establece una separación nítida entre el IL offline y online en presencia de expertos ruidosos. Demuestra que el aprendizaje offline es fundamentalmente difícil (exponencial en el horizonte) mientras que el aprendizaje online puede lograr garantías libres de horizonte o polinómicas respecto al horizonte.
2. Modelo de Experto Ruidoso: La introducción de un modelo general de experto ruidoso ($\pi^\star_\eta$) que explica el éxito empírico de la OPD sobre el Ajuste Fino Supervisado (SFT) en el entrenamiento de modelos de lenguaje, incluso cuando la arquitectura del maestro y del estudiante son idénticas (lo que descarta la especificación errónea como única causa).
3. Análisis de Trayectorias Aumentadas: La derivación de cotas que vinculan el rendimiento del experto limpio con la divergencia entre las distribuciones de trayectorias aumentadas ($P_{\hat{\pi}, \pi^\star_\eta}$ vs $P_{\hat{\pi}, \hat{\pi}_\eta}$), proporcionando una justificación teórica para los objetivos de destilación on-policy.
4. Algoritmos y Cotas:
   • NAIL: Un algoritmo para entornos de corrupción conocida con complejidad de muestreo casi óptima.
   • NAILGUN: Un algoritmo para entornos de corrupción desconocida (experto determinista) que logra garantías libres de horizonte.
   • Límites Inferiores: Límites inferiores coincidentes que demuestran la optimalidad de los algoritmos propuestos hasta factores constantes.

Resultados Experimentales

Los autores validan su teoría en dos tareas:

1. Suma Modular (Sintética): Una tarea que requiere una cadena de pensamiento para sumar números módulo 7.
   • Experto Limpio: El BC offline (SFT) se desempeña mejor, consistente con la teoría.
   • Experto Ruidoso: El BC offline y la OPD estándar fallan en aprender. Las variantes propuestas de NAIL (minimizando la KL directa/inversa en trayectorias aumentadas) logran una precisión perfecta.
2. GSM-8K (Lenguaje Natural): Un benchmark de razonamiento matemático utilizando modelos Gemma.
   • Experto Limpio: Los métodos online superan al BC offline.
   • Experto Ruidoso: Solo las variantes de NAIL siguen siendo efectivas, logrando una precisión no trivial, mientras que la OPD estándar y el SFT fallan completamente (0% de precisión).

Estos resultados confirlıman que las funciones de pérdida derivadas del análisis teórico (específicamente aquellas que involucran trayectorias aumentadas) son más robustas al feedback de un experto ruidoso que los objetivos estándar de aprendizaje supervisado.

Significado y Reivindicaciones

El artículo afirma proporcionar una base teórica de por qué la destilación on-policy (OPD) supera al ajuste fino supervisado estándar (SFT) al entrenar modelos de lenguaje a partir de maestros imperfectos.

• Explicación de Fenómenos Empíricos: Resuelve la brecha entre "teoría y práctica" en IL al mostrar que el supuesto de un experto "limpio" se viola frecuentemente en la práctica (debido al ruido en los datos humanos o modelos maestros imperfectos), y que bajo tal ruido, la interacción online no es solo beneficiosa, sino necesaria para evitar una complejidad de muestreo exponencial.
• Función de Pérdida Principista: El análisis conduce a una función de pérdida alternativa (minimizando la divergencia en trayectorias aumentadas) que se considera empíricamente para el entrenamiento de LM pero que carecía de justificación rigurosa. El artículo proporciona dicha justificación.
• Limitaciones: Los autores son modestos en sus afirmaciones, señalando que sus resultados dependen de clases de políticas finitas, modelos de corrupción idealizados y supuestos específicos (como expertos deterministas para el caso de corrupción desconocida). Reconocen que traducir estos resultados directamente a la práctica requiere más trabajo en modelos de ruido más sofisticados y experimentos de escala.

En resumen, el artículo argumenta que la Clonación de Comportamiento no es todo lo que necesitas cuando los expertos son ruidosos; en su lugar, la Destilación On-Policy es teóricamente óptima para recuperar el comportamiento de un experto limpio a partir de datos ruidosos en tareas de largo horizonte.