Resumen Técnico: Aprendizaje por Imitación mediante Crítica de Lenguaje a partir de Demostraciones Subóptimas

Declaración del Problema

El aprendizaje por imitación (IL) a partir de demostraciones subóptimas busca aprender políticas robustas aprovechando trayectorias abundantes e imperfectas junto con datos de expertos limitados. Sin embargo, los métodos existentes dependen típicamente de señales de supervisión escalares comprimidas —como estimaciones de confianza, puntuaciones de discriminadores, pesos de importancia o recompensas— para distinguir comportamientos útiles del ruido. Los autores argumentan que estas señales escalares son inherentemente limitadas porque no pueden expresar explícitamente el razonamiento intermedio respecto al progreso de la tarea, modos de fallo específicos o acciones correctivas. En consecuencia, a menudo no logran capturar la información estructurada necesaria para el aprendizaje en tareas de largo horizonte o multimodales donde el éxito depende de decisiones sutiles y específicas de cada etapa.

Metodología

El artículo propone el Aprendizaje por Imitación mediante Crítica de Lenguaje (Language-Critique Imitation Learning), un marco de trabajo offline que reemplaza las señales escalares con lenguaje natural como una señal de supervisión estructurada. El método consta de tres componentes principales:

1. Generación de Etiquetas de Lenguaje Estructuradas

Para evitar la variabilidad y el coste de la anotación humana o la generación de modelos de lenguaje de gran tamaño (LLM) de forma libre, los autores introducen un Generador de Etiquetas de Lenguaje ($\mu_g$) determinista. Para cualquier par estado-acción $(s, a)$, $\mu_g$ extrae heurísticas específicas de la tarea (por ejemplo, distancia al objeto, estado de la pinza) y las dirige a tres selectores específicos para generar una etiqueta de lenguaje compuesta $l$:

• Progreso de la Tarea ($<T>$): Describe la etapa semántica actual de la tarea (por ejemplo, "acercándose al objeto", "moviéndose hacia el objetivo").
• Optimalidad de la Acción ($<A>$): Evalúa si la acción es beneficiosa, ineficaz o perjudicial para el contexto actual (por ejemplo, "La acción es buena", "La acción es mala").
• Guía de Movimiento ($<M>$): Proporciona instrucciones correctivas detalladas (por ejemplo, "Moverse a la derecha suavemente", "Inclinarse hacia la parte inferior").

Este enfoque estructurado garantiza que las etiquetas sean consistentes, reproducibles y directamente relevantes para la tarea de control sin depender de información privilegiada del entorno.

2. Captioner de LLM Diferenciable ($\mu_\phi$)

Para permitir la optimización de la política de extremo a extremo, las etiquetas de lenguaje discretas generadas por $\mu_g$ se destilan en un Captioner de LLM diferenciable ($\mu_\phi$). Este modelo, construido sobre un LLM preentrenado (específicamente SmolLM2) y un proyector MLP, mapea pares estado-acción a la distribución de etiquetas de lenguaje estructuradas.

• Entrenamiento: $\mu_\phi$ es ajustado (fine-tuned) en el conjunto de datos general (que contiene tanto datos de expertos como subóptimos) utilizando una pérdida de entropía cruzada a nivel de token para imitar a $\mu_g$.
• Rol: Una vez entrenado, $\mu_\phi$ actúa como un crítico diferenciable congelado que puede evaluar la verosimilitud de que la acción $\hat{a}$ de una política produzca la etiqueta de lenguaje del experto $l^E$.

3. Pérdida de Crítica de Lenguaje ($L_{LC}$)

El objetivo central de aprendizaje es la Pérdida de Crítica de Lenguaje, que entrena directamente la política $\pi_\theta$ utilizando las señales estructuradas de $\mu_\phi$ sin reducirlas a escalares.

• Mecanismo: La pérdida penaliza las acciones de la política que hacen que la etiqueta de lenguaje del experto sea menos probable que la acción del experto misma. Se formula como una diferencia recortada entre la pérdida de entropía cruzada de la política y la pérdida de entropía cruzada del experto:
  $$L_{LC}(\pi_\theta, \pi_E) = [L_{CE}(\pi_\theta) - \text{sg}(L_{CE}(\pi_E))]_+$$
  donde $[x]_+ = \max(x, 0)$ y $\text{sg}$ denota el operador stop-gradient.
• Instanciaciones:
  • LC-BC: Aplicado al Behavior Cloning (BC) estándar de alimentación hacia adelante (feedforward).
  • LC-DP: Aplicado a Políticas de Difusión (Diffusion Policies). Dado que los modelos de difusión predicen ruido en lugar de acciones, la pérdida se aplica a la acción reconstruida de un paso $\hat{a}_0$. Se introduce un factor de reponderación dependiente del paso de tiempo $\omega_k$ para equilibrar la contribución de los diferentes pasos de difusión, asegurando que la pérdida se alinee con el objetivo estándar de difusión.

Contribuciones Clave

1. Marco de Trabajo: Introducción de un marco de crítica de lenguaje que utiliza el lenguaje natural como una señal de supervisión estructurada y no escalar para el aprendizaje por imitación a partir de demostraciones subóptimas.
2. Algoritmo: Desarrollo de LC-BC y LC-DP, que integran la supervisión guiada por lenguaje en políticas de clonación de comportamiento y de difusión, respectivamente.
3. Garantía Teórica: Una prueba teórica que muestra que la minimización de la brecha de crítica de lenguaje acota superiormente la brecha de rendimiento entre el experto y la política bajo supuestos estándar (realizabilidad de características lineales y suficiencia del lenguaje).
4. Validación Empírica: Evaluación exhaustiva en ocho tareas diversas de control continuo (navegación, manipulación, juego de video) demostrando un rendimiento superior constante sobre las líneas base fuertes.

Resultados Experimentales

Los autores evaluaron sus métodos en ocho tareas: MAZE, PARKING, SWEEP, BOX-CLOSE, BLOCKPUSH, PEGINSERT, HAMMER y RELOCATE.

• Rendimiento frente a Líneas Base: LC-BC y LC-DP superaron consistentemente o igualaron a las líneas base fuertes de aprendizaje por imitación (por ejemplo, DemoDICE, DWBC, ILID) y métodos de RL offline (por ejemplo, CQL, TD3+BC, Decision Transformer, Diffusion Policy).
  • Se observaron ganancias notables en tareas multimodales (BLOCKPUSH) y de control de precisión (PEGINSERT, HAMMER). Por ejemplo, en BLOCKPUSH, LC-BC mejoró las tasas de éxito del 34.4% (BC estándar) al 47.2%.
  • En la tarea de precisión PEGINSERT, LC-DP mantuvo una clara ventaja sobre la Política de Difusión estándar, mientras que LC-BC mostró mejoras modestas, lo que sugiere que las políticas de difusión integran mejor la guía de lenguaje de alto nivel a través del proceso iterativo de eliminación de ruido (denoising).
• Datos de Calidad Mixta: El método siguió siendo efectivo incluso cuando el conjunto de datos del experto no estaba limpiamente separado, utilizando heurísticas basadas en lenguaje para filtrar los datos subóptimos de un conjunto de datos mixto.
• Estudios de Ablación:
  • Estructurado vs. Escalar: Los métodos que utilizaron etiquetas de lenguaje superaron significativamente a las variantes que colapsaban las etiquetas en una recompensa escalar (LC-BC-reward) o en clases categóricas discretas (LC-BC-classifier), confirmando el valor de preservar la expresividad del lenguaje natural.
  • Importancia de los Componentes: Se encontró que los tres componentes ($<T>, <A>, <M>$) son complementarios; eliminar cualquiera de ellos degradó el rendimiento.
  • Fuente de la Etiqueta: El generador estructurado $\mu_g$ resultó ser superior a las etiquetas generadas por VLMs de forma abierta (por ejemplo, de o4-mini) debido a una mejor consistencia semántica y alineación de características, particularmente para la guía de movimiento de grano fino.

Significado y Reivindicaciones

El artículo afirma que el lenguaje natural sirve como una forma de supervisión poderosa y estructurada que es superior a las señales escalares comprimidas para aprender de datos subóptimos. Al describir explícitamente el progreso de la tarea, los modos de fallo y las acciones correctivas, las etiquetas de lenguaje proporcionan la información estructurada necesaria para guiar las políticas en entornos complejos, de largo horizonte y multimodales.

Los autores enfatizan que su enfoque no solo utiliza el lenguaje como un apoyo descriptivo, sino como una señal de supervisión directa y diferenciable que permite un aprendizaje de política robusto sin requerir interacción adicional con el entorno o datos de expertos. Los resultados teóricos fundamentan aún más este éxito empírico, mostrando que el objetivo propuesto controla la brecha de rendimiento respecto a la política del experto. El trabajo sugiere que el lenguaje puede cerrar eficazmente la brecha entre los datos de expertos limitados y los abundantes datos subóptimos, ofreciendo un camino escalable hacia un aprendizaje por imitación robusto en control continuo.