Resumen Técnico: Políticas de Recuperación Conscientes de la Diferencia para el Aprendizaje por Imitación (DARP)

Planteamiento del Problema

El aprendizaje por imitación paramétrico mediante el Clonación de Comportamiento (BC) suele sufrir de una pobre generalización ante estados fuera de la distribución (OOD). Mientras que el BC minimiza el riesgo supervisado en los estados expertos, falla al controlar la varianza en regiones de baja densidad del espacio de estados encontradas durante los despliegues de bucle cerrado. Los errores pequeños se acumulan (desplazamiento de covariable), llevando al agente a estados donde la política aprendida produce un comportamiento de alta varianza e inestable, lo que conduce frecuentemente al fallo de la tarea. Las soluciones existentes para mitigar los errores de acumulación suelen requerir supuestos adicionales, tales como simuladores, retroalimentación experta interactiva o grandes cantidades de datos subóptimos, yendo más allá del régimen estándar de BC de aprender únicamente a partir de pares estado-acción de expertos.

Metodología

El artículo presenta las Políticas de Recuperación Conscientes de la Diferencia para el Aprendizaje por Imitación (DARP), un enfoque de recuperación semi-paramétrico que aborda estas limitaciones sin requerir recolección de datos o supervisión adicional.

Fundamento Teórico

Los autores establecen primero que imponer la consistencia local en el aprendizaje de políticas corresponde a la regularización de variedad (suavizado de Laplaciano). Definen un objetivo de Aprendizaje por Imitación Regularizado por Variedad (MRIL) que añade una penalización de suavidad al error estándar de BC, penalizando las variaciones de alta frecuencia entre estados expertos vecinos. El análisis teórico (Teorema 1) demuestra que el MRIL reduce la varianza del estimador, garantiza la continuidad de Lipschitz local y mejora la estabilidad de la política en comparación con el BC convencional.

Regularización Implícita vía Arquitectura

En lugar de optimizar explícitamente el objetivo regularizado (que requiere el ajuste de un hiperparámetro $\lambda$), el artículo propone el Aprendizaje por Imitación Regularizado por Variedad Implícito (iMRIL). Este enfoque logra los beneficios del suavizado de Laplaciano modificando la arquitectura de la política en lugar de la función de pérdida.

• Mecanismo: En lugar de aprender un mapeo directo $f(s)$, la política predice acciones basadas en un vecindad de $k$-vecinos más cercanos (k-NN) recuperados del conjunto de datos de entrenamiento.
• Equivalencia: Los autores demuestran (Teorema 2) que el iMRIL es equivalente a una regularización de Laplaciano libre de parámetros con una fuerza de suavizado efectiva de $\lambda \approx 1$. El paso de agregación de vecinos actúa como un filtro espectral de paso bajo fijo sobre el grafo k-NN, suprimiendo la varianza de alta frecuencia mientras preserva los modos de baja frecuencia.

Algoritmo DARP

DARP instancia el iMRIL con una parametrización específica diseñada para capturar la geometría local:

1. Recuperación: Para un estado de consulta $s_q$, el algoritmo recupera $k$-vecinos más cercanos $(s^*_i, a^*_i)$ del conjunto de datos experto $D^*$ basado en una métrica de distancia.
2. Parametrización Consciente de la Diferencia: La innovación central es la representación de entrada para la red neuronal $f_\theta$. En lugar de simplemente procesar el estado vecino, $f_\theta$ toma una tupla que consiste en:
   • El estado vecino $s^*_i$
   • La acción experta del vecino $a^*_i$
   • El vector de diferencia $\Delta s_i = s^*_i - s_q$
     Esto permite al modelo aprender cómo varían las acciones expertas bajo perturbaciones locales relativas al estado de consulta.
3. Agregación: La red produce acciones candidatas $a'_i = f_\theta(s^*_i, a^*_i, \Delta s_i)$. Estas candidatas se agregan mediante una función invariante a la permutación $g_\psi$ (por ejemplo, promedio simple, Set Transformer o una cabeza de modelo generativo) para producir la predicción de acción final $\hat{a}_q$.
4. Entrenamiento: El modelo se entrena utilizando el objetivo estándar de aprendizaje por imitación (minimizando la discrepancia entre la predicción agregada y la acción experta), lo que no requiere términos de pérdida adicionales ni hiperparámetros más allá del BC estándar.

Contribuciones Clave

1. Nuevo Algoritmo: La introducción de DARP, que reparametriza el aprendizaje por imitación en términos de diferencias relativas entre estados de consulta y vecinos recuperados, en lugar de mapeos directos de estado a acción.
2. Perspectiva Teórica: Una prueba formal de que la arquitectura propuesta realiza implícitamente un suavizado de Laplaciano, proporcionando reducción de varianza y garantías de estabilidad sin términos de regularización explícitos.
3. Diseño Semi-Paramétrico: Un método que combina la robustez de los métodos locales no paramétricos (recuperación) con la estabilidad de las políticas globales paramétricas, operando estrictamente dentro del régimen estándar de BC (sin datos o retroalimentación extra).
4. Análisis Arquitectónico: Identificación de componentes críticos, específicamente la necesidad de vectores de diferencia y agregación invariante a la permutación, a través de estudios de ablación exhaustivos.

Resultados Experimentales

Los autores evalúan DARP en control continuo (MuJoCo), manipulación robótica (Robosuite, RoboCasa) y tareas visuales de alta dimensión.

• Ganancias de Rendimiento: DARP supera consistentemente al Clonación de Comportamiento estándar y a otras bases (incluyendo Regresión Localmente Ponderada y métodos de regularización explícita). Las mejoras oscilan entre el 15% y el 46% en diversos dominios.
  • En tareas de locomoción de MuJoCo, DARP logró puntuaciones significativamente más altas que BC (por ejemplo, ~3545 frente a ~2313 en Hopper).
  • En tareas de manipulación de Robosuite y RoboCasa, DARP duplicó la tasa de éxito de BC en escenarios de ensamblaje de muebles en el mundo real (92% frente a 44%).
• Generalización: DARP mantiene las mejoras de rendimiento cuando se utilizan características visuales de alta dimensión (embeddings R3M) y distribuciones de acción multimodales (por ejemplo, Modelos de Mezcla Gaussiana, Modelos de Difusión).
• Hallazgos de Ablación:
  • Vectores de Diferencia: Eliminar el vector de diferencia ($\Delta s_i$) degrada significativamente el rendimiento, confirmando que aprender cambios relativos es crucial.
  • Invariancia a la Permutación: Usar un agregador dependiente de la permutación reduce drásticamente las tasas de éxito.
  • Selección de Vecinos: La selección de vecinos aleatorios funciona mal, validando la importancia de métricas de distancia significativas.
• Análisis de Divergencia: En los despliegues donde BC falla y DARP tiene éxito, el punto de divergencia ocurre cuando el estado de consulta es OOD (baja probabilidad de estado), pero el vector de diferencia relativo a los vecinos es in-distribución (alta probabilidad de delta). Esto respalda la hipótesis de que la reparametrización de DARP mejora la estabilidad de la predicción en regiones OOD.

Significado y Reivindicaciones

El artículo afirma que DARP ofrece una arquitectura general y escalable para el aprendizaje por imitación que se extiende naturalmente a representaciones complejas y distribuciones de acción. Al reparametrizar el problema para enfocarse en las estructuras de vecindad local y las diferencias relativas, DARP logra la robustez de los métodos locales y la estabilidad de las políticas globales regularizadas sin la carga computacional o de datos de los métodos avanzados existentes. Los autores sostienen que este enfoque proporciona una forma de suavizado libre de parámetros que se adapta a la densidad y geometría local del conjunto de datos, reduciendo significativamente la varianza de las políticas de BC y mejorando la robustez al desplazamiento de distribución, adhiriéndose estrictamente a los supuestos estándar de la clonación de comportamiento.