Ergodic Imitation for Adaptive Exploration around Demonstrations

Resumen Técnico: Imitación Ergódica para Exploración Adaptativa alrededor de Demostraciones

Enunciado del Problema
En robótica, el aprendizaje por imitación (IL) enfrenta un desafío crítico: la discrepancia entre las condiciones de entrenamiento y los entornos de despliegue, causada por cambios ambientales, observaciones imperfectas o errores de control. Cuando un robot intenta seguir una trayectoria nominal bajo tales discrepancias, a menudo queda atrapado y falla en completar la tarea. Aunque los modelos generativos profundos se han utilizado para IL, con frecuencia sobreajustan a los datos de demostración, memorizando secuencias de acciones específicas en lugar de aprender políticas generalizables. En consecuencia, los enfoques actuales permanecen frágiles ante mínimos desplazamientos de distribución. Además, los métodos existentes de exploración adaptativa están en gran medida restringidos a transiciones discretas, careciendo de las capacidades de exploración continua requeridas para ajustes sutiles en el espacio de estados en tareas como el ensamblaje robótico. El problema central es la necesidad de una estrategia en línea que permanezca fundamentada en demostraciones, pero que pueda adaptativamente transitar desde el seguimiento rígido hacia la exploración cuando el entorno se desvía de la distribución de entrenamiento.

Metodología
Los autores proponen un enfoque de Imitación Ergódica Adaptativa que unifica el seguimiento y la exploración dentro de un único controlador. El método opera sobre un conjunto de datos de trayectorias de estado de expertos, omitiendo etiquetas de acción explícitas para centrarse en la cobertura del espacio de estados.

1. Recuperación de Fase y Estimación de Progreso:
   En cada intervalo de replanificación, el sistema consulta el conjunto de datos de expertos para encontrar el contexto más relevante basado en el estado actual del robot. Define un "error de fase" $e(t)$ comparando el estado actual con el punto más cercano en la trayectoria del experto. Se utiliza un reloj de referencia virtual $\tau(t)$ para rastrear el progreso:

   • Modo de Seguimiento: Si el error de fase está dentro de un umbral ($\epsilon$), el reloj avanza y el sistema sigue la demostración.
   • Modo de Exploración: Si el error excede el umbral (indicando estancamiento), el reloj se congela y un contador de estancamiento se incrementa. Esta señal desencadena un cambio hacia la exploración.

2. Generación de Distribuciones Guiada por Geometría:
   El método genera una distribución objetivo de partículas $\{q_j\}$ utilizando una ecuación diferencial estocástica (SDE) que combina tres componentes basados en una variable de progreso similar a la temperatura $\theta$:

   • Atracción Nominal: Un término de deriva que atrae las partículas hacia el punto más cercano en la trayectoria de referencia.
   • Puntuación de Núcleo de Calor: Un término basado en puntuaciones que sesga las partículas hacia regiones de alta densidad de referencia.
   • Difusión Anisotrópica: Un término de difusión diseñado para ser mayor en direcciones normales a la trayectoria que a lo largo de su tangente. Esto fomenta la exploración perpendicular al camino mientras mantiene la coherencia a lo largo de este.

   A medida que aumentan el error de fase y el contador de estancamiento, el envolvente de difusión se amplía, permitiendo que el robot explore un vecindario más amplio de la trayectoria de referencia.

3. Control Ergódico Consciente de la Cobertura con MMD:
   El sistema emplea un controlador de horizonte deslizante que utiliza la métrica de Discrepancia Media Máxima (MMD) para minimizar la diferencia entre la visita de estados promediada en el tiempo del robot y la distribución objetivo generada. Al incluir las últimas diez trayectorias en el objetivo MMD, el controlador asegura que los nuevos planes complementen las regiones previamente cubiertas en lugar de retrazarlas. Este marco se extiende naturalmente a $SE(3)$ y otros espacios curvos mediante el uso de núcleos conscientes de la geometría.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

• Un método unificado que permite un espectro continuo de comportamientos, desde la imitación rígida hasta la exploración adaptativa, gobernado por la imitación ergódica adaptativa.
• Un mecanismo para la estimación de progreso de tareas mediante demostración para modificar adaptativamente las distribuciones objetivo.
• El uso de difusión anisotrópica guiada por geometría para sintetizar distribuciones objetivo que inducen tanto seguimiento como exploración.
• La integración de la métrica ergódica MMD dentro de un marco de aprendizaje por imitación basado en recuperación.

Resultados
El método fue evaluado en un entorno de navegación 2D que presenta huecos verticales estrechos y una región de objetivo desordenada.

• Configuración Experimental: Se recolectaron demostraciones exitosas en una disposición nominal. Durante las pruebas, las ubicaciones de los huecos se desplazaron para inducir una discrepancia de despliegue.
• Rendimiento: Cuando el agente fue bloqueado por una pared (un escenario de discrepancia), detectó la discrepancia en el progreso de la tarea mediante el error de fase acumulado. Esto desencadenó el ensanchamiento de la distribución objetivo mediante difusión anisotrópica, permitiendo que el controlador ergódico explorara y sorteara el obstáculo.
• Análisis Cuantitativo: En pruebas que involucraron 50 desplazamientos de ubicación de puertas muestreados de una distribución gaussiana alrededor de la disposición nominal, el método propuesto encontró consistentemente soluciones. Por el contrario, los autores señalan que los métodos basados en recuperación o basados en generación probablemente lograrían una tasa de éxito del 0% en estos escenarios fuera de distribución debido a su incapacidad para manejar las posiciones desplazadas de los huecos.

Significado y Afirmaciones
El artículo posiciona el control ergódico no meramente como una herramienta para la cobertura de áreas o la búsqueda, sino como un mecanismo principista para la ejecución adaptativa en el aprendizaje por imitación. El significado radica en el cambio de paradigma desde la reproducción pura de trayectorias hacia la adaptación situacional. Al tratar el seguimiento como un caso especial de exploración, el método permite a los robots reproducir las características temporales de una demostración cuando el entorno lo permite, mientras transicionan autónomamente hacia la exploración ergódica cuando el robot queda "atrapado". Este enfoque aborda la fragilidad de los métodos actuales de IL al proporcionar un espectro conductual continuo que permanece fundamentado en demostraciones, pero capaz de manejar la divergencia ambiental.