How to Mitigate the Distribution Shift Problem in Robotics Control: A Robust and Adaptive Approach Based on Offline to Online Imitation Learning

Resumen Técnico: Aprendizaje por Imitación Robusto y Adaptativo (RAIL)

Enunciado del Problema
El Aprendizaje por Imitación (IL) en robótica sufre frecuentemente del problema de desplazamiento de distribución, donde un agente falla al ejecutar acciones apropiadas al encontrar estados durante la inferencia en línea que no estaban presentes en el conjunto de datos de entrenamiento fuera de línea. Este problema surge porque las demostraciones de expertos típicamente cubren solo un subconjunto estrecho del espacio de estados-acciones del entorno. Las soluciones existentes a menudo se enfocan exclusivamente ya sea en la fase de entrenamiento fuera de línea (mediante aumento de conjuntos de datos) o en la fase de inferencia en línea (mediante adaptación), pero ambos enfoques exhiben limitaciones. Los métodos fuera de línea que dependen de perturbaciones humanas son costosos, mientras que aquellos que utilizan modelos del mundo son vulnerables a errores de modelado. Los métodos en línea a menudo luchan por distinguir entre estados novedosos causados por el desplazamiento de distribución y aquellos que son simplemente parte del proceso normal de inferencia, lo que lleva a actualizaciones de política inestables o a la falta de adaptación.

Metodología
Los autores proponen RAIL (Aprendizaje por Imitación Robusto de Fuera de Línea a Adaptativo de En Línea), un marco de vida útil y multifase diseñado para mitigar el desplazamiento de distribución a través de dos etapas distintas:

1. Fase de Entrenamiento Fuera de Línea (Robustez):

   • Utilización de Datos: El marco aprovecha no solo las demostraciones de expertos ($D_E$) sino también demostraciones suplementarias ($D_S$). $D_S$ incluye trayectorias de novatos, expertos subóptimos o datos de simulación generados automáticamente. Estos proporcionan una cobertura más amplia de estados-acciones.
   • Discriminador con Regularización: Para utilizar efectivamente $D_S$, los autores entrenan un discriminador para distinguir entre datos de expertos y datos suplementarios. Reconociendo que los discriminadores estándar sufren de inestabilidad y sesgo cuando los conjuntos de datos están desequilibrados, introducen un nuevo término de regularización ($L_{reg}$).
   • Mecanismo: Este término guía al discriminador para aproximar las distribuciones empíricas de estados-acciones de ambos conjuntos de datos utilizando Modelos de Mezcla Gaussiana (GMM) y verosimilitudes de política aprendidas. Esto estabiliza el aprendizaje del discriminador, particularmente en etapas tempranas, permitiéndole estimar con mayor precisión la optimalidad de las muestras de entrenamiento.
   • Entrenamiento de la Política: La salida optimizada del discriminador se utiliza para calcular pesos para la Clonación de Comportamiento Ponderada (BC), permitiendo que la política aprenda de manera robusta a partir de datos de calidad mixta.

2. Fase de Inferencia en Línea (Adaptación):

   • Adaptación Auto-supervisada: El marco trata las experiencias en línea como demostraciones suplementarias. Emplea el mismo procedimiento de aprendizaje basado en discriminadores utilizado en la fase fuera de línea para calcular señales de aprendizaje auto-supervisado.
   • Detección de Desplazamiento de Distribución (UTM): Para evitar degradar la generalización aprendiendo indiscriminadamente, el sistema emplea Gestión de Tiempo de Actualización (UTM). Calcula una métrica de verosimilitud ($\kappa(s)$) para el estado actual. El aprendizaje en línea se activa solo si $\kappa(s)$ cae por debajo de un umbral durante un período sostenido ($N_{ds}$), indicando un desplazamiento de distribución persistente.
   • Actualizaciones Adaptativas: Cuando se detecta un desplazamiento, el discriminador y la política se actualizan utilizando la experiencia en línea acumulada, ponderada por el grado de desplazamiento de distribución ($\kappa(s)$). Los estados lejos de la distribución fuera de línea reciben actualizaciones más conservadoras.

Contribuciones Clave

1. Marco RAIL: Un esquema unificado de vida útil que aborda el desplazamiento de distribución de manera integral combinando un entrenamiento fuera de línea robusto con una inferencia en línea adaptativa.
2. Discriminador Regularizado: Un nuevo término de regularización para el discriminador que estabiliza el entrenamiento y mejora la precisión de la estimación de optimalidad para las muestras de datos de entrada, particularmente cuando los datos de expertos y suplementarios están desequilibrados.
3. Aprendizaje en Línea Adaptativo: Un método que calcula señales auto-supervisadas utilizando el discriminador y restringe las actualizaciones en línea a instancias donde se detecta explícitamente un desplazamiento de distribución, asegurando una adaptación estable.

Resultados Experimentales
Los autores evaluaron RAIL en entornos MuJoCo (Hopper, Halfcheetah, Walker2d, Ant) bajo niveles variables de ruido gaussiano para inducir desplazamiento de distribución.

• Rendimiento Fuera de Línea: En entornos con ruido inyectado, RAIL superó consistentemente a las líneas base (BC Estándar, BC Estable y BC Basada en Modelos). Los resultados sugieren que expandir la cobertura de estados mediante demostraciones suplementarias reales es más efectivo para la robustez que la optimización de políticas sola o los rodillos virtuales basados en modelos.
• Rendimiento en Línea: Durante la inferencia en línea, RAIL demostró una adaptación superior en comparación con BC, Beyond Imitation (BI) y GAIL. Mientras que BC se degradó debido a errores acumulativos y BI luchó con las señales de auto-supervisión, RAIL se adaptó con éxito.
• Eficiencia: El estudio de ablación mostró que eliminar la técnica UTM (RAIL-UTM) resultó en un rendimiento inferior y un tiempo de entrenamiento significativamente mayor, destacando la importancia de la actualización selectiva. RAIL logró una reducción de aproximadamente el 54% en el tiempo de entrenamiento en comparación con RAIL-UTM mientras mantenía un rendimiento final más alto.
• Estabilidad: La BC ponderada utilizada en RAIL proporcionó un aprendizaje de política más estable durante la adaptación en línea en comparación con las actualizaciones basadas en TRPO utilizadas en GAIL.

Significado y Afirmaciones
El artículo afirma que RAIL ofrece una solución práctica al problema del desplazamiento de distribución al cambiar el enfoque de optimizar únicamente los parámetros de la política a expandir la cobertura de estados-acciones mediante datos suplementarios. Al integrar un discriminador estabilizado con un mecanismo de aprendizaje en línea condicional, el marco permite que los robots permanezcan robustos frente a estados no vistos durante el entrenamiento y se adapten efectivamente cuando tales estados se encuentran en el mundo real. Los autores afirman que este enfoque proporciona un camino más estable y eficiente hacia el aprendizaje por imitación de vida útil en comparación con las estrategias existentes que son solo fuera de línea o solo en línea.