Continual Domain Randomization

A continuación se presenta un resumen técnico detallado del artículo "Continual Domain Randomization" de Josip Josifovski et al.

1. Planteamiento del Problema

El Aprendizaje por Refuerzo Profundo (DRL) en robótica a menudo depende de entornos simulados para superar la ineficiencia en la muestra y las preocupaciones de seguridad. Sin embargo, la "brecha de realidad"—la discrepancia entre la simulación y el mundo real—frecuentemente conduce a un rendimiento deficiente al transferir políticas (sim2real) sin un ajuste posterior.

• Limitaciones de los Enfoques Actuales:
  • Simulación Perfecta: Imposible de lograr para sistemas complejos debido al desgaste del hardware y los cambios ambientales.
  • Adaptación de Dominio (Ajuste Fino): Requiere datos del mundo real, lo cual es lento y potencialmente inseguro.
  • Randomización de Dominio Estándar (DR): Aleatoriza todos los parámetros de simulación simultáneamente para cubrir la brecha de realidad. Sin embargo, aleatorizar demasiados parámetros a la vez aumenta la complejidad de la tarea y la incertidumbre del agente, lo que a menudo conduce a políticas subóptimas o al fracaso en la convergencia.
  • Aleatorización Secuencial sin Aprendizaje Continuo (CL): Entrenar secuencialmente en subconjuntos de parámetros sin retener el conocimiento de los pasos anteriores conduce al olvido catastrófico, donde el agente se sobreajusta a la aleatorización más reciente y pierde la robustez frente a las anteriores.

2. Metodología: Randomización de Dominio Continuo (CDR)

Los autores proponen la Randomización de Dominio Continuo (CDR), un marco que combina la Randomización de Dominio con el Aprendizaje Continuo (CL) para permitir el entrenamiento secuencial en subconjuntos de parámetros de aleatorización mientras se retiene el conocimiento de los pasos anteriores.

Flujo de Trabajo Principal

1. Inicialización: El agente se entrena primero en una simulación idealizada (sin aleatorización) para aprender la tarea base.
2. Entrenamiento Secuencial: El agente se entrena posteriormente en una secuencia de simulaciones, donde cada paso habilita un subconjunto específico de parámetros de aleatorización (por ejemplo, latencia, par, ruido).
3. Aprendizaje Continuo: Para prevenir el olvido catastrófico, el sistema emplea algoritmos de CL basados en regularización para "recordar" los efectos de las aleatorizaciones anteriores.

Implementación Algorítmica

Los autores implementan dos variantes utilizando Optimización de Política Proximal (PPO) combinada con Consolidación Elástica de Pesos (EWC):

• CDR-λ (Offline):

  • Utiliza EWC para regularizar la red de políticas.
  • Mantiene una instantánea separada de los parámetros de la red ($\theta^*$) y la Matriz de Información de Fisher empírica (FIM) para cada tarea pasada.
  • Función de Pérdida: $L(\theta) = L_C(\theta) + \sum \frac{\lambda_i}{2} ||\theta - \theta^*_i||^2_{F_i}$
  • Compromiso: Alto uso de memoria (escalado lineal con el número de tareas) pero una fuerte retención del conocimiento pasado.

• CDR-Oλ (Online):

  • Utiliza una variante de EWC-Online para reducir la sobrecarga de memoria.
  • Mantiene solo una instantánea de la red y una única Matriz de Información de Fisher acumulativa.
  • La matriz de Fisher se actualiza recursivamente: $F^*_i = \gamma F^*_{i-1} + F_i$.
  • Compromiso: Uso de memoria constante, pero una retención potencialmente más débil de tareas muy antiguas en comparación con la versión offline.

• Normalización: Un detalle técnico clave es la normalización de los elementos de la Matriz de Información de Fisher al rango $[0.0, 1.0]$ después de cada tarea. Esto desacopla la constante de regularización $\lambda$ de la escala arbitraria de diferentes tareas, permitiendo el uso de un solo $\lambda$ a lo largo de toda la secuencia.

3. Configuración Experimental

Los autores evaluaron CDR en dos tareas de manipulación robótica utilizando un brazo KUKA LBR iiwa 14:

1. Tarea de Alcanzamiento: Un brazo de 2 articulaciones alcanzando un objetivo.
2. Tarea de Agarre: Un brazo redundante de 7 articulaciones con una pinza de 3 dedos Robotiq agarrando un cubo.

Parámetros de Aleatorización:
Tres parámetros se aleatorizaron secuencialmente en diferentes órdenes (por ejemplo, Par $\to$ Latencia $\to$ Ruido):

• Latencia (L): Retraso aleatorio en la observación del estado.
• Par (T): Rigidez y amortiguación de las articulaciones aleatorizadas.
• Ruido (N): Ruido del sensor.

Líneas Base:

• Ideal: Entrenado en simulación no aleatorizada.
• Aleatorizado: Entrenado con todos los parámetros aleatorizados simultáneamente.
• Ajuste Fino: Entrenamiento secuencial sin CL (sin regularización).

4. Resultados Clave

Tarea de Alcanzamiento

• Rendimiento Sim2real: El modelo Ideal tuvo el mejor rendimiento en simulación pero falló en el mundo real (alta vibración, recompensa baja) debido al sobreajuste. La línea base Aleatorizada funcionó bien en la realidad pero tuvo recompensas de simulación más bajas.
• Rendimiento de CDR: Ambas variantes de CDR lograron una transferencia sim2real comparable o mejor que la línea base totalmente Aleatorizada.
  • CDR-Oλ logró las recompensas y la estabilidad más altas en el mundo real.
  • El Ajuste Fino funcionó bien en simulación pero mostró una transferencia deficiente al mundo real en comparación con CDR, confirmando que olvidar las aleatorizaciones anteriores es perjudicial.
• Sensibilidad al Orden: Las líneas base secuenciales (Ajuste Fino) fueron altamente sensibles al orden de aleatorización. CDR fue significativamente más robusto frente al orden de los parámetros.

Tarea de Agarre

• Complejidad: La tarea de agarre fue más difícil, requiriendo mayor precisión.
• Estabilidad: Las estrategias de CDR mostraron menor varianza y un progreso de entrenamiento más estable en comparación con el Ajuste Fino.
• Éxito en el Mundo Real:
  • CDR-Oλ logró una tasa de éxito de agarre del 78% en simulación y del 60% en realidad (con ordenamiento NLT), superando a la línea base Aleatorizada (40% de éxito real).
  • El Ajuste Fino mostró alta varianza; dependiendo del orden, podía ser el mejor o el peor rendimiento, destacando su inestabilidad.
  • Los modelos CDR proporcionaron un rendimiento consistente independientemente del orden de aleatorización.

Fuerza de Regularización ($\lambda$)

• $\lambda$ Bajo: Los modelos se comportan como Ajuste Fino (olvidando tareas anteriores), lo que lleva a una transferencia deficiente al mundo real.
• $\lambda$ Alto: Los modelos se vuelven demasiado rígidos, incapaces de adaptarse a nuevas aleatorizaciones, resultando en un rendimiento deficiente tanto en simulación como en realidad.
• Rango Óptimo: Un rango medio de $\lambda$ proporcionó el mejor equilibrio, permitiendo la adaptación mientras se retiene la robustez.

5. Contribuciones Clave

1. Marco Novel: Introducción de la Randomización de Dominio Continuo (CDR), que trata la aleatorización de dominio como un problema de aprendizaje continuo para introducir complejidad secuencialmente sin olvido catastrófico.
2. Eficiencia de Memoria: Desarrollo de una variante CDR Online (CDR-Oλ) que evita el escalado lineal de memoria del EWC tradicional al mantener una única matriz de Fisher, haciéndola escalable para secuencias largas de aleatorizaciones.
3. Robustez al Ordenamiento: Demostración de que CDR es menos sensible al orden en que se introducen los parámetros de aleatorización en comparación con el ajuste fino secuencial estándar.
4. Transferencia Zero-Shot: Transferencia sim2real exitosa de tipo zero-shot en robots reales sin requerir datos de entrenamiento del mundo real ni adaptación de dominio.

6. Significado y Conclusión

El artículo aborda un cuello de botella crítico en el RL robótico: la compensación entre la dificultad de entrenar con alta aleatorización y el riesgo de sobreajuste a una simulación específica. Al integrar el aprendizaje continuo, CDR permite que los agentes "aprendan a aprender" a través de condiciones de simulación variables, construyendo una política que es robusta a una amplia gama de dinámicas.

• Impacto Práctico: CDR ofrece un marco flexible y general para la transferencia sim2real que no requiere definir todos los parámetros de aleatorización de antemano ni tener acceso a datos del mundo real para el ajuste fino.
• Trabajo Futuro: Los autores sugieren combinar CDR con aleatorización de dominio automatizada o activa para determinar dinámicamente rangos de parámetros óptimos y extender el enfoque a la aleatorización basada en visión.

En resumen, CDR proporciona una alternativa superior tanto a la aleatorización estática como al ajuste fino secuencial simple, logrando un rendimiento sim2real de vanguardia en tareas complejas de manipulación robótica.