Resumen Técnico: MirrorDuo

Planteamiento del Problema

El aprendizaje por clonación de comportamiento (BC) basado en imágenes ofrece una vía escalable para la adquisición de habilidades robóticas, pero enfrenta restricciones significativas de eficiencia de datos, particularmente al generalizar a través de variaciones espaciales en las disposiciones del espacio de trabajo o configuraciones de escena asimétricas. Mientras que los métodos que aprovechan entradas 3D (por ejemplo, nubes de puntos) pueden explotar la equivariancia de transformación rígida SE(3) para sintetizar demostraciones transformadas, aplicar tales transformaciones a imágenes RGB en 2D suele producir resultados inconsistentes. Los intentos existentes para aproximar la simetría en 2D, como la rotación SO(2) de imágenes en tercera persona, están limitados a entornos dentro del dominio y no logran soportar una generalización más amplia. Además, la simetría de reflexión —una propiedad natural de muchas tareas de manipulación (por ejemplo, variantes de recogida y colocación izquierda-derecha)— permanece poco explorada en políticas basadas en imágenes debido a los desafíos para mantener la consistencia semántica entre las imágenes reflejadas y las acciones del efector final de 6 grados de libertad (6-DoF), especialmente cuando hay artefactos visuales (por ejemplo, asimetría de la muñeca del robot, texturas del fondo) presentes.

Metodología: MirrorDuo

Los autores proponen MirrorDuo, una formulación general para incorporar la simetría de reflexión en el aprendizaje visuomotor. La innovación central es una transformación basada en la reflexión que opera conjuntamente sobre observaciones RGB (tanto de ojo en mano como de tercera persona), estados propioceptivos y acciones completas de 6-DoF del efector final para generar una contraparte reflejada semántica y físicamente consistente para cada demostración original.

Componentes Técnicos Clave

1. Reflejo del Espacio de Pose:

   • Para asegurar la consistencia con el reflejo de la imagen (volteo horizontal), los autores definen una operación de reflejo en el espacio de pose. Para una pose del efector final $X_H$ en el marco de la cámara, la pose reflejada $X^*_H$ se deriva mediante $X^*_H = X_C E X^{-1}_C X_H E$, donde $E = \text{diag}([-1, 1, 1, 1])$.
   • Independencia de los Extrínsecos de la Cámara: Para evitar la dependencia de los extrínsecos de la cámara ($X_C$), que a menudo no están disponibles, el método reparametriza las poses en sistemas de coordenadas locales (pose delta $\Delta X_H$ o pose relativa $\delta X_H$). Esto permite que la operación de reflejo se exprese como $\Delta X^*_H = E \Delta X_H E$, haciendo que el enfoque sea agnóstico al conjunto de datos.
   • Gestión de la Discontinuidad en SO(3): El reflejo en SO(3) puede causar cambios abruptos en la rotación. Para asegurar que el robot comience la habilidad reflejada desde una configuración casi idéntica, el método impone una rotación de alineación constante $Q$ que mapea el eje de la herramienta promedio de las poses iniciales al eje X del mundo, mitigando las discontinuidades.

2. Operador de Reflejo Unificado ($M$):

   • El método define un operador unificado $M$ que aplica el volteo horizontal a las imágenes ($M_I$) y la multiplicación elemento a elemento por un vector de patrón de signos $\rho$ a las poses y acciones vectorizadas. Esto crea un conjunto de datos emparejado de tuplas originales y reflejadas $(o_t, a_t)$ y $(M(o_t), M(a_t))$.

3. Dos Aplicaciones Complementarias:

   • MirrorAug (Aumento de Datos): Una estrategia donde, durante el muestreo de lotes (batch sampling), una parte de los datos de entrenamiento es reemplazada por su contraparte reflejada. Esto expande la distribución de entrenamiento para incluir configuraciones reflejadas sin modificar la arquitectura de la red.
   • MirrorDiffusion (Prior Estructural): Una política de difusión con equivariancia de reflexión donde la transformación de reflejo se integra como un sesgo inductivo dentro del proceso de difusión latente. La red de la política utiliza CNNs direccionables (Steerable CNNs) E(n)-equivariantes para asegurar que la función de predicción de ruido conmute con las transformaciones de reflexión ($\pi(M(o)) = M(\pi(o))$).

4. Gestión de la Asimetría Visual:

   • Los autores reconocen que el reflejo introduce artefactos visuales fuera de la distribución (OOD) (por ejemplo, un robot diestro que parece zurdo en el espejo, o texturas de la mesa asimétricas).
   • Para mitigar esto, el enfoque combina MirrorDuo con Random Overlay (aumento de fondos) y backbones visuales preentrenados (ResNet-18 en ImageNet) para mejorar la robustez ante variaciones irrelevantes para la tarea.

Contribuciones Clave

• Formulación Consistente con el Reflejo: Un método novedoso para generar pares de demostración reflejados que son consistentes a través de imágenes 2D, propiocepción 3D y acciones de 6-DoF, logrando efectivamente el "recolectar uno, obtener uno gratis".
• Utilidad Dual: El marco sirve tanto como una estrategia de aumento de datos (MirrorAug) como un prior estructural para el aprendizaje de políticas equivariantes (MirrorDiffusion), adaptable a canales estándar como la Clonación de Comportamiento (BC) y las Políticas de Difusión.
• Generalización a Espejos No Vistos: El método permite la transferencia eficiente de habilidades a espacios de trabajo reflejados con tan solo cero o cinco demostraciones en la disposición objetivo, superando significativamente a las líneas base estándar en regímenes de pocos datos.
• Robustez a la Asimetría: El artículo demuestra que la simetría de reflexión puede aprovecharse incluso en presencia de asimetrías visuales significativas (diseño del robot, texturas del fondo) cuando se combina con técnicas ligeras de generalización visual.

Resultados Experimentales

Los autores evaluaron MirrorDuo en el conjunto de datos MimicGen (simulación) y en una configuración real de Franka Emika con dos tareas: una recogida y colocación de un juguete de peluche (un lado) y apilamiento de bloques (dos lados).

• Transferencia de un Solo Lado (Simulación y Real):

  • En configuraciones con demostraciones confinadas a un lado del espacio de trabajo, las políticas estándar entrenadas en los datos originales fallaron al generalizar al lado reflejado (tasas de éxito cercanas al 0% para algunas líneas base).
  • MirrorAug combinado con generalización visual (Random Overlay + pesos preentrenados) permitió que las políticas lograran un rendimiento casi igual al del dominio en el lado reflejado con tan solo 5 demostraciones adicionales del lado opuesto.
  • MirrorDiffusion (equivariante) falló en la transferencia zero-shot debido a que la inyección de ruido rompió la simetría global durante el proceso de difusión inversa, pero recuperó el rendimiento con un mínimo de datos del lado opuesto.

• Eficiencia de Datos de Dos Lados:

  • Cuando las demostraciones se distribuyeron a través de ambos lados, MirrorDuo mejoró significativamente la eficiencia de los datos.
  • En regímenes de pocos a medianos datos (50–200 demos), MirrorAug y MirrorDiffusion produjeron ganancias de rendimiento consistentes (por ejemplo, +31% en Square D0) sobre las líneas base.
  • En regímenes de muchos datos, las ganancias de rendimiento se estancaron y, en algunas tareas complejas de largo horizonte, se observó una ligera caída en el rendimiento, atribuida a fronteras de decisión fragmentadas causadas por distribuciones de observación conflictivas de tareas casi idénticas.

• Validación en el Mundo Real:

  • En la tarea real del juguete de peluche, Diffusion Policy (M, O, P) (MirrorAug + Overlay + Pretrained) logró un 83.3% de éxito en la configuración reflejada con solo 5 demos reflejadas, igualando su rendimiento en el dominio.
  • La Política de Difusión estándar entrenada con datos de un solo lado logró solo un 3.3% en la configuración reflejada.
  • Los autores señalan que, aunque MirrorDiffusion es teóricamente elegante, la Política de Difusión estándar con MirrorAug y técnicas de generalización visual demostró ser más práctica, ofreciendo un rendimiento superior bajo condiciones visuales desafiantes y una convergencia de entrenamiento más rápida.

Significado y Reivindicaciones

El artículo afirma que MirrorDuo establece la simetría de reflexión como un sesgo inductivo poderoso y poco explorado para el aprendizaje robótico escalable y generalizable. Al aprovechar el solapamiento entre los dominios original y reflejado, el enfoque permite que los robots se generalicen a configuraciones de espacio de trabajo no vistas con un mínimo de datos adicionales.

Los autores enfatizan que, si bien proyectar los reflejos 3D en observaciones visuales 2D introduce complejidad (asimetrías visuales), estos desafíos pueden gestionarse eficazmente. El trabajo demuestra que el aprendizaje consistente con el reflejo es altamente compatible con los canales basados en imágenes, ofreciendo una solución práctica al alto costo de recolectar demostraciones robóticas diversas. El artículo concluye que combinar la simetría de reflexión con técnicas ligeras de generalización visual permite a las políticas tolerar las asimetrías visuales tanto del robot como del entorno, facilitando un despliegue robusto en entornos reales variados.