Resumen Técnico: Aprendizaje de Robótica Diestra Escalable con Interacciones Humano-Robot Remotas Basadas en RA

Declaración del Problema

El artículo aborda el desafío del aprendizaje escalable para tareas de manipulación dentro de sistemas de brazo-mano robótica diestra. Estos sistemas poseen altos grados de libertad (DoF), lo que hace que el diseño del control sea complejo. Si bien el aprendizaje por imitación (por ejemplo, la Clonación de Comportamiento) puede aprender rápidamente trayectorias a partir de demostraciones de expertos, sufre de desajuste de datos y errores acumulativos, lo que conduce a un rendimiento degradado. Por el contrario, el Aprendizaje por Refuerzo (RL) ofrece escalabilidad, pero a menudo requiere un tiempo de entrenamiento extensivo y conlleva el riesgo de "colapso de la política", donde el agente olvida la guía inicial del experto. Además, la recolección de demostraciones de expertos de alta calidad para teleoperación consume mucho tiempo, y los métodos existentes para integrar la imitación y el RL a menudo no logran prevenir el colapso de la política o utilizar eficientemente los datos de demostración limitados.

Metodología

La solución propuesta es un marco de aprendizaje de dos fases que integra la Realidad Aumentada (RA) para la recolección de datos, la Clonación de Comportamiento (BC) para el preentrenamiento y el RL potenciado por Aprendizaje Contrastivo para la optimización de la política.

1. Sistema de Interacción Humano-Robot Remoto Basado en RA

Para abordar el cuello de botella en la recolección de datos, los autores desarrollaron un sistema de teleoperación utilizando visores de RA (específicamente HoloLens 2).

• Arquitectura: El sistema conecta el visor de RA y el robot diestro (brazo CGXi-G6 con mano Inspire) a través de una plataforma Unity vía WiFi o 5G.
• Proceso: Un experto usa el visor de RA para rastrear las poses de las manos. Estas poses se mapean a la cinemática del robot, permitiendo que el robot replique las acciones del experto de forma remota.
• Recolección de Datos: Esta configuración captura datos de demostración de expertos ($A_{expert} = \{(s^E_t, a^E_t)\}$) que sirven como base para el flujo de trabajo de aprendizaje.

2. Algoritmo de Aprendizaje de Dos Fases

El algoritmo central opera en dos fases distintas:

Fase I: Preentrenamiento mediante Clonación de Comportamiento (BC)

• La red de la política ($\pi_\theta$) se preentrena resolviendo un problema de regresión para minimizar el error cuadrático medio entre las acciones de la política y las acciones demostradas por el experto.
• Esta fase alinea la política de control del robot con las preferencias del experto, proporcionando una inicialización sólida para la fase de RL subsiguiente.

Fase II: RL Potenciado por Aprendizaje Contrastivo

• Formulación de RL: La tarea de manipulación se enmarca como un problema de Soft Actor-Critic (SAC), maximizando la suma esperada de recompensas aumentadas por entropía.
• Diseño de Recompensa: La recompensa total $r(s_t, a_t)$ incluye:
  • Suavidad de Movimiento: Penaliza movimientos erráticos.
  • Recompensa Impulsada por Eventos: Una función por partes que proporciona recompensas positivas por el éxito de la tarea y recompensas negativas por colisiones o contactos fallidos entre la mano y el objeto (mejorando la seguridad).
  • Ajuste de la Pose de la Mano: Fomenta la alineación geométrica entre la mano y el objeto.
• Aprendizaje Contrastivo y Cabezal de Proyección: Para prevenir el colapso de la política y mejorar la eficiencia de muestreo, se introduce un cabezal de proyección (un Perceptrón Multicapa).
  • Este cabezal mapea tanto las acciones del experto ($a^E_t$) como las acciones generadas por el actor ($a_t$) para el mismo estado en un espacio latente.
  • Se minimiza una pérdida contrastiva ($L_{CL}$) para maximizar el acuerdo (similitud de coseno) entre las representaciones de las acciones del experto y del actor.
  • Esto restringe la política de RL para que permanezca cerca de las estados-acciones preferidas por el experto, guiando efectivamente la exploración.
• Bucle de Entrenamiento: La red Q, el cabezal de proyección y la red del actor se optimizan conjuntamente. Una vez completado el entrenamiento, el cabezal de proyección se descarta, dejando una política robusta.

Principales Contribuciones

1. Sistema de Teleoperación Basado en RA: Los autores construyeron un sistema general basado en RA para la recolección de datos de demostración de expertos, asegurando la compatibilidad entre diversos visores de RA y sistemas robóticos a través de un servidor de borde basado en Unity.
2. RL Asistido por Imitación y Aprendizaje Contrastivo: El artículo propone un nuevo algoritmo que combina el preentrenamiento de BC con un mecanismo de aprendizaje contrastivo. A diferencia de trabajos previos que pueden sufrir de colapso de política durante el ajuste fino de RL, este método utiliza un cabezal de proyección para imponer restricciones preferidas por el experto, mejorando significativamente la eficiencia de muestreo y la estabilidad.
3. Validación Exhaustiva: El método fue validado mediante extensas simulaciones físicas (PyBullet) y ensayos en el mundo real, demostrando un rendimiento superior sobre las líneas base estándar.

Resultados Experimentales

El algoritmo propuesto fue evaluado contra varias líneas base: PPO, SAC, Advantage Weighted Actor-Critic (AWAC) y una variante del método propuesto sin aprendizaje contrastivo (BC+SAC).

• Rendimiento en Simulación: En tareas que involucran el agarre de botellas, pelotas deformables y taladros, el método propuesto alcanzó las mayores recompensas medias y tasas de éxito.
  • Velocidad de Convergencia: Requirió significativamente menos iteraciones y menos tiempo para converger en comparación con PPO, SAC y AWAC. Por ejemplo, en el agarre de botellas, convergió en 30 iteraciones (75 minutos) frente a las 210 iteraciones (500 minutos) de PPO.
  • Tasas de Éxito: El método propuesto logró tasas de éxito del 95.70% (botella), 91.39% (pelota) y 85.30% (taladro), superando a todas las líneas base.
• Rendimiento en el Mundo Real: En 50 ensayos en el mundo real, el algoritmo mantuvo las tasas de éxito más altas entre todos los métodos. Aunque las tasas de éxito para objetos deformables disminuyeron ligeramente en comparación con la simulación debido a limitaciones de percepción y complejidad geométrica, la tarea de agarre de botellas mostró un desfase sim-to-real mínimo.
• Estudio de Ablación: El estudio confirmó que el preentrenamiento de BC es dominante en la reducción del tiempo de entrenamiento, mientras que la adición de aprendizaje contrastivo es crucial para superar el colapso de la política y mejorar aún más el rendimiento.

Significación y Reivindicaciones

El artículo afirma que la integración del aprendizaje contrastivo con el aprendizaje por imitación para la manipulación robótica diestra es una contribución novedosa que no se ha realizado previamente. La significación del trabajo radica en:

• Escalabilidad: El método acelera significativamente el proceso de entrenamiento y reduce la dependencia de cantidades masivas de datos de expertos (solo se usaron 15 trayectorias de expertos para el preentrenamiento en los experimentos).
• Estabilidad: Aborda eficazmente el problema del colapso de la política, un modo de fallo común en el ajuste fino de políticas de RL.
• Practicidad: El sistema de teleoperación basado en RA proporciona un método viable y de bajo costo para recolectar datos de expertos diversos, cerrando la brecha entre la experiencia humana y la ejecución robótica.

Los autores concluyen que su algoritmo sin modelo alcanza rápidamente la convergencia y logra tasas de éxito más altas que las líneas base existentes, ofreciendo una solución robusta para tareas de manipulación general en sistemas diestros. El trabajo futuro sugerido por los autores incluye la mejora de la transferencia sim-to-real mediante la reconstrucción de geometría de alta fidelidad y la extensión del enfoque a sistemas de doble brazo multi-agente.