TAC-LOCO: Unified Whole-Body Control for Quadrupedal TACtile-Informed LOCO-Manipulation

Resumen Técnico: TAC-LOCO

Definición del Problema
El artículo aborda el desafío de la locomoción-manipulación de cuerpo completo dinámica para robots cuadrúpedos equipados con brazos y pinzas. Específicamente, se centra en la fase de control post-agarre, donde un robot debe transportar un objeto agarrado mientras navega e interactúa con fuerzas externas desconocidas y variables en el tiempo. Los enfoques existentes suelen depender de un modelado implícito de las fuerzas externas o dependen únicamente de la propiocepción, lo que conduce a dos limitaciones principales: (1) la incapacidad de observar directamente el estado interno del agarre (por ejemplo, tendencia al deslizamiento, pérdida de contacto), y (2) una tendencia a utilizar estrategias de agarre fijas y excesivamente conservadoras en lugar de regular dinámicamente la fuerza de sujeción. El problema central es mantener una interacción física estable con un objeto agarrado bajo cargas inciertas (como una resistencia gradual o eventos de liberación repentina) mientras se rastrean simultáneamente las trayectorias deseadas del efector final (EE) y las velocidades del cuerpo.

Metodología: TAC-LOCO
Los autores proponen TAC-LOCO, un marco de aprendizaje por refuerzo (RL) unificado que integra la sensación táctil en el control de cuerpo completo.

• Arquitectura: El marco utiliza una única política unificada (un perceptrón multicapa) que controla conjuntamente las articulaciones de las patas, las articulaciones del brazo y las articulaciones de la pinza. A diferencia de los enfoques jerárquicos, esta política optimiza simultáneamente los movimientos acoplados de la parte superior e inferior del cuerpo.
• Integración Táctil: Los datos de alta dimensión de una matriz táctil provenientes de dedos de pinza flexibles se codifican en una representación latente compacta mediante un MLP de dos capas. Este vector latente se concatena con la propiocepción del robot (velocidad de la base, posiciones de las articulaciones, etc.) y un historial codificado de observaciones para formar la entrada de la política. Este diseño evita los problemas de dimensionalidad de la concatenación táctil bruta, preservando al mismo tiempo los patrones de contacto espacial.
• Entrenamiento y Formulación del MDP: La política se entrena utilizando Optimización de Política Próxima (PPO) en simulación (Isaac Lab). El entorno de entrenamiento simula un cuadrúpedo Unitree Go2 con un brazo Interbotix WidowX 250.
  • Fuerzas Externas: Los objetos están sujetos a fuerzas aleatorizadas de resorte-amortiguador que pueden cambiar gradualmente o desaparecer abruptamente (modelando eventos como el desprendimiento del tallo de una fruta).
  • Diseño de Recompensa: Se introduce una recompensa especializada de estabilidad de agarre ($r_{grasp}$), descompuesta en tres términos:
    1. Moderación de Fuerza ($r_{force}$): Penaliza el exceso de fuerza interna de agarre para fomentar un contacto complaciente.
    2. Supresión de Deslizamiento ($r_{slip}$): Penaliza la velocidad relativa entre el objeto y el efector final.
    3. Retención ($r_{retention}$): Penaliza el desplazamiento relativo excesivo para evitar la caída del objeto.
  • Mezcla de Ventaja (Advantage Mixing): Inspirado en trabajos previos, el entrenamiento utiliza un mecanismo de mezcla de ventaja para actualizar primero las cabezas de las patas y del brazo por separado antes de acoplarlas gradualmente, facilitando la asignación de crédito en el espacio de acción de alta dimensión.
• Sim-to-Real: Para cerrar la brecha entre simulación y realidad, los autores emplean la aleatorización de dominio táctil y normalizan las observaciones táctiles basándose en la intensidad del contacto en lugar de en valores de fuerza absoluta. La política se despliega zero-shot en hardware sin ajuste fino.

Contribuciones Clave

1. Marco Unificado: TAC-LOCO se presenta como el primer marco de control de cuerpo completo para locomoción-manipulación dinámica que unifica conjuntamente la detección táctil, la regulación de la pinza en línea y el aprendizaje de la política de cuerpo completo.
2. Adaptación Informada por el Tacto: El método permite al robot inferir los estados de agarre y adaptar las acciones de la pinza en línea basándose en la retroalimentación táctil directa, en lugar de depender de una estimación de fuerza implícita o modos de agarre fijos.
3. Métricas de Rendimiento: El marco logra una reducción del 47% en la fuerza de agarre en comparación con las líneas base, manteniendo una tasa de caída de objetos de menos del 1% en simulación.
4. Despliegue Zero-Shot: La política se transfiere con éxito al hardware real (Unitree Go2 + WidowX 250 + sensores FlexiTac) sin reentrenamiento, demostrando robustez ante diversas geometrías de objetos y perturbaciones no modeladas.

Resultados Experimentales

• Simulación:
  • Adaptación: La política logra apretar el agarre en respuesta al aumento de las fuerzas externas y relajar el agarre cuando las fuerzas se eliminan repentinamente, evitando tanto el deslizamiento como la aplicación de fuerza excesiva.
  • Tasa de Éxito: En 8,000 ejecuciones aleatorias, la política informada por el tacto mantuvo la retención del objeto durante el 99.9% de la duración de la trayectoria, en comparación con solo el 46.4% de una línea base que solo utiliza la propiocepción.
  • Seguimiento: La política mantuvo errores de seguimiento bajos para la velocidad del cuerpo y la posición del efector final, comparables a las líneas base de vanguardia que no utilizan tacto.
• Despliegue en Hardware:
  • Robustez: El sistema realizó con éxito tareas de locomoción-manipulación dinámica que involucraban objetos con resortes y eventos de desprendimiento magnético repentino.
  • Generalización: La política se generalizó a geometrías de objetos no vistos (por ejemplo, esferas, fresas artificiales) sin ajuste fino, basándose en patrones táctiles normalizados en lugar de formas de objetos específicas.
  • Comparación con Línea Base: Comparado con una línea base de WBC profundo (ancho de pinza fijo), TAC-LOCO logró una tasa de éxito del 90% frente al 50% de la línea base. La línea base falló debido al deslizamiento gradual del objeto y la subsiguiente inestabilidad de la locomoción cuando el objeto se cayó.

Significancia y Reivindicaciones
El artículo afirma que TAC-LOCO representa un paso significativo al demostrar que la detección táctil es crítica para el control de cuerpo completo dinámico en entornos ricos en contacto. Los autores argumentan que la observación directa del estado interno del agarre permite al robot regular las fuerzas de contacto de forma adaptativa, resolviendo el compromiso entre estabilidad y eficiencia de fuerza. El trabajo destaca que la integración de la retroalimentación táctil en una política de RL unificada permite a los robots manejar interacciones externas inciertas con las que los métodos tradicionales basados en modelos o basados solo en la propiocepción tienen dificultades. Los autores señalan modestamente las limitaciones respecto a la incapacidad del simulador para reproducir perfectamente la deformación de la pinza en el mundo real y los desafíos de modelar la dinámica del brazo controlado por servos, sugiriendo que el trabajo futuro con brazos controlados por torque podría mejorar aún más el rendimiento dinámico.