Resumen Técnico: Aprendizaje de Manipulación Diestra mediante la Guía de la Fuerza de Contacto (Wrench) a partir de Demostraciones Humanas (CHORD)

Planteamiento del Problema

Transferir demostraciones humanas a políticas robóticas para la manipulación diestra sigue siendo un desafío significativo. Aunque las demostraciones humanas ofrecen una fuente rica de datos de habilidades, los métodos existentes suelen tener dificultades con la escalabilidad y la transferibilidad debido a las diferencias morfolas. Simplemente reproducir los movimientos de la mano humana es ineficaz porque las diferencias en la cinemática, la geometría y los puntos de contacto requieren que el robot utilice movimientos diferentes para lograr el mismo efecto funcional sobre un objeto.

Los enfoques actuales enfrentan dos limitaciones principales:

1. Supuestos Frágiles: Muchos métodos basados en optimización dependen de supuestos rígidos sobre cómo deben transferirse las demostraciones, fallando a menudo cuando la morfología del robot difiere significativamente de la del demostrador humano.
2. Problemas de Escalabilidad: Los enfoques de aprendizaje de representaciones requieren típicamente datos alineados entre humanos y robots para cada tarea y objeto específicos, lo que limita su aplicación a entornos curados en lugar de tareas generales de largo horizonte.

El problema central abordado es cómo aprender conocimiento de tareas transferible y escalable a partir de demostraciones humanas que tenga en cuenta la manipulación rica en contactos y de largo horizonte tanto de objetos rígidos como articulados.

Metodología: Marco de Trabajo CHORD

Los autores proponen CHORD (Guía de la Fuerza de Contacto/Wrench desde la Demostración Humana en la Manipulación Robótica Diestra), un marco de aprendizaje por refuerzo (RL) que cierra la brecha humano-robot centrándose en el espacio de fuerza de contacto (wrench) centrado en el objeto en lugar de en las posiciones cinemáticas puras.

1. Representación del Espacio de Fuerza de Contacto Centrado en el Objeto

En lugar de emparejar ubicaciones de contacto 3D (que varían según la morfología de la mano), CHORD representa las interacciones mediante las fuerzas y torques (wrenches/fuerzas de par) que inducen en el objeto.

• Matriz de Fuerza (Wrench Matrix): Para cada punto de contacto, el sistema aproxima el cono de fricción de Coulomb utilizando un cono poliédrico de fuerzas de magnitud unitaria en sus aristas. Estas generan fuerzas primitivas ($w \in \mathbb{R}^6$) que representan las direcciones de fuerza-torque capaces de inducir el movimiento del objeto.
• Función de Soporte: Para comparar los contactos humanos y robóticos a pesar de las diferencias en el número de puntos de contacto o el orden, el método utiliza una función de soporte. Proyecta las matrices de fuerza sobre un conjunto de direcciones unitarias pre-muestreadas para generar un vector de soporte ($\sigma$). Esto permite una comparación directa de la capacidad de inducir movimiento de los contactos.

2. Formulación de la Recompensa

La política se entrena utilizando una función de recompensa compuesta $r = r_{task} + r_{imit} + r_{contact} + r_{VOC}$:

• Recompensa de Tarea ($r_{task}$): Incentiva que el despliegue (rollout) siga la trayectoria de referencia del objeto (poses y relaciones entre partes). Para tareas con múltiples objetos, se añade una recompensa relativa durante las fases de interacción para asegurar una geometría precisa (ej. inserción, vertido).
• Recompensa de Imitación ($r_{imit}$): Regulariza el movimiento del robot hacia el movimiento humano retargetizado.
• Recompensa del Espacio de Fuerza de Contacto ($r_{cws}$): Esta es la contribución central. Compara la función de soporte del robot ($\sigma_{r,k}$) contra la referencia humana ($\sigma_{h,k}$) utilizando una tolerancia relativa $\beta$. Recompensa los contactos que inducen fuerzas dentro de un rango específico de la demostración humana, penalizando tanto los contactos omitidos como los contactos adicionales no deseados.
• Controlador de Objeto Virtual (VOC): Se utiliza un controlador auxiliar durante el entrenamiento temprano para aplicar fuerzas que muevan el objeto a lo largo de la trayectoria de referencia, suavizando el paisaje de exploración. Este se va atenuando (annealing) con el tiempo.

3. Robustez y Generalización

• Manejo de Datos Ruidosos: Para demostraciones reconstruidas a partir de videos RGB donde las estimaciones de contacto son ruidosas, CHORD cambia a un objetivo de cierre de fuerza reducido. Esto recompensa la generación de soporte positivo a lo largo de las direcciones de la base del espacio de fuerza sin requerir un emparejamiento preciso, aprendiendo efectivamente a lograr el cierre de fuerza (force closure).
• Extensión de Cuerpo Completo: El marco se extiende a la manipulación de cuerpo completo. Para referencias de solo mano (ej. egocéntricas), un módulo de inpainting predice el movimiento de cuerpo completo. Para referencias de tercera persona, se utiliza el objetivo de cierre de fuerza reducido para manejar la reconstrucción imprecisa de los dedos.

4. Construcción del Benchmark

Los autores construyeron un benchmark de simulación a gran escala que contiene 4,739 tareas de manipulación diestra bimanual. Estas tareas se derivaron de conjuntos de datos de captura de movimiento de código abierto y videos reconstruidos internamente, cubriendo:

• Objetos rígidos únicos y múltiples.
• Objetos articulados.
• Horizontes de tiempo largos y eventos de contacto densos.

Contribuciones Clave

1. Marco CHORD: Un nuevo marco de RL que transfiere demostraciones humanas a políticas robóticas diestras utilizando la guía del espacio de fuerza de contacto, permitiendo el aprendizaje escalable a través de diversas morfologías.
2. Benchmark de Gran Escala: Un conjunto de datos curado de 4,739 tareas de manipulación bimanual de largo horizonte que abarcan interacciones con objetos rígidos, articulados y de múltiples objetos, significativamente más grande y complejo que los benchmarks anteriores.
3. Validación Empírica: Evaluación exhaustiva que demuestra un rendimiento de vanguardia en simulación y una transferencia exitosa a hardware del mundo real.

Resultados

El artículo reporta los siguientes resultados cuantitativos y cualitativos:

• Rendimiento en Simulación: Evaluado en 1,831 tareas del benchmark, CHORD alcanzó una tasa de éxito promedio del 82.12%. Superó a las líneas base previas (ManipTrans, DexMachina, SPIDER) en sus respectivos conjuntos de tareas originales y en el nuevo benchmark.
• Manipulación de Cuerpo Completo: Al extenderse a la manipulación de cuerpo completo (usando demostraciones de solo mano o de tercera persona), CHORD alcanzó una tasa de éxito del 90.77%.
• Ablación de Recompensa: Los experimentos comparando recompensas de "Fuerza de Contacto" vs. "Solo Posición" vs. "Sin Contacto" mostraron que la guía del espacio de fuerza es crítica. Por ejemplo, en la tarea "uso de mezcladora", CHORD logró un 89.4% de éxito, mientras que "Solo Posición" cayó al 62.4% y "Sin Contacto" al 42.3%.
• Correlación: Se observó una fuerte correlación positiva (Pearson $r \approx 0.80$) entre la recompensa de soporte de la fuerza de contacto y el éxito de la tarea, validando la recompensa como un proxy fiable de la calidad de la manipulación.
• Estabilidad de Largo Horizonte: CHORD mantuvo una alta precisión de seguimiento (ADD-AUC $\approx 0.85-0.98$) en horizontes de hasta 48 segundos, mientras que los métodos de la línea base se degradaron significativamente a medida que aumentaba la longitud de la tarea.
• Despliegue en el Mundo Real: Las políticas entrenadas en simulación se transfirieron con éxito a un robot Dexmate real con dos manos diestras Sharpa, tanto en configuraciones de lazo abierto como de lazo cerrado, manejando objetos rígidos y articulados.

Significado y Reivindicaciones

El artículo afirma que CHORD aborda el cuello de botella fundamental de la escalabilidad en el aprendizaje de la manipulación diestra. Al cambiar la métrica de alineación de la posición cinemática (que es específica de la morfología) al contacto de fuerza/torque (que es agnóstico a la morfología respecto al movimiento inducido en el objeto), el marco permite que los robots aprendan de demostraciones humanas sin requerir datos de robots específicos para cada tarea o una alineación morfológica perfecta.

Los autores enfatizan que este enfoque permite:

• Escalabilidad: Aprender a través de miles de tareas diversas sin reingeniería de las funciones de recompensa para cada una.
• Robustez: Manejar demostraciones ruidosas y desajustes morfológicos (ej. manos humanas de 5 dedos vs. manos robóticas de 3 dedos) enfocándose en el efecto mecánico del contacto.
• Generalización: Transferir con éxito habilidades de cuerpos de solo mano a cuerpos completos y de simulación a la realidad.

Este trabajo posiciona la guía de la fuerza de contacto como una abstracción necesaria para ir más allá del simple agarre hacia tareas de manipulación complejas, ricas en contactos, que requieren estrategias coordinadas de largo horizonte.