Resumen Técnico: Transferencia de Contacto, No Solo de Movimiento

Planteamiento del Problema

La manipulación diestra requiere más que predecir el movimiento de los dedos; requiere la regulación activa de las fuerzas de contacto para gestionar el deslizamiento, la deformación y la auto-oclusión. Las políticas de transferencia de embodiment existentes unifican con éxito la intención de movimiento mediante poses retargetizadas o espacios de acción latentes, pero fallan al transferir el feedback de contacto. El feedback de fuerza permanece ligado a la detección y actuación específicas de cada mano (por ejemplo, señales de esfuerzo bruto o proxies táctiles), lo que hace imposible comparar la carga entre manos robóticas heterogéneas. En consecuencia, las políticas entrenadas en una mano no pueden generalizarse a otra cuando las señales visuales están ocluidas o cuando se requiere una regulación de fuerza precisa para objetos frágiles.

Metodología

1. Interfaz Unificada de Fuerza-Posición

La contribución central es una interfaz transferible que desacopla la intención de movimiento de la carga de contacto, expresando ambos en unidades físicas comparables.

• Intención de Movimiento Compartida: La pose de la mano se representa en un latente de pose MANO ($\psi \in \mathbb{R}^{15}$). Este vector de baja dimensión se aprende una vez a partir de datos de guantes humanos y se mapea a la configuración de articulaciones de cualquier mano específica ($q^{(h)}$) mediante un mapa de retargeting específico de la mano ($R_h$) que optimiza la posición de las puntas de los dedos y la forma de los dedos.
• Canal de Contacto Calibrado: En lugar de utilizar el esfuerzo bruto, el sistema realiza una identificación de sistemas para mapear los proxies de esfuerzo específicos de la mano a torques de articulación físicos ($\tau^{(h)}$ en N·m). A partir de estos torques, el sistema deriva:
  • Fuerzas en la punta de los dedos ($f_t$): Calculadas mediante la inversa de mínimos cuadrados del Jacobiano traslacional.
  • Descriptores de Torque Espacial ($\gamma_t$): Un conjunto compacto de tres escalares ($c, \rho, \ell$) que codifica la ubicación del contacto a lo largo del dedo, la distribución de la carga a través de las articulaciones y la participación lateral de la fuerza.
    Esto permite que la política observe "hacia dónde debe moverse la mano" y "cómo se carga el objeto" en un sistema de coordenadas unificado, independientemente del embodiment específico de la mano.

2. MARC: Política Reactiva Compliante con Máscara Consciente

Los autores introducen MARC, una política de flujo de emparejamiento (flow-matching) basada en una arquitectura de Transformer de Difusión (DiT).

• Entradas: La política está condicionada por una tupla de estado unificado $s_t$ que contiene la pose del efector final, las posiciones de las puntas de los dedos, las fuerzas calibradas ($f_t$), los descriptores de torque espacial ($\gamma_t$) y el latente de pose compartido ($\psi_t$).
• Enmascaramiento Visual Estructurado: Durante el entrenamiento, los tokens visuales (parches o flujos de cámara completos) se reemplazan aleatoriamente con embeddings de máscara aprendidos. Esto obliga a la política a depender de la fuerza y la propiocepción cuando la evidencia visual es inexistente o poco fiable (por ejemplo, durante la auto-oclusión), en lugar de aprender a ignorar los datos de fuerza.
• Objetivo de Entrenamiento: La política predice vectores de velocidad para transportar una fuente de ruido Gaussiano hacia un bloque de acción (action chunk), minimizando la pérdida de flow-matching.

3. Pipeline de Ejecución Híbrida

El sistema no depende de una única política end-to-end para tareas de largo horizonte. En su lugar, compone primitivas aprendidas con controladores basados en modelos:

• Alcance y Levantamiento (Reach-and-Lift): Ejecutado por MARC, gestionando la fase sensible al contacto del agarre y el levantamiento inicial.
• Transporte: Gestionado por un regulador de agarre constante que utiliza un controlador híbrido de fuerza-posición. Mantiene un agarre mínimo estable y se auto-ajusta basándose en el torque calibrado si el transporte carga el objeto.
• Entrega (Handover): Controlado por un controlador de admitancia del efector final que cede ante el brazo y abre la mano proporcionalmente a los wrench externos.
• Lógica del Controlador: El controlador de bajo nivel sigue una pose comandada pero aplica una corrección de "retroceso de un solo lado" basada en el torque calibrado. Si el torque de contacto excede un objetivo, el controlador abre la articulación; de lo contrario, sigue la orden de pose. Esto asegura la compliancia sin empujar la mano más profundamente en el objeto.

Contribuciones Clave

1. Representación de Contacto Transferible: Un método para convertir las señales de esfuerzo específicas de la mano en torques de articulación calibrados, fuerzas en las puntas de los dedos y descriptores de carga compactos, haciendo que el feedback de contacto sea físicamente comparable entre diferentes manos diestras.
2. Interfaz Unificada de Fuerza-Posición: Un marco que combina la intención de pose de la mano compartida con el feedback de contacto calibrado, permitiendo la transferencia de control compliante a través de embodiments heterogéneos.
3. Política y Pipeline MARC: Una política de flow-matching con conciencia de máscara entrenada en visión, propiocepción y contacto calibrado, integrada con primitivas basadas en modelos para manipulación de largo horizonte (alcance, transporte, entrega) sin reentrenamiento específico de la tarea.

Resultados Experimentales

El sistema fue evaluado en un humanoide Unitree G1 equipado con tres manos estructuralmente diferentes (Wuji, Wuji12 e Inspire) a través de diez tareas que involucran objetos rígidos y compliantes/deformables (por ejemplo, huevos, bollos de brioche, tazas apiladas).

• Ganancia de Rendimiento: MARC mejoró la tasa de éxito media de alcance y levantamiento de 0.44 (baseline sDiT) a 0.71 en todas las manos y tareas.
• Mejoras Específicas:
  • Inspire: 0.54 $\to$ 0.84
  • Wuji: 0.48 $\to$ 0.79
  • Wuji12: 0.29 $\to$ 0.51
  • Casos Críticos: Las ganancias más significativas se observaron en la tarea "Marker" (resbaladiza, ocluida), donde las tasas de éxito saltaron de 0.2/0.1 a 1.0/0.9 para Inspire y Wuji respectivamente.
• Ablación: Eliminar el canal de contacto calibrado colapsó el rendimiento en objetos rígidos de vuelta al baseline (0.48), confirmando que la ganancia es impulsada por el canal de fuerza, no solo por la arquitectura o el enmascaramiento.
• Generalización Zero-Shot: La política se transfirió con éxito a una configuración Wuji15 no vista (15-DoF) sin reentrenamiento, logrando tasas de éxito dentro de 0.1 de los resultados de Wuji dentro de la distribución.

Significado y Reivindicaciones

El artículo afirma que el contacto en sí mismo es transferible cuando se expresa en unidades físicas (torque y fuerza) en lugar de proxies específicos de la mano. Al unificar la intención de movimiento y la carga de contacto en una interfaz compartida, el sistema permite la transferencia de habilidades de manipulación diestra a través de manos estructuralmente diferentes. Los autores enfatizan que este enfoque permite una interacción estable y compliante en tareas de largo horizonte, particularmente en escenarios donde el feedback visual es insuficiente debido a la oclusión o la deformación del objeto. El trabajo demuestra que una única política, entrenada con contacto calibrado, puede dirigir hardware heterogéneo sin requerir el entrenamiento de un modelo por mano o el ajuste fino específico de la tarea.