Resumen Técnico: HRDexDB

Planteamiento del Problema

Permitir que los robots alcancen una destreza de nivel humano es un objetivo central en la robótica. Si bien la manipulación humana proporciona una fuente natural de demostraciones, la transferencia de estas habilidades a los robots se ve obstaculizada por la "brecha de encarnación" (embodiment gap). Las manos humanas y robóticas difieren significamente en morfología, cinemática y actuación, lo que conduce a patrones de contacto y estrategias de agarre distintos. Esta brecha se complica aún más al transferir habilidades entre diferentes encarnaciones de manos robóticas, ya que cada una impone restricciones físicas únicas.

Los conjuntos de datos existentes no abordan adecuadamente este desafío. La mayoría de los conjuntos de datos de interacción humano-objeto (HOI) se centran únicamente en las manos humanas, careciendo a menudo de información 3D o seguimiento de objetos. Por el contrario, los conjuntos de datos robóticos suelen centrarse en la ejecución robótica, dejando a menudo el movimiento del objeto parcialmente sin rastrear o careciendo de demostraciones humanas emparejadas. Aunque algunos trabajos recientes intentan recopilar datos emparejados de humanos y robots, generalmente carecen de cobertura multi-encarnación, observaciones RGB sin marcadores o señales táctiles. En consecuencia, existe una falta de conjuntos de datos integrales y emparejados que capturen comportamientos de agarre comparables entre manos humanas y múltiples encarnaciones robóticas diversas sobre objetos compartidos.

Metodología: Construcción de HRDexDB

Para abordar estas limitaciones, los autores presentan HRDexDB, un conjunto de datos de manipulación diestra emparejada y de encarnación cruzada.

Sistema de Recopilación de Datos

El conjunto de datos fue capturado utilizando un sistema multimodal sincronizado que comprende:

• 23 Cámaras: Un montaje de 21 cámaras RGB exocéntricas sincronizadas que rodean el espacio de trabajo y 2 cámaras estéreo egocéntricas (una para ensayos robóticos y un casco personalizado para demostraciones humanas).
• Encarnaciones Robóticas: Se utilizaron cuatro manos robóticas diestras: Allegro Hand V4, Allegro Hand V5 Plus, Inspire Hand RH56DFTP e Inspire Hand RH56F1.
• Sujetos Humanos: Las demostraciones humanas se registraron junto con las ejecuciones robóticas.
• Teleoperación: Los agarres robóticos se realizaron mediante teleoperación utilizando un traje de captura de movimiento inercial Xsens y guantes MANUS, mapeando los movimientos de la muñeca y los dedos humanos hacia el robot.
• Protocolo: Se empleó un protocolo de dos etapas. Un sujeto humano realizó primero un agarre natural sobre un objeto objetivo. Luego, un teleoperador observó esta demostración y realizó un agarre semánticamente correspondiente con la encarnación robótica, preservando la intención pero permitiendo diferencias de morfología y tiempo específicas de la encarnación.

Flujo de Reconstrucción

Las grabaciones multivista originales se procesaron para generar una verdad de terreno 3D de alta fidelidad:

1. Reconstrucción de la Mano Humana: Utilizando el modelo paramétrico MANO, se detectaron puntos clave 2D mediante HaMeR, que fueron triangulados y optimizados para los parámetros de pose. La forma específica del sujeto se calibró mediante la alineación de siluetas con máscaras generadas por SAM3.
2. Seguimiento 6D del Objeto: Un flujo de trabajo basado en modelos estimó las poses del objeto ($SE(3)$). Los mapas de profundidad densos se estimaron mediante FoundationStereo, las máscaras de objetos mediante SAM3 y las poses 6D mediante FoundationPose. La consistencia geométrica entre vistas se impuso renderizando mallas de objetos en todas las vistas de las cámaras para minimizar el desalineamiento de siluetas y reducir la deriva.
3. Señales Táctiles: Se registraron señales de fuerza de contacto de las puntas de los dedos con capacidad táctil.

Estadísticas del Conjunto de Datos

• Objetos: 100 objetos diversos (con mallas de alta calidad), expandiéndose hacia 1,000.
• Secuencias: 2.1K ensayos de agarre.
• Fotogramas: 24 millones de fotogramas.
• Modalidades: RGB sincronizado (23 vistas), movimiento de mano 3D (parámetros MANO), estados del robot, poses 6D de objetos, señales táctiles y anotaciones de éxito/fallo.

Contribuciones Clave

1. Primer Conjunto de Datos de Destreza Humano-Robot Emparejado: HRDexDB es el primer conjunto de datos que proporciona capturas de manipulación diestra humano-multi-robot, sin marcadores y emparejadas, sobre objetos compartidos, contando con RGB multivista sincronizado, anotaciones 3D y señales táctiles.
2. Nuevo Sistema de Captura y Reconstrucción: Los autores presentan una solución de hardware y software dedicada para superar los desafíos del seguimiento sincronizado 3D de mano-robot-objeto bajo oclusiones severas, incluyendo un montaje de 21 cámaras y un flujo de reconstrucción unificado.
3. Establecimiento de Benchmarks de Aplicación: El artículo establece cuatro benchmarks específicos para validar la utilidad del conjunto de datos:
   • Transferencia de mapa de contacto humano a robot.
   • Recuperación de agarre de encarnación cruzada.
   • Estimación de la pose de la mano 3D bajo agarre diestro.
   • Estimación de la pose 6D del objeto bajo agarre humana y robótica.

Resultados Experimentales

1. Transferencia de Mapa de Contacto Humano a Robot

Los autores entrenaron un modelo para predecir mapas de contacto específicos del robot a partir de patrones de contacto humanos.

• Resultado: El uso de los mapas de contacto transferidos ("Transferred-Contact") mejoró significamente las tasas de éxito de agarre en comparación con la optimización directa contra los mapas de contacto humanos ("Human-Contact").
• Métricas: En experimentos del mundo real, las tasas de éxito aumentaron del 66.7% al 73.3% para la mano Inspire y del 63.3% al 80.0% para la mano Allegro. Esto demuestra que aprender estrategias de contacto específicas del robot a partir de datos emparejados es más efectivo que la imitación directa.

2. Recuperación de Agarre de Encarnación Cruzada

Se entrenó un modelo de tipo CLIP para aprender un espacio latente compartido para agarres humanos y robóticos.

• Resultado: El modelo recuperó con éxito agarres robóticos emparejados a partir de consultas humanas significativamente por encima del azar.
• Métricas: Para la recuperación Humano $\to$ Inspire, el Recall@1 fue del 36.36% y el Recall@5 fue del 100%. Para Humano $\to$ Allegro, el Recall@1 fue del 24.24% y el Recall@5 fue del 72.73%.
• Utilidad de Aplicación: La inicialización de la optimización de agarre (BODex) con los agarres recuperados superó tanto a la inicialización vanilla como a las líneas base de retargeting cinemático, particularmente en las tasas de éxito a nivel de episodio (hasta 93.94% para Allegro).

3. Benchmark de Estimación de la Pose de la Mano 3D

Modelos de reconstrucción de manos de última generación (por ejemplo, HaMeR, WiLoR) fueron evaluados en HRDexDB.

• Resultado: Todos los modelos exhibieron errores más altos en HRDexDB en comparación con el conjunto de datos FreiHAND, confirmando que HRDexDB presenta un benchmark más desafiante debido a las severas oclusiones mano-objeto.
• Utilidad: El ajuste fino de los modelos con los datos de HRDexDB mejoró su rendimiento en el benchmark FreiHAND, indicando que HRDexDB proporciona señales de entrenamiento complementarias y no redundantes.

4. Benchmark de Estimación de la Pose 6D del Objeto

Se evaluaron métodos de estimación de pose 6D de objetos bajo condiciones de agarre tanto humano como robótico.

• Resultado: Todos los métodos funcionaron peor bajo el agarre robótico que bajo el humano, lo que sugiere que los eslabones robóticos rígidos introducen ambigüedades visuales adicionales para la localización del objeto.
• Adaptación: El ajuste fino del refinador MegaPose con los datos de agarre robótico de HRDexDB mejoró el ADD-S medio en un 10.2% en un entorno de agarre robótico reservado, demostrando el valor del conjunto de datos para adaptar la percepción a entornos centrados en la interacción.

Significación y Reclamaciones

El artículo afirma que HRDexDB sirve como un benchmark fundacional para la manipulación diestra de encarnación cruzada. Al proporcionar capturas estrechamente alineadas de la destreza humana y la ejecución robótica sobre los mismos objetos objetivo, permite el estudio de cómo las estrategias de agarre se transfieren a través de diferentes morfologías.

Los autores enfatizan que HRDexDB no es simplemente una colección de trayectorias, sino un recurso que soporta:

• Transferencia basada en datos: Ir más allá de las correspondencias predefinidas para aprender estrategias de contacto específicas del robot.
• Evaluación de la percepción: Proporcionar un banco de pruebas riguroso para la estimación de la pose 3D de la mano y del objeto en escenarios altamente ocluidos y ricos en interacción.
• Expansión futura: El conjunto de datos se está expandiendo actualmente hacia 1,000 objetos y tareas funcionales más complejas, con el objetivo de facilitar la investigación futura en manipulación diestra y aprendizaje robótico.

Los autores reconocen modestamente las limitaciones, específicamente la heterogeneidad de los sensores táctiles entre plataformas y el desafío continuo de definir correspondencias de trayectoria funcionalmente equivalentes a través de diferentes morfologías de mano.