Hoi! - A Multimodal Dataset for Force-Grounded, Cross-View Articulated Manipulation

Resumen Técnico: Hoi! Dataset

1. Planteamiento del Problema

El campo de la visión por computadora y la robótica ha avanzado desde la percepción pura hacia la interacción dinámica. Sin embargo, existe una brecha fundamental en los datos disponibles:

• Discrepancia de dominios: Los conjuntos de datos centrados en humanos (como Ego4D o EpicKitchens) se centran en actividades de largo alcance (cocina, deportes) pero carecen de datos físicos (fuerzas, contacto). Por el contrario, los datos robóticos suelen centrarse en primitivas de corto alcance (agarrar, colocar) y a menudo carecen de la riqueza multimodal y las perspectivas múltiples de las interacciones humanas.
• Falta de datos de fuerza y táctil: La manipulación de objetos articulados (cajones, puertas, electrodomésticos) requiere entender no solo la geometría, sino también las fuerzas de interacción. Los conjuntos de datos existentes suelen basarse en escaneos estáticos o simulaciones, careciendo de datos de interacción real alineados temporalmente.
• Dificultad de transferencia: Es difícil investigar cómo las habilidades demostradas por humanos se transfieren a robots, ya que no existen datos que capturen simultáneamente la misma tarea realizada por una mano humana y un efector final robótico con sensores de fuerza y táctiles alineados.

2. Metodología y Diseño del Dataset

El equipo presenta Hoi!, un conjunto de datos multimodal diseñado para cerrar esta brecha mediante la captura de interacciones con objetos articulados en entornos interiores reales ("in-the-wild").

Características Principales:

• Escala: 3048 secuencias de interacción sobre 381 objetos articulados en 38 entornos diferentes (cocinas, baños, oficinas, salas de estar).
• Cuatro Embodiments (Modalidades de ejecución): Cada objeto es manipulado en cuatro configuraciones distintas para permitir comparaciones directas:
  1. Mano humana: Sin sensores adicionales.
  2. Mano humana con cámara: Cámara montada en la muñeca (Project Aria).
  3. Pinza UMI: Un efector final robótico estándar (UMI gripper).
  4. Pinza Hoi! (Propuesta): Una pinza personalizada diseñada por los autores.
• Sensores y Modalidades:
  • Visión: RGB, profundidad (LiDAR y estereoscópica), seguimiento de manos y mirada. Incluye vistas egocéntricas (desde la perspectiva del operador) y exocéntricas (terceras personas).
  • Fuerza y Tacto: La pinza Hoi! integra sensores GelSight Digit para imágenes táctiles de alta resolución y un sensor de fuerza-torque (FT) de 6 grados de libertad.
  • Geometría: Escaneos 3D de alta resolución (LiDAR Leica RTC360) del entorno antes y después de la manipulación para obtener "ground truth" geométrico denso.
• Sincronización: Todos los flujos de datos (video, fuerza, IMU, poses) están alineados temporal y espacialmente mediante códigos QR dinámicos y calibración visual basada en escaneos 3D, logrando una precisión temporal de ~10-25 ms.

La Pinza Hoi! (Innovación Hardware):
Se diseñó una pinza paralela de 2 dedos operada por un humano pero equipada con sensores robóticos.

• Utiliza un motor Dynamixel y un sensor de fuerza-torque en la muñeca.
• Incorpora sensores táctiles Digit en los dedos para medir presión de contacto.
• Incluye una carga calibrada en el mango para modular la fuerza de agarre, permitiendo que un humano simule la interacción física de un robot mientras registra datos de fuerza precisos.

3. Contribuciones Clave

1. Pipeline de Captura Multimodal: Un sistema que combina observaciones RGB-D multivista con señales de fuerza, torque y táctiles, tanto para humanos como para robots, en entornos reales.
2. Dataset de Manipulación Articulada: El primer dataset a gran escala que cubre 4 embodiments, 381 objetos y 38 escenarios, proporcionando flujos de datos alineados de visión, pose, fuerza y haptica.
3. Anotaciones Centradas en la Interacción: Incluye etiquetas de cambio de estado (abrir/cerrar), parámetros de articulación (eje, tipo: prismático/rotacional) y descripciones lingüísticas, facilitando benchmarks en estimación de articulación y predicción de fuerza.
4. Hardware de Código Abierto: El diseño de la pinza Hoi! y sus especificaciones de calibración se liberarán como código abierto.

4. Resultados y Evaluaciones

Los autores evaluaron el dataset en tres tareas fundamentales para demostrar su utilidad:

• Estimación de Objetos Articulados (In-the-Wild):

  • Se probaron métodos como ArtiPoint y ArtGS (basado en Gaussian Splatting) y un modelo VLM (GPT-5).
  • Hallazgo: Los métodos existentes que dependen de profundidad densa o segmentación robusta fallan significativamente en entornos reales con oclusiones (manos) y ruido. GPT-5 mostró robustez sorprendente en la predicción del tipo de articulación, pero la estimación precisa de parámetros cinemáticos sigue siendo un desafío.

• Estimación de Fuerza Táctil:

  • Se evaluó el modelo Sparsh (aprendizaje auto-supervisado) para predecir fuerzas normales y tangenciales a partir de imágenes táctiles.
  • Hallazgo: El modelo, entrenado en datos de laboratorio controlados, mostró un error alto (varios Newtons) al aplicarse a datos reales de Hoi!. Esto se debe a la complejidad de las geometrías de contacto (manijas, bordes) y las cargas fuera de distribución, destacando la necesidad de datos reales para entrenar modelos táctiles robustos.

• Estimación de Fuerza Visual:

  • Se evaluó el modelo ForceSight para predecir fuerzas de interacción a partir de observaciones RGB-D y objetivos lingüísticos.
  • Hallazgo: El modelo tuvo un rendimiento pobre en objetos rígidos o que requieren mucha fuerza (ej. neveras, cajones magnéticos), sugiriendo que los datasets actuales no representan bien estos casos. La proyección de fuerzas alineadas con el movimiento mejoró los resultados, indicando que el ruido en las mediciones crudas es un factor limitante.

• Aprendizaje de Políticas (Experimento Adicional):

  • Se entrenó un predictor de fuerza visual en datos de Hoi! y se integró en el controlador de un robot Spot.
  • Resultado: La inclusión de un "prior" de fuerza aprendido aumentó drásticamente la tasa de éxito (SR) en la apertura de electrodomésticos rígidos (de 0% a 80% en hornos), demostrando el valor del dataset para el aprendizaje de políticas multimodales.

5. Significado e Impacto

El dataset Hoi! representa un paso crucial hacia la unificación de la percepción visual y la acción física en robótica.

• Puente Humano-Robot: Al capturar la misma tarea con humanos y robots en el mismo entorno, permite estudiar directamente la transferencia de habilidades y la generalización de políticas.
• Investigación de Fuerzas: Proporciona la primera base de datos alineada de "lo que se ve" vs. "lo que se siente", esencial para desarrollar agentes que comprendan las restricciones físicas del mundo real.
• Benchmarking Realista: Al incluir entornos desordenados ("in-the-wild") y objetos variados, expone las limitaciones de los métodos actuales y establece nuevos estándares para la evaluación de algoritmos de manipulación, estimación de articulación y predicción de fuerzas.

En conclusión, Hoi! no es solo un conjunto de datos, sino una plataforma integral que fomenta el desarrollo de agentes robóticos capaces de entender y actuar en el mundo físico mediante la integración de visión, tacto y razonamiento físico.