Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics

Resumen Técnico: Open-H-Embodiment

1. El Problema: La Cuello de Botella de Datos en Robótica Médica

A pesar del potencial de los robots autónomos para mejorar los resultados de los pacientes y democratizar el acceso a la atención médica, el campo de la robótica quirúrgica autónoma se ha visto limitado por una crisis fundamental de datos.

• Escasez y Fragmentación: Los conjuntos de datos existentes son pequeños, suelen limitarse a un solo tipo de robot (un solo "embodiment") y rara vez se comparten abiertamente. Por ejemplo, el conjunto de datos JIGSAWS (el estándar anterior) tenía solo ~3 horas de demostraciones en un solo robot (da Vinci).
• Fallo de los Modelos Generales: Los modelos de aprendizaje por refuerzo y modelos de acción-idioma-visión (VLA) de propósito general (como RT-2 o OpenVLA) fallan en tareas quirúrgicas. Esto se debe a la enorme brecha entre la manipulación general (objetos rígidos) y la cirugía (tejidos viscoelásticos deformables, óptica endoscópica compleja, secuencias de múltiples pasos con tolerancia de error nula).
• Falta de Infraestructura: No existía un conjunto de datos que unificara múltiples plataformas robóticas e instituciones, impidiendo el desarrollo de modelos fundacionales capaces de generalizar a través de diferentes robots y entornos clínicos.

2. Metodología y el Conjunto de Datos Open-H-Embodiment

Los autores introducen Open-H-Embodiment, el conjunto de datos abierto más grande de video robótico médico con cinemática sincronizada hasta la fecha.

• Escala y Diversidad:
  • Datos: 770 horas de demostraciones emparejadas (video + cinemática).
  • Instituciones: Contribuciones de más de 49 instituciones globales.
  • Plataformas: Cubre 20 plataformas robóticas distintas, incluyendo sistemas quirúrgicos comerciales (da Vinci Si/Xi, Versius, BiTrack, MIRA, Maestro), brazos industriales adaptados (Franka Panda, UR5e, Kuka) y sistemas de investigación (dVRK, Torin).
  • Tareas: 33 familias de tareas que abarcan desde procedimientos clínicos completos (prostatectomía, colecistectomía) hasta primitivas de manipulación (suturas, transferencia de agujas) y ecografía robótica.
  • Modalidades: Además de video y cinemática, incluye datos estereoscópicos, cámaras en la muñeca, sensores de profundidad, seguimiento de la mirada y, en algunos casos, datos de fuerza.
• Estandarización: Para abordar la heterogeneidad de los datos, todo el corpus se unificó en el formato LeRobot v2.1, complementado con documentación estandarizada (READMEs) que detalla las particularidades de cada plataforma (ej. mecanismos de embrague quirúrgico, niveles de habilidad del operador).
• Modelos Fundacionales Desarrollados:
  1. GR00T-H: Un modelo VLA (Visión-Lenguaje-Acción) fundacional para cirugía. Se basa en el modelo GR00T-N1.6 de NVIDIA, que se post-entrenó (fine-tuning) en el subconjunto de datos quirúrgicos de Open-H. Utiliza cabezales de acción específicos para cada embodiment para manejar las diferencias cinemáticas.
  2. Cosmos-H-Surgical-Simulator (C-H-S-S): El primer modelo del mundo (world model) condicionado a la acción cinemática para múltiples robots. Se basa en Cosmos-Predict 2.5 y genera videos futuros basados en un frame inicial y una secuencia de acciones, permitiendo la evaluación de políticas in silico y la generación de datos sintéticos.

3. Resultados Clave

A. Rendimiento de GR00T-H (Política de Control):

• Suturación End-to-End (Benchmark SutureBot): GR00T-H fue el único modelo que logró completar tareas de sutura de extremo a extremo en el benchmark SutureBot, con una tasa de éxito del 25% (5 de 20 intentos). Todos los demás modelos (incluyendo ACT, GR00T-N1.6 base y LingBot-VA) tuvieron un 0% de éxito.
• Generalización: En configuraciones no vistas (nuevas heridas, iluminación variable), GR00T-H alcanzó una tasa de éxito promedio del 54% en subtareas, superando significativamente a GR00T-N1.6 (30%) y ACT (5%).
• Eficiencia de Datos: Con solo el 33% de los datos de ajuste fino, GR00T-H igualó el rendimiento de ACT. Con el 100% de los datos, superó a todos los baselines (73% vs 50% de ACT).
• Experimento Ex Vivo: En tejido biológico real (panceta de cerdo), GR00T-H logró una tasa de éxito promedio del 64% en una secuencia de 29 subtareas. Fue excelente en primitivas estructuradas (recoger aguja, anudar), pero tuvo dificultades en pasos de contacto fino y corte (20-30% de éxito).
• Multi-Embodiment: El modelo mostró mejoras significativas en tres plataformas distintas (Versius, MIRA, dVRK-Si) sin necesidad de reentrenamiento específico por plataforma, demostrando una fuerte capacidad de generalización cruzada.

B. Rendimiento de Cosmos-H-Surgical-Simulator (Modelo del Mundo):

• Calidad de Generación: El modelo generó secuencias de video autoregresivas (72 frames) condicionadas a la acción cinemática.
• Métricas: Se evaluó mediante error L1 y SSIM. Los entornos de banco de trabajo (phantoms) mostraron alta fidelidad y estabilidad. Los entornos basados en tejido (clínicos/ex vivo) mostraron mayor variabilidad y error, reflejando la complejidad visual de los tejidos deformables, pero manteniendo coherencia estructural.
• Capacidad: Es el primer modelo capaz de simular visualmente la interacción de múltiples robots desde un solo punto de control.

4. Contribuciones Principales

1. Open-H-Embodiment: El primer conjunto de datos a gran escala, multi-institucional y multi-embodiment para robótica quirúrgica y de salud, superando en orden de magnitud a cualquier dataset previo.
2. GR00T-H: La primera política VLA fundacional abierta para cirugía, que demuestra que el pre-entrenamiento a gran escala en datos médicos mejora la robustez, la eficiencia de datos y la generalización cruzada.
3. Cosmos-H-Surgical-Simulator: El primer modelo del mundo condicionado a la acción cinemática para múltiples robots, habilitando la evaluación de políticas y la generación de datos sintéticos en un entorno virtual unificado.

5. Significado e Impacto

• Infraestructura Crítica: Open-H establece la infraestructura necesaria para que la comunidad de investigación avance hacia la autonomía quirúrgica, similar a cómo los grandes conjuntos de datos impulsaron la IA general.
• Validación de Escalabilidad: Demuestra que las leyes de escalado de la robótica general (más datos + más diversidad = mejor generalización) se aplican también al dominio médico, superando la brecha de transferencia que limitaba a los modelos generales.
• Resiliencia al Hardware: Los resultados sugieren que el entrenamiento en datos diversos hace que las políticas sean más resistentes a la deriva del hardware (desgaste de instrumentos, cambios de cámara) común en entornos clínicos reales.
• Futuro: Aunque el rendimiento actual (64% en ex vivo) aún no es suficiente para una autonomía clínica total (se requiere >99% en seguridad), el trabajo abre el camino para la recolección de datos de fallos, la mejora de la precisión en pasos de contacto fino y la validación preclínica en modelos animales antes de la aplicación humana.

En conclusión, este trabajo marca un punto de inflexión al pasar de la robótica quirúrgica basada en datos pequeños y aislados a un paradigma de modelos fundacionales alimentados por datos masivos y diversos, sentando las bases para una cirugía robótica más autónoma, accesible y precisa.