Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics

Resumo Técnico: Open-H-Embodiment

1. O Problema: O Gargalo de Dados na Robótica Médica

A robótica médica autônoma enfrenta uma barreira fundamental: a escassez de dados de alta qualidade, diversificados e abertos.

• Limitações Atuais: Os conjuntos de dados existentes são pequenos (geralmente horas de duração), limitados a um único tipo de robô (single-embodiment) e raramente compartilhados publicamente.
• Consequência: Isso impede o desenvolvimento de Modelos de Fundação (Foundation Models) capazes de generalizar. Enquanto a robótica geral e a IA avançaram com grandes corpora de dados (como Open-X-Embodiment), a cirurgia robótica permanece dependente de teleoperação humana (Nível 1 de autonomia) devido à incapacidade dos modelos atuais de lidar com a complexidade, variabilidade de tarefas e ambientes físicos específicos da cirurgia.
• Desafio Específico: A aquisição de dados sincronizados (vídeo + cinemática) em ambientes clínicos é dificultada por protocolos de segurança rigorosos, privacidade de pacientes e a complexidade técnica de instrumentar robôs proprietários.

2. Metodologia e Solução: Open-H-Embodiment

Os autores introduzem o Open-H-Embodiment, o maior conjunto de dados aberto de vídeo robótico médico com cinemática sincronizada até a data.

• Escala e Diversidade:

  • Dados: 770 horas de demonstrações, totalizando 119 conjuntos de dados.
  • Participantes: Mais de 49 instituições globais.
  • Embodiments (Corpos): 20 plataformas robóticas distintas, incluindo sistemas cirúrgicos comerciais (da Vinci Si/Xi, Versius, BiTrack, MIRA, Maestro), braços industriais adaptados (Franka Panda, UR5e, Kuka) e sistemas de pesquisa (dVRK, Torin).
  • Tarefas: 33 famílias de tarefas, cobrindo desde procedimentos completos (prostatectomia, colecistectomia, histerectomia) até primitivas de manipulação (suturar, amarrar nós, transferência de agulha) e ultrassom robótico.
  • Modalidades: Vídeos sincronizados (monocular, estéreo, visão de pulso), cinemática, dados de ultrassom, e, em alguns casos, dados de força e rastreamento ocular.
  • Realismo: O dataset abrange desde simulação digital até procedimentos clínicos reais em humanos (500 horas), passando por cadáveres e tecidos ex vivo.

• Padronização:

  • Todos os dados foram convertidos para o formato LeRobot v2.1 para garantir interoperabilidade.
  • Foi desenvolvida uma documentação padronizada (READMEs) para explicar nuances específicas de cada plataforma (ex: mecanismos de embreagem, níveis de habilidade do operador).

3. Contribuições Principais e Modelos Desenvolvidos

O artigo não apenas apresenta o dataset, mas demonstra sua utilidade através de dois modelos de fundação treinados sobre ele:

A. GR00T-H (Visão-Linguagem-Ação para Cirurgia)

• O que é: O primeiro modelo de fundação aberto de Visão-Linguagem-Ação (VLA) focado em medicina, derivado do GR00T-N1.6 da NVIDIA, mas post-trained (pós-treinado) no Open-H.
• Arquitetura: Utiliza um backbone VLM (Cosmos-2B) e cabeças de ação específicas para cada embodiment para lidar com as variações cinemáticas de diferentes robôs.
• Objetivo: Testar se o pré-treinamento em larga escala melhora a robustez, eficiência de dados e generalização entre diferentes robôs.

B. Cosmos-H-Surgical-Simulator (C-H-S-S)

• O que é: O primeiro modelo de mundo (World Model) condicionado a ações cinemáticas capaz de simulação cirúrgica multi-embodiment.
• Funcionamento: Baseado no Cosmos-Predict 2.5, ele recebe um quadro de vídeo atual e uma sequência de ações cinemáticas, gerando frames futuros que preveem o resultado visual.
• Aplicação: Permite avaliação de políticas in silico (simulação) e geração de dados sintéticos para treinamento, cobrindo 9 plataformas robóticas a partir de um único checkpoint.

4. Resultados Experimentais

Desempenho do GR00T-H:

• Benchmark SutureBot (Sutura End-to-End): O GR00T-H foi o único modelo a completar a tarefa de sutura do início ao fim em 25% das tentativas (5/20), enquanto todos os outros modelos (incluindo o base GR00T-N1.6, ACT e LingBot-VA) tiveram 0% de sucesso completo.
• Generalização (Out-of-Distribution): Em configurações de feridas não vistas durante o treinamento e sob diferentes condições de iluminação, o GR00T-H alcançou 54% de sucesso médio nas subtarefas, superando significativamente o ACT (5%) e o GR00T-N1.6 (30%).
• Eficiência de Dados: Com apenas 33% dos dados de ajuste fino (fine-tuning), o GR00T-H igualou o desempenho do especialista ACT. Com 100% dos dados, superou todos os baselines.
• Generalização Multi-Embodiment: O modelo demonstrou ganhos significativos de desempenho ao ser testado em plataformas não vistas no ajuste fino específico (Versius, MIRA, dVRK-Si), provando que aprendeu representações transferíveis.
• Experimento Ex Vivo: Em um teste de sutura em pele de porco (29 subtarefas), o modelo alcançou 64% de sucesso médio, com desempenho quase perfeito em primitivas estruturadas (pegar agulha, amarrar nós), mas com dificuldades em etapas de corte e contato fino com o tecido.

Desempenho do Cosmos-H-Surgical-Simulator:

• Fidelidade Visual: Avaliado métricas de L1 (erro absoluto) e SSIM (similaridade estrutural) em 72 frames gerados.
• Resultados: O modelo manteve alta fidelidade em cenários de bancada (phantoms), com degradação gradual. Cenários baseados em tecidos (clínicos/cadáver) apresentaram maior erro e variabilidade, refletindo a complexidade visual de ambientes internos (reflexos, oclusão, tecidos deformáveis), mas ainda gerando trajetórias coerentes.

5. Significado e Impacto

• Infraestrutura Crítica: O Open-H estabelece a primeira infraestrutura de dados de larga escala e multi-embodiment para robótica médica, permitindo que a comunidade teste se as leis de escala da IA geral se aplicam à cirurgia.
• Superação do Gargalo: Demonstra que o pré-treinamento em grandes conjuntos de dados médicos pode superar a lacuna de transferência que impedia modelos genéricos de funcionarem em tarefas cirúrgicas.
• Resiliência: Modelos treinados no Open-H mostraram-se mais robustos a variações de hardware (desgaste de cabos, troca de câmeras) do que modelos treinados apenas em dados específicos de uma única tarefa.
• Futuro: O dataset e os modelos abrem caminho para:
  • Autonomia cirúrgica parcial (redução de carga de trabalho do cirurgião).
  • Geração de dados sintéticos para treinamento seguro.
  • Avaliação de políticas de IA antes do deploy físico.
  • Democratização do acesso a cirurgias de alta precisão.

Limitações e Próximos Passos:
O artigo reconhece que, embora promissores, os modelos ainda não são seguros para uso clínico autônomo em humanos. As taxas de sucesso em tarefas de corte e contato fino precisam melhorar, e são necessários testes em modelos animais e validação regulatória antes de qualquer aplicação em pacientes. Além disso, a falta de dados de "falhas" no dataset atual limita a capacidade do modelo de aprender a lidar com eventos imprevistos.