TwinOR: Photorealistic Digital Twins of Dynamic Operating Rooms for Embodied AI Research

1. Problema e Motivação

O desenvolvimento de IA Embutida (Embodied AI) para sistemas cirúrgicos inteligentes exige ambientes seguros, controláveis e de alta fidelidade para aprendizado contínuo e avaliação. No entanto, as salas de cirurgia (ORs) reais apresentam restrições severas:

• Segurança e Regulamentação: Agentes não podem interagir livremente ou errar em ambientes reais sem riscos para pacientes e equipe.
• Complexidade Espacial e Temporal: As salas de cirurgia são dinâmicas, com movimento constante de pessoas e equipamentos, exigindo representações que capturem não apenas a geometria estática, mas também o comportamento temporal.
• Limitações dos Métodos Atuais: Abordagens sintéticas existentes frequentemente falham em capturar a complexidade espaço-temporal real, resultando em aparências visuais irreais ou movimentos inconsistentes. A maioria dos "gêmeos digitais" cirúrgicos atuais limita-se a abstrações 2D ou representações quase estáticas, sem a capacidade de modelar a evolução contínua do ambiente.

2. Metodologia: O Framework TwinOR

O TwinOR é uma infraestrutura de "Real-to-Sim" (Realidade para Simulação) projetada para construir gêmeos digitais dinâmicos e fotorrealistas de salas de cirurgia. O sistema opera em duas fases principais:

A. Infraestrutura e Captura

• Hardware: Utiliza um sistema de quatro câmeras estéreo RGB (ZED-X) montadas nas paredes, sincronizadas via Protocolo de Tempo Preciso (PTP) para alinhamento temporal sub-milissegundo.
• Calibração: Utiliza um "bastão de luz" com marcadores esféricos para determinar as extrínsecas entre câmeras, garantindo precisão de reprojeção subpixel.

B. Modelagem do Gêmeo Digital

O processo divide-se em componentes estáticos e dinâmicos:

1. Reconstrução Estática (Geometria e Equipamentos):
   • Utiliza vídeos pré-escaneados (handheld) para reconstruir a geometria da sala e equipamentos móveis (mesa de cirurgia, robô Ion, sistema de raio-X C-arm, maca).
   • Emprega uma implementação personalizada do Neuralangelo para recuperar superfícies neurais densas.
   • Os modelos neurais são convertidos em malhas (meshes) texturizadas para eficiência de renderização e física, mantendo resolução de 4K para a sala e 2K para equipamentos.
2. Percepção Dinâmica (Movimento Humano e de Equipamentos):
   • Humanos: Utiliza o modelo paramétrico SMPL. O pipeline combina detecção, triangulação multi-visão e ajuste de modelo. Keypoints 2D são estimados (via ViTPose+), triangulados para 3D e ajustados ao modelo SMPL, com otimização temporal para suavizar trajetórias e lidar com oclusões.
   • Equipamentos: Estima poses 6-DoF (6 graus de liberdade) usando segmentação com SAM2 (Segment Anything Model 2) em todas as visões, projeção reversa para nuvens de pontos 3D e alinhamento refinado com modelos CAD via algoritmo ICP (Iterative Closest Point) colorido.

C. Integração

Os componentes estáticos e dinâmicos são fundidos em um ambiente 3D imersivo (implementado no Blender), permitindo síntese de viewpoints, replay dinâmico e simulação controlada.

3. Principais Contribuições

• Primeira Infraestrutura Real-to-Sim Dinâmica para ORs: Unifica reconstrução geométrica estática de alta fidelidade com percepção de movimento contínuo de humanos e equipamentos.
• Fotorrealismo e Precisão Métrica: Gera ambientes que não apenas parecem reais, mas possuem precisão geométrica no nível de centímetros, essenciais para tarefas de percepção e localização.
• Ambiente de Teste para IA Embutida: Fornece um "playground" virtual seguro para benchmarks de percepção, localização e interação em cenários cirúrgicos complexos, reduzindo a necessidade de testes físicos arriscados.

4. Resultados Experimentais

Os experimentos foram realizados em duas salas de cirurgia (OR-A e OR-B), cobrindo cirurgias simuladas e um caso real de pneumologia robótica.

• Qualidade de Reconstrução:
  • Geometria: Precisão espacial no nível de centímetros (distância de Chamfer média de 14,1 mm em OR-A e 22,7 mm em OR-B).
  • Fotorrealismo: Alta fidelidade visual (SSIM > 0,90 e PSNR > 27 dB para reconstruções neurais).
• Percepção Dinâmica:
  • Humanos: Erro médio de posição das juntas (MPJPE) de 3,52 cm e 98,34% de partes corretas (PCP3D).
  • Equipamentos: Erros de translação de 9,12 cm e rotação de 4,57°, com IoU de 0,82 para caixas delimitadoras 3D.
• Validação de Tarefas de IA Embutida:
  • Estimativa de Profundidade Estéreo: O modelo FoundationStereo operando em dados sintetizados pelo TwinOR alcançou um erro absoluto médio (MAE) de 7 mm, desempenho comparável a benchmarks do mundo real.
  • Localização Visual (SLAM): O ORB-SLAM3 executado em vídeos sintetizados do TwinOR obteve um Erro de Trajetória Absoluta (ATE) de 0,12 m, dentro da faixa típica de ambientes internos reais, demonstrando que o gêmeo digital preserva a coerência sensorial necessária para navegação autônoma.

5. Significado e Conclusão

O TwinOR representa um avanço significativo na pesquisa de IA para saúde, preenchendo a lacuna entre simulações simplificadas e a realidade complexa das salas de cirurgia.

• Ponte Real-to-Sim: Demonstra que é possível criar ambientes sintéticos que enganam modelos de visão computacional de ponta, permitindo o treinamento e avaliação de agentes de IA sem riscos clínicos.
• Escalabilidade: Oferece um pipeline automatizado para gerar dados sintéticos massivos e variados, essenciais para o aprendizado de máquina.
• Futuro: Embora atualmente limitado a objetos rígidos e grandes (não modelando tecidos deformáveis ou instrumentos finos), o TwinOR estabelece a base para futuras pesquisas em colaboração humano-robô, navegação autônoma e sistemas cirúrgicos inteligentes.

Em resumo, o TwinOR transforma a sala de cirurgia em um ambiente de teste virtual seguro e fisicamente fundamentado, acelerando a transição da inteligência embutida da simulação para a prática clínica real.