💻 computer science

NVIDIA Cosmos-H-Dreams: Real-Time Generative Physics Simulation for Surgical Robotics

O artigo apresenta o Cosmos-H-Dreams, um modelo de mundo generativo em tempo real e agnóstico a controladores que utiliza destilação professor-aluno e Self Forcing para permitir simulações cirúrgicas interativas e fotorrealistas a 160 FPS, preenchendo a lacuna entre experimentos físicos dispendiosos e simuladores clássicos para educação, geração de dados sintéticos e suporte à decisão.

Autores originais: Javier Gamazo Tejero, Lukas Zbinden, Keyur Sheth, Raghavendra K M, Nadim Daher, Diego Granero Maraña, Filip Binkiewicz, Patrick Thornycroft, Mahdi Azizian, Sean D. Huver

Publicado 2026-08-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Javier Gamazo Tejero, Lukas Zbinden, Keyur Sheth, Raghavendra K M, Nadim Daher, Diego Granero Maraña, Filip Binkiewicz, Patrick Thornycroft, Mahdi Azizian, Sean D. Huver

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na sala de cirurgia, a margem entre um procedimento bem-sucedido e uma complicação pode ser medida em milímetros e milissegundos. Os cirurgiões dependem de sistemas robóticos para realizar tarefas delicadas, como costurar vasos sanguíneos ou remover órgãos, mas o treinamento para esses momentos tem sido historicamente um processo lento, caro e, muitas vezes, perigoso. Para aprender, um estagiário pode praticar em tecido animal ou em cadáveres, recursos que são finitos e não podem ser reutilizados. Alternativamente, eles podem usar simulações de computador, mas estas há muito lutam para parecer e se comportar como o mundo real; elas frequentemente falham em capturar a maneira como o tecido mole ondula, sangra ou reage ao calor de um instrumento cirúrgico. Por décadas, a lacuna entre o campo de treinamento digital e o centro cirúrgico físico permaneceu ampla, forçando os cirurgiões a depender fortemente da intuição e de horas limitadas de prática.

Uma equipe de pesquisadores da NVIDIA e da CMR Surgical construiu agora um sistema que preenche essa lacagem, criando um mundo digital onde robôs cirúrgicos podem ser treinados e testados em tempo real. Eles chamam sua criação de Cosmos-H-Dreams. Ao contrário das simulações anteriores, que simplesmente reproduzem vídeos pré-gravados ou dependem de motores de física rígidos que parecem travados e artificiais, este sistema gera novos quadros de vídeo sobre a marcha, reagindo instantaneamente aos movimentos de um cirurgião ou de um programa de computador. É um modelo generativo, um tipo de inteligência artificial que aprende as leis da física e a aparência visual da cirurgia ao observar milhares de horas de filmagens cirúrgicas reais. O resultado é um simulador que roda rápido o suficiente para parecer uma interação ao vivo, permitindo que um humano controle um robô virtual com um teclado ou um headset, ou permitindo que um algoritmo de computador aprenda a dar um nó sem nunca tocar em um instrumento físico.

O cerne desta conquista é uma estratégia de duas partes que equilibra a necessidade de visuais de alta qualidade com a necessidade de velocidade. Os pesquisadores primeiro treinaram um enorme modelo "professor" em uma vasta coleção de dados cirúrgicos de nove tipos diferentes de sistemas robóticos. Este professor aprendeu a prever o que aconteceria a seguir em uma cena cirúrgica com alta precisão, mas era lento demais para uso em interação ao vivo; levava muito tempo para calcular cada novo quadro. Para resolver isso, eles criaram um modelo "aluno" menor e mais rápido. Eles utilizaram uma técnica chamada destilação, onde o aluno aprende a imitar as previsões do professor, mas o faz de uma forma muito mais eficiente. Ao ensinar o aluno a gerar rajadas curtas de quadros de vídeo em apenas dois passos, em vez de dezenas, e ao otimizar o software para rodar em um único chip de computador potente, a equipe alcançou um avanço na velocidade. O sistema pode agora produzir um fluxo contínuo de vídeo cirúrgico realista a aproximadamente 160 quadros por segundo em uma única estação de trabalho, rápido o suficiente para eliminar o atraso (lag) que normalmente faz a realidade virtual parecer desconexa.

O que torna este sistema verdadeiramente único é sua capacidade de aceitar controle de qualquer fonte. Os pesquisadores demonstraram que o simulador poderia ser controlado por uma pessoa digitando em um teclado, um cirurgião usando um headset de realidade virtual ou até mesmo um console de robô cirúrgico comercial como o Versius. Ele também pode ser controlado por uma política de inteligência artificial que está aprendendo a realizar tarefas por conta própria. Nestes experimentos, a IA observa o vídeo que ela gera, decide um movimento e, então, vê a consequência visual imediata desse movimento, criando um ciclo fechado de aprendizado. Esta é a primeira vez que um modelo de mundo interativo e em tempo real é aplicado à cirurgia, permitindo que tanto humanos quanto máquinas atuem dentro de um ambiente sintetizado e observem os resultados instantaneamente.

Os pesquisadores testaram o sistema rigorosamente para ver se o mundo digital se comportava como o real. Eles fizeram o simulador passar por milhares de tarefas de sutura e compararam os resultados com o que acontecia quando as mesmas tarefas eram realizadas em um robô físico. Os resultados mostraram uma concordância geral moderada entre a simulação e os resultados do mundo real, com uma correlação de Pearson de 0,696 entre as tarefas. No entanto, o desempenho variou substancialmente dependendo da tarefa específica. O sistema mostrou concordância relativamente forte para tarefas como pegar e arremessar objetos, mas para tarefas mais complexas como entrega (handover) e dar nós, a correlação foi negativa, indicando que o simulador às vezes previa sucesso onde o robô real falhava, ou vice-versa. O sistema capturou com precisão a física dos tecidos moles e o comportamento das ferramentas cirúrgicas na maioria dos cenários. No entanto, o estudo também revelou os limites da tecnologia. Quando a simulação envolvia estruturas extremamente finas e sobrepostas, como um fio dobrando sobre si mesmo durante uma tarefa de dar um nó, o sistema ocasionalmente cometia erros, alucinando a forma do fio de maneiras que não correspondiam à realidade. Esses erros foram mais comuns na versão rápida e em tempo real do que no modelo professor, que é mais lento e preciso, sugerindo que, embora o sistema seja uma ferramenta poderosa para treinamento e avaliação, ainda não é perfeito para todo tipo de manipulação delicada.

Apesar dessas limitações, as implicações deste trabalho são significativas. Ao fornecer um ambiente seguro, escalável e fotorrealista, o Cosmos-H-Dreams oferece uma nova base para a educação cirúrgica. Cirurgiões podem agora praticar procedimentos complexos repetidamente sem a necessidade de cadávers ou animais, e políticas robóticas podem ser treinadas e refinadas em um ambiente de testes digital antes de serem implantadas em um hospital. Os pesquisadores disponibilizaram o código e o modelo ao público, esperando acelerar o desenvolvimento de robôs cirúrgicos mais seguros e melhores ferramentas de treinamento. Embora o sistema foque atualmente em tarefas de sutura de bancada, a equipe planeja expandi-lo para cobrir procedimentos clínicos completos envolvendo anatomia complexa. Por enquanto, ele serve como uma prova de conceito de que o futuro do treinamento cirúrgico pode não estar em um laboratório físico, mas em um mundo generativo de tempo real, onde os erros são seguros e o aprendizado é infinito.

Resumo Técnico: NVIDIA Cosmos-H-Dreams: Simulação de Física Generativa em Tempo Real para Robótica Cirúrgica

1. Declaração do Problema

O treinamento e a avaliação de políticas em robótica cirúrgica enfrentam gargalos significativos. Experimentos físicos envolvendo laboratórios de animais ou cadáveres são dispendiosos, demorados e difíceis de reproduzir. Por outro lado, simuladores clássicos lutam para capturar a aparência fotorrealista e a dinâmica complexa de tecidos deformáveis (ex: sangramento, fumaça de eletrocauterização, superfícies úmidas especulares) necessários para um treinamento cirúrgico realista. Embora os Modelos de Fundação de Mundo (WFMs) ofereçam uma alternativa baseada em dados para sintetizar futuros plausíveis, as abordagens existentes frequentemente falham em alcançar conjuntamente alta fidelidade visual/física, controlabilidade de ação e velocidades de geração em tempo real necessárias para simulação interativa. Especificamente, há uma carência de modelos de mundo cirúrgicos que suportem controle humano ao vivo e avaliação de política em malha fechada (closed-loop) em tempo real.

2. Metodologia

Os autores propõem o Cosmos-H-Dreams, um sistema integrado de modelo de mundo cirúrgico em tempo real. A metodologia segue um pipeline de múltiplos estágios envolvendo agregação de dados, design de arquitetura de modelo, uma estratégia de destilação professor-aluno e uma pilha de inferência especializada.

2.1 Estratégia de Dados

Open-H-Embodiment: Um corpus de grande escala e multi-incorporação (multi-embodiment) agregando 32 conjuntos de dados através de 9 incorporações robóticas (incluindo CMR Versius e dVRK) e aproximadamente 22 milhões de frames. Isso fornece um espaço de ação 44D unificado cobrindo diversos instrumentos, anatomias e condições de iluminação.
dVRK Tabletop Suturing: Para ajuste fino (fine-tuning) específico, todo o conjunto de dados de sutura dVRK (incluindo episódios de falha) é utilizado. Este conjunto de dados compreende ~1 milhão de frames a 10 Hz, expressos em um formato de ação de braço duplo 20D (preenchido para 44D).

2.2 Arquitetura do Modelo

O sistema é construído sobre o Cosmos-Predict2.5, um Transformer de Difusão (DiT) condicionado por ação.

Condicionamento: O modelo ingere um primeiro frame RGB (codificado como tokens latentes limpos), um cache KV de streaming para contexto temporal e um bloco de cinemática robótica (vetor de ação unificado de 44D). As ações são injetadas via modulação timestep/AdaLN em vez de serem tratadas como tokens de atenção separados.
Treinamento em Dois Estágios:
1. Professor Bidirecional: Inicializado a partir do Cosmos-H-Surgical-Simulator multi-incorporação, este modelo é ajustado em dados de procedimentos específicos (ex: sutura em bancada) usando um objetivo de fluxo retificado (rectified-flow). Ele é treinado em horizontes temporais crescentes (até 73 frames) para melhorar a estabilidade de longo alcance (long-rollout).
2. Aluno Causal (Destilação): O professor bidirecional é destilado em um aluno causal e autorregressivo capaz de streaming em tempo real. Isso aborda o problema do "viés de exposição" (exposure bias), onde o modelo deve condicionar-se em suas próprias gerações imperfeitas passadas.
  - Self Forcing: O aluno é treinado em contexto autogerado via auto-rollouts, aproximando a lacuna entre treino e teste.
  - Distribution Matching Distillation (DMD): Em vez de reconstrução pixel a pixel, o aluno minimiza a diferença de distribuição entre seus clipes autogerados e o manifold de dados reais usando uma rede de score congelada e uma rede de fake-score treinável.

2.3 Inferência e Servimento

FlashDreams: A pilha de implantação utiliza a biblioteca de inferência de streaming FlashDreams para permitir a geração autorregressiva em hardware de borda (edge).
Otimizações: O sistema emprega um cache KV de streaming de tamanho fixo, atenção temporal de janela local com sumidouros de aparência (appearance sinks), codificadores/decodificadores latentes leves (TAEHV) e operações pré-computadas.
Redução de Latência: Um pipeline totalmente residente em GPU substitui o MJPEG por codificação H.264 baseada em NVENC, reduzindo a latência downstream em 1.20x.
Interfaces de Controle: O sistema suporta controle ao vivo via WebRTC (teclado de navegador), WebXR (headset Meta Quest), sockets TCP (políticas aprendidas) e integração direta com consoles de robôs cirúrgicos (ex: CMR Surgical Versius).

3. Principais Contribuições

Primeiro Modelo de Mundo Cirúrgico Interativo: O sistema é o primeiro a suportar controle ao vivo tanto por operadores humanos (via VR/teclado) quanto por políticas aprendidas em malha fechada.
Fundação Multi-Embodiment: Introduz o Cosmos-H-Surgical-Simulator, um modelo de fundação ajustado através de 9 incorporações robóticas, fornecendo um checkpoint reutilizável para modelos específicos de procedimentos downstream.
Streaming em Tempo Real em uma Única GPU: Ao combinar a destilação Self Forcing com o FlashDreams, o sistema alcança taxas de quadros interativas (~160 FPS) em uma única GPU NVIDIA RTX PRO 6000 Blackwell, gerando blocos de 12 frames em resolução 288×512.
Novo Benchmark de Avaliação: O artigo propõe avaliar modelos de mundo cirúrgicos com base na controlabilidade de ação em malha fechada e estabilidade em rollouts de tarefas de longo prazo, indo além de métricas estáticas de pixels.

4. Resultados

Qualidade de Simulação: Em episódios de sutura em bancada, o aluno causal de 2 passos destilado (usando TAEV) atinge um Fréchet Video Distance (FVD) de 265.36 e LPIPS de 0.1212, comparado ao professor de 170.13 e 0.0864. Isso quantifica o custo de fidelidade para a operação em tempo real.
Estabilidade de Rollout: O treinamento progressivo com professores de horizonte mais longo (até 73 frames) reduz significamente o desvio temporal em rollouts autorregressivos de longo prazo comparado a professores de horizonte curto.
Avaliação de Política em Malha Fechada: Ao avaliar políticas cirúrgicas (ex: $\pi_0$ $π_{0}$ , GR00T N1) em simulação contra resultados reais de dVRK, o sistema mostra concordância moderada (Pearson $r=0.696$ $r = 0.696$ ).
- Uma forte correlação foi observada para tarefas de "pegar" (pickup) e "lançar" (throw) ( $r=0.67, 0.77$ ).
- Correlações negativas foram encontradas para tarefas de "entrega" (handover) e "dar nó" (knot tie) ( $r=-0.39, -0.24$ ), atribuídas a alucinações de estruturas finas e autointeragentes (ex: geometria do fio) no modelo destilado.
Desempenho: O sistema atinge 161 FPS para blocos de 12 frames em 288×512 em uma única GPU. Em resoluções mais altas (540p), a inferência cai para ~30 FPS, com a codificação NVENC tornando-se menos confiável e recorrendo à CPU.

5. Significância e Alegações

O artigo alega que o Cosmos-H-Dreams representa uma mudança de geradores de vídeo offline para simuladores cirúrgicos interativos e em tempo real. Sua significância reside em permitir:

Educação Cirúrgica: Fornecer uma base comum para treinamento onde operadores humanos podem agir e observar consequências em tempo real.
Dados Sintéticos Escaláveis: Gerar dados para cenários raros ou contrafatuais difíceis de capturar fisicamente.
Desenvolvimento de Políticas: Oferecer um ambiente de malha fechada para o treinamento e avaliação de políticas robóticas.

Os autores afirmam explicitamente que, embora o sistema demonstre geração interativa e concordância sim-to-real moderada, ele ainda não é um substituto para a avaliação offline em manipulação bimanual fina envolvendo estruturas complexas e finas como suturas. Eles identificam a degradação da fidelidade nesses cenários como uma limitação primária e observam que o trabalho futuro focará em estender o pipeline para procedimentos clínicos com anatomia mais rica e validar o sistema para suporte à decisão intraoperatória. O artigo posiciona o sistema como um passo fundamental, identificando o Cosmos 3 como o próximo backbone natural para melhorar a fidelidade mantendo o throughput.