SWoMo: Neuro-Symbolic World Model for Cataract Surgery Simulation

Resumo Técnico: SWoMo – Modelo de Mundo Neuro-Simbólico para Simulação de Cirurgia de Catarata

Declaração do Problema
A simulação cirúrgica realista é essencial para o treinamento de cirurgiões novatos e para o desenvolvimento de agentes cirúrgicos autônomos. Embora os "modelos de mundo" ofereçam um caminho para simulações interativas e escaláveis, prevendo estados futuros do paciente com base em observações e ações, as abordagens atuais de última geração lutam para atender a três critérios críticos para aplicabilidade clínica:

1. Realismo Visual: Os simuladores frequentemente carecem da fidelidade necessária para minimizar a lacuna simulação-realidade, particularmente na modelagem de interações e texturas complexas entre instrumentos e tecidos.
2. Interações Fundamentadas Fisicamente: Muitos métodos falham em garantir que as interações aderam às leis físicas, limitando a transferibilidade de comportamentos aprendidos para ambientes reais de alto risco.
3. Generalização: Modelos existentes degradam-se significativamente quando confrontados com cenários fora da distribuição (OOD), como geometrias de ferramentas não vistas, ângulos de inserção ou fluxos de trabalho cirúrgicos novos, pois seu comportamento está rigidamente acoplado à distribuição de treinamento.

Os métodos atuais geralmente se destacam em apenas uma dessas áreas. Modelos de vídeo puramente generativos carecem de condicionamento de ação passo a passo e fundamentação física, enquanto simuladores tradicionais baseados em física frequentemente carecem de realismo visual e lutam com deformações complexas.

Metodologia
Os autores introduzem o SWoMo, um modelo de mundo neuro-simbólico para cirurgia de catarata que desacopla a geração de movimento do realismo visual. A arquitetura consiste em dois componentes principais:

1. Componente Simbólico (Movimento e Dinâmica):

   • Estratégia de Pareamento Inverso: O sistema extrai configurações anatômicas ($k_{anat}$) e cinemática da ferramenta ($k_{tool}$) de vídeos cirúrgicos reais. Parâmetros anatômicos (elipses da pupola/íris, rotação/traslação do globo) são derivados usando nnU-Net e CoTracker, enquanto parâmetros da ferramenta (posição da ponta, orientação, articulação) são recuperados usando SASVi e SAM2.
   • Simulador Baseado em Regras: Esses parâmetros extraídos acionam um simulador baseado em regras construído sobre o motor de jogo Godot. Este simulador gera um gêmeo digital do olho e das ferramentas cirúrgicas, produzindo uma sequência de quadros simulados ($\bar{x}$) e segmentações correspondentes ($\bar{m}$). Isso garante interações fundamentadas fisicamente e controle preciso sobre a dinâmica instrumento-tecido.
   • Grafos de Cena Simbólicos: A partir dos quadros simulados e segmentações, o sistema constrói grafos de cena ($G$). Esses grafos codificam a geometria do objeto e estruturas relacionais (por exemplo, centróides, dispersão espacial, fluxo óptico). Os autores utilizam dois codificadores de grafo (global e local) para capturar relações estruturais e pistas de aparência, que servem como sinais de condicionamento para mitigar artefatos de desalinhamento entre vídeos simulados e reais.

2. Componente Neural (Realismo Visual):

   • Modelo de Difusão de Vídeo: Um modelo de difusão de remoção de ruído ($\epsilon_\theta$) traduz a sequência simulada ($\bar{x}$) e os grafos de cena ($G$) em vídeos cirúrgicos realistas ($x$).
   • Treinamento em Duas Etapas:
     • Etapa 1: O modelo aprende a geração de imagem e de vídeo a partir de grafos, condicionado ao primeiro quadro e aos grafos de cena.
     • Etapa 2: Uma abordagem baseada em ControlNet é empregada para incorporar a sequência completa de vídeo simulado ($\bar{x}_{1:n}$) como sinal de condicionamento. Isso permite que o modelo module características intermediárias sem interromper o prior generativo pré-treinado, garantindo alta fidelidade visual enquanto adere ao movimento simulado.

Principais Contribuições

• Arquitetura Desacoplada: O SWoMo separa explicitamente a modelagem da dinâmica de movimento/interação cirúrgica (tratada pelo simulador simbólico) da aparência visual (tratada pelo modelo de difusão). Isso permite a preservação precisa dos movimentos de ferramentas e anatômicos enquanto aprende texturas e deformações complexas a partir de dados.
• Pareamento Inverso para Treinamento: Os autores propõem uma estratégia inovadora para reconstruir vídeos cirúrgicos reais no simulador, a fim de gerar conjuntos de dados em grande escala de vídeos simulados e reais pareados. Isso permite o treinamento de um modelo de difusão vídeo-para-vídeo para tradução simulação-realidade sem exigir anotação manual de cada quadro.
• Condicionamento por Grafos de Cena: A integração de grafos de cena simbólicos como entradas de condicionamento mostrou-se crucial para manter a identidade do objeto e reduzir artefatos de suavização próximos às fronteiras instrumento-tecido causados por desalinhamentos residuais.
• Transferência de Estilo Não Supervisionada: Ao utilizar uma representação intermediária compartilhada (a sequência simulada) que codifica geometria e movimento independentemente da aparência, o SWoMo permite transferência de estilo de vídeo não supervisionada entre diferentes conjuntos de dados (por exemplo, CATARACTS e Cataract-1k) sem dados de treinamento pareados.

Resultados
Experimentos foram conduzidos nos conjuntos de dados CATARACTS e Cataract-1k, focando em fases cirúrgicas críticas para a segurança.

• Desempenho Quantitativo: O SWoMo superou múltiplas linhas de base (incluindo StyleGAN-V, Endora, MedSora, LVDM, MOFA e SG2VID) em termos de fidelidade visual (FID, FVD, LPIPS) e adesão ao condicionamento (IoU da Caixa Delimitadora, pontuação F1). Especificamente, alcançou um FVD de 265,4 e uma pontuação F1 de 0,412 no conjunto de dados CATARACTS, superando o próximo melhor método (SG2VID) em adesão ao condicionamento.
• Estudos de Ablação: A remoção do condicionamento por grafo de cena (SWoMo-✗SG) ou do condicionamento por imagem (SWoMo-✗IMG) resultou em quedas mensuráveis de desempenho, confirmando a necessidade de ambos os componentes para síntese de alta fidelidade e adesão.
• Generalização: O modelo demonstrou a capacidade de gerar resultados plausíveis para geometrias de interação não vistas, incluindo novas direções de entrada de ferramentas e combinações de ferramentas não presentes nos dados de treinamento.
• Utilidade a Montante: Quando utilizado como ferramenta de aumento de dados generativa para reconhecimento de fase cirúrgica (usando MS-TCN++), o SWoMo melhorou a precisão e as pontuações F1 em comparação com o treinamento apenas em dados reais e em comparação com o aumento usando outros métodos generativos.

Significado
O artigo afirma que o SWoMo aborda o trade-off entre fundamentação física e realismo visual que tem impedido a aplicabilidade clínica de modelos de mundo cirúrgicos. Ao combinar um simulador baseado em regras para dinâmica com um modelo de difusão para aparência, o SWoMo satisfaz os três critérios-chave: alcança alto realismo visual, garante interações fundamentadas fisicamente e generaliza para cenários além da distribuição de treinamento. Os autores enfatizam que essa abordagem reduz o esforço de implementação necessário para simuladores (eliminando a necessidade de modelar manualmente texturas complexas) enquanto mantém controle preciso sobre ações cirúrgicas, permitindo assim ambientes de treinamento mais eficazes e o desenvolvimento de agentes cirúrgicos autônomos.