Real-time Rendering-based Surgical Instrument Tracking via Evolutionary Optimization

Título: Rastreamento de Instrumentos Cirúrgicos em Tempo Real Baseado em Renderização via Otimização Evolutiva

1. Problema e Contexto

O rastreamento preciso e eficiente de instrumentos cirúrgicos articulados é fundamental para a Cirurgia Minimamente Invasiva Assistida por Robô (RMIS). Aplicações downstream, como controle baseado em visão, realidade aumentada e aprendizado de robôs, dependem dessa estimativa de pose.

No entanto, existem desafios significativos:

• Visibilidade Parcial e Geometria Complexa: A cadeia cinemática longa e a geometria não convencional dos instrumentos (com pontas articuladas e hastes cilíndricas) dificultam a recuperação da pose.
• Ruído nos Dados: Medições de ângulos das juntas (joints) são frequentemente ruidosas devido ao estiramento de cabos em sistemas de acionamento por cabo.
• Limitações dos Métodos Atuais:
  • Baseados em Recursos (Keypoints): Métodos que usam detecção de keypoints e solvers PnP são sensíveis a ruídos, qualidade de imagem endoscópica degradada e oclusão.
  • Baseados em Renderização Diferenciável: Embora mais robustos, métodos iterativos baseados em gradiente sofrem com convergência lenta, alto custo computacional e tendência a ficar presos em mínimos locais, tornando-os inadequados para aplicações em tempo real.

2. Metodologia Proposta

Os autores propõem um novo framework que combina renderização em lote (batch rendering) com uma estratégia de otimização evolutiva (CMA-ES) para estimar a pose do instrumento e as configurações das juntas simultaneamente.

Arquitetura do Sistema:

1. Entrada e Observações:
   • Recebe quadros de vídeo RGB.
   • Gera máscaras de segmentação em tempo real usando Surgical SAM 2.
   • Detecta as pontas das ferramentas (tool tips) usando uma rede de detecção de keypoints baseada em ResNet-18.
2. Otimização via CMA-ES (Covariance Matrix Adaptation Evolution Strategy):
   • Em vez de usar gradiente, o método utiliza o CMA-ES, um algoritmo de "caixa preta" que refina iterativamente uma distribuição Gaussiana sobre o espaço de estados candidatos.
   • Avaliação em Lote: O CMA-ES gera múltiplos candidatos de pose em paralelo. Esses candidatos são avaliados simultaneamente usando renderização em lote (batch rendering) na GPU, o que acelera drasticamente o processo de avaliação da função de custo.
   • Atualização da Distribuição: A distribuição de busca é atualizada com base nos melhores candidatos (elite), movendo-se em direção à solução ótima sem depender de derivadas da função de perda.
3. Função de Perda (Objetivo):
   • Combina uma perda de renderização (diferença entre a máscara renderizada e a máscara de segmentação real, incluindo MSE e perda de aparência) com uma perda de alinhamento de keypoints (distância entre as pontas detectadas e as projetadas).
4. Parametrização de Estado:
   • Utiliza uma representação de câmera "look-at" para desacoplar a rotação do eixo da ferramenta, lidando melhor com simetrias rotacionais.
   • Emprega uma reparametrização baseada em cosseno para impor restrições físicas aos ângulos das juntas dentro da otimização evolutiva, evitando distorções na distribuição de amostragem.
5. Filtragem Temporal:
   • Um filtro de Kalman com modelo de velocidade constante é aplicado para suavizar as estimativas, reduzir o "jitter" e garantir consistência temporal entre os quadros.
6. Rastreamento Bimanual:
   • O framework é estendido para rastrear dois instrumentos simultaneamente, otimizando os estados concatenados com uma matriz de covariância em forma de bloco diagonal para evitar correlações espúrias entre os braços.

3. Principais Contribuições

1. Framework Integrado em Tempo Real: Um sistema de rastreamento online que utiliza CMA-ES, renderização em lote e filtragem temporal para estimar a pose de instrumentos cirúrgicos a partir de uma câmera monoculares.
2. Calibração Conjunta e Flexibilidade: A formulação permite calibrar a pose do instrumento e os erros cinemáticos simultaneamente. O sistema opera tanto com quanto sem leituras de ângulos das juntas, tornando-o aplicável para controle baseado em visão e calibração de vídeos cirúrgicos online.
3. Extensão Bimanual Eficiente: Uma abordagem para rastreamento de dois instrumentos articulados dentro de um único framework de otimização, com sobrecarga computacional modesta.

4. Resultados Experimentais

Os métodos foram avaliados em conjuntos de dados sintéticos e reais (SurgPose e dados coletados), comparando-se com abordagens baseadas em gradiente (GD), XNES e filtros de partículas.

• Precisão:
  • O método proposto superou consistentemente as abordagens baseadas em gradiente (GD) em precisão de rotação, translação e ângulos das juntas.
  • Em dados sintéticos, o CMA-ES com leituras de juntas apresentou reconstrução quase perfeita, enquanto o GD falhou em convergir corretamente devido a mínimos locais.
  • Em dados reais, o método alcançou menor erro de máscara (IoU) e erro de reprojeção de keypoints em comparação com o filtro de partículas de Richter et al. [12].
• Eficiência e Tempo de Execução:
  • O método alcançou alta precisão com apenas 3 iterações por quadro, enquanto os métodos baseados em gradiente exigiam 10-20 iterações para resultados inferiores.
  • O tempo de inferência foi reduzido em aproximadamente 37% em comparação com as melhores abordagens de gradiente, graças à avaliação paralela na GPU.
  • Em cenários bimanuais, o método manteve alta precisão com latência de ~21ms por quadro.
• Robustez:
  • O sistema demonstrou ser robusto a inicializações ruins e à ausência de leituras de ângulos das juntas, mantendo o rastreamento estável onde métodos baseados em gradiente falhavam ou acumulavam erros.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na viabilidade prática do rastreamento de instrumentos cirúrgicos para aplicações clínicas e robóticas. Ao substituir a otimização baseada em gradiente por uma estratégia evolutiva combinada com renderização acelerada por GPU, os autores superaram as barreiras de convergência lenta e sensibilidade a mínimos locais.

O framework oferece uma solução robusta que não depende de marcadores físicos ou setups complexos, funcionando eficazmente mesmo com dados cinemáticos ruidosos ou ausentes. Isso abre caminho para aplicações em tempo real, como controle de robô cirúrgico autônomo e calibração automática de vídeos cirúrgicos para treinamento de IA. As limitações futuras incluem o tratamento de oclusões severas entre instrumentos e a integração de estratégias de segmentação mais robustas.