SurfSurg6D: Geometry Consistent Dense Correspondence for Textureless Surgical Instrument Pose Estimation

Resumo Técnico: SurfSurg6D: Correspondência Densa Consistente com Geometria para Estimativa de Pose de Instrumentos Cirúrgicos sem Textura

Declaração do Problema
A estimativa de pose de instrumentos cirúrgicos é crítica para a cirurgia robótica autônoma, avaliação de habilidades e padronização de fluxos de trabalho. No entanto, a tarefa enfrenta desafios significativos em ambientes de Cirurgia Minimamente Invasiva (RMIS): os instrumentos são frequentemente sem textura e reflexivos, frequentemente ocluídos por tecidos e carecem de sensores de profundidade confiáveis ou verdadeiros de cinemática devido a mecanismos acionados por cabos. Os métodos existentes de estimativa de pose de objetos gerais lutam neste domínio devido à escassez de dados, à "lacuna de domínio" entre imagens sintéticas e reais, e à incapacidade de abordagens baseadas em modelos ou baseadas em regressão de lidar com a falta de características visuais e ocluições frequentes.

Metodologia
Os autores propõem uma abordagem de duas frentes: a criação de um conjunto de dados sintético em grande escala e um novo framework de correspondência densa.

1. Geração do Conjunto de Dados SynSurg6D:
   Para abordar a escassez de dados, os autores construíram o SynSurg6D, um conjunto de dados sintético contendo mais de 60.000 imagens renderizadas de seis instrumentos cirúrgicos comuns (por exemplo, Agulha, Tesoura, Pinça). O pipeline de geração envolve:

   • Reconstrução de Cena: Uso do EndoSurf para reconstruir modelos de malha 3D de ambientes endoscópicos a partir do conjunto de dados EndoNeRF para servir como fundos realistas.
   • Amostragem Constrained por Física: Os instrumentos são posicionados usando uma restrição de Centro Remoto de Movimento (RCM), imitando a inserção de trocarte clínica. O pipeline amostra a profundidade de inserção, rotação axial e ângulos de flexão do pulso dentro de faixas cinematicamente plausíveis.
   • Validação: Detecção de colisão (penetração de malha) e restrições de visibilidade (rejeitando amostras onde o instrumento está muito ocluído ou fora do campo de visão) garantem a plausibilidade física.
   • Renderização: Variações de iluminação e fundo aleatórias são aplicadas para estreitar a lacuna sim-real. O conjunto de dados fornece RGB, profundidade, segmentação, mapas de normais e anotações de pose com 6 Graus de Liberdade (6-DoF).

2. Framework SurfSurg6D:
   Construindo sobre o paradigma de correspondência densa (semelhante ao Surfemb), o framework estima a pose 6-DoF aprendendo correspondências 2D-3D entre pixels da imagem e pontos da superfície do instrumento. Consiste em um Campo Latente de Instrumento (codificando pontos de superfície 3D) e uma Rede de Reconhecimento de Imagem (prevendo embeddings por pixel). Os autores introduzem dois mecanismos-chave para melhorar o desempenho em objetos sem textura:

   • Mineração de Negativos Duros Consciente de Distância: Na aprendizagem contrastiva, os autores observam que pares negativos padrão são frequentemente triviais. Eles introduzem uma estratégia de penalização baseada em distância que aumenta o peso de pares negativos "difíceis" — aqueles onde pontos de superfície não correspondentes estão espacialmente próximos ao ponto de consulta. Isso força o modelo a distinguir entre fragmentos localmente semelhantes, mas geometricamente distintos, reduzindo a confusão em superfícies sem textura.
   • Função de Perda de Consistência Geométrica-Embedding: Para evitar que a variedade de embeddings se torne fragmentada (onde pontos 3D próximos mapeiam para vetores latentes distantes), uma perda de consistência é adicionada. Esta perda impõe que a distância entre embeddings correlacione-se com a distância geométrica entre pontos de superfície, garantindo um campo de embeddings suave e contínuo. Isso melhora a robustez contra pequenos erros de previsão durante a etapa de resolução de pose RANSAC-PnP.

Principais Contribuições

• SynSurg6D: Um conjunto de dados sintético em grande escala com modalidades diversas e anotações precisas de 6-DoF, projetado para diversificar distribuições de pose e aliviar a escassez de dados em robótica cirúrgica.
• SurfSurg6D: Um framework de correspondência densa que integra mineração de negativos duros e regularização de consistência de embeddings. Esses mecanismos visam especificamente os desafios de superfícies sem textura e auto-oclusão.
• Avaliação Abrangente: Experimentos extensivos demonstrando que o método proposto supera métodos de regressão, baseados em modelos e baseados em correspondência do estado da arte (SOTA).

Resultados Experimentais
O método foi avaliado em três benchmarks: SurgRIPE, EndoVis2018 e SurgPose.

• SurgRIPE (Pose 6-DoF): O SurfSurg6D alcançou o melhor desempenho entre todos os métodos. Na configuração de treinamento "sintético+real", atingiu uma precisão ADD-10 de 47,46% e uma precisão média (0-5mm) de 60,12%, superando a linha de base Surfemb (45,01% e 58,97%, respectivamente). Os resultados indicam que o conjunto de dados SynSurg6D gerado melhora consistentemente o desempenho de métodos existentes, não apenas do framework proposto.
• EndoVis2018 e SurgPose (Projeção 2D): O método demonstrou forte generalização para cenas clínicas reais, alcançando uma pontuação Dice de 0,7952 no EndoVis2018 e uma Precisão Média (mAP) de 0,6897 no SurgPose, superando outras abordagens SOTA.
• Estudos de Ablação: Os resultados confirmaram que a mineração de negativos duros melhora principalmente a precisão de translação ao reduzir correspondências errôneas próximas às bordas, enquanto a regularização de consistência melhora a precisão rotacional ao garantir suavidade geométrica no espaço de embeddings.
• Modelos de Base: A inferência zero-shot usando modelos de base (MegaPose, FoundPose) produziu resultados pobres, destacando a dificuldade de aplicar modelos gerais a instrumentos cirúrgicos sem textura e reflexivos sem dados específicos do domínio.

Significado e Alegações
O artigo afirma que a escassez de dados anotados de alta qualidade é o principal gargalo para a estimativa de pose de instrumentos cirúrgicos. Ao introduzir o SynSurg6D, os autores fornecem um recurso que diversifica as distribuições de pose e aumenta a robustez de abordagens baseadas em dados. O framework SurfSurg6D oferece uma solução robusta para estimativa de pose precisa, apenas RGB, em ambientes cirúrgicos desafiadores. Os autores enfatizam que sua abordagem lida efetivamente com objetos sem textura e oclusões significativas, alcançando velocidades de inferência competitivas (1,25 FPS) adequadas para aplicações práticas de RMIS, desde que a detecção de caixas delimitadoras seja tratada separadamente. O trabalho sugere que melhorias futuras poderiam envolver o rastreamento de configurações articuladas e a integração de módulos de rastreamento temporal para aumentar ainda mais a velocidade de inferência efetiva para fluxos de vídeo.