Streamlining stereo differentiable rendering for marker-free real-time tracking of surgical robots

Resumo Técnico: Otimização de Renderização Estereoscópica Diferenciável para Rastreamento em Tempo Real sem Marcadores de Robôs Cirúrgicos

Definição do Problema
Robôs cirúrgicos modulares exigem implantação flexível em salas de cirurgia com espaço limitado, mas sua consciência espacial limitada dificulta a automação segura, levando a potenciais colisões com pessoal e equipamentos. As soluções atuais dependem de rastreamento baseado em marcadores (fiduciais) ou estimativa de pose offline, que são propensas a oclusões em ambientes cirúrgicos congestionados ou lentas demais para o rastreamento contínuo e em tempo real durante o deslocamento dinâmico do robô. Embora os métodos de renderização baseados em aprendizado profundo ofereçam robustez, eles tipicamente sofrem com altos custos computacionais, impedindo a inferência online nas taxas de quadros padrão de câmeras (30 fps). O desafio central é alcançar a estimativa de pose 6D contínua e sem marcadores para robôs cirúrgicos em tempo real, mesmo sob oclusão parcial e variações de velocidade de movimento, sem exigir modificações físicas no robô.

Metodologia
Os autores estendem o framework existente roboreg — um pipeline de renderização estereoscópica diferenciável — para permitir o rastreamento dinâmico online e em tempo real. A abordagem alinha máscaras segmentadas do robô com projeções renderizadas de um modelo CAD para otimizar as extrínsecas da câmera (pose) iterativamente. As inovações metodológicas principais incluem:

1. Processamento Multistream Concorrente: Para superar a latência da renderização e otimização sequenciais, os autores implementam um pipeline paralelizado utilizando streams CUDA. Ao utilizar um padrão "ping-pong" com dois streams (um para segmentação do quadro atual e outro para otimização do quadro anterior), o sistema sobrepõe o processamento. Isso reduz o tempo de processamento por quadro de $t_{seg} + t_{opt}$ para $\max(t_{seg}, t_{opt})$, efetivamente dobrando o throughput.
2. Otimização Adaptativa Sensível ao Movimento: Para equilibrar velocidade de convergência e precisão, o sistema ajusta dinamicamente os hiperparâmetros do otimizador com base nas características de movimento entre quadros. O algoritmo classifica o movimento em três regimes (estável, rotacional, translacional) analisando a IoU suave (soft IoU), o deslocamento do centroide e as diferenças angulares dentro de uma Região de Interesse (ROI).
   • Rastreamento estável: Utiliza taxas de aprendizado conservadoras para uma convergência suave.
   • Movimento rápido: Aciona taxas de aprendizado agressivas e redução de momentum para corrigir a pose rapidamente.
3. Adaptação da Função de Perda: A função objetivo substitui a original Dice loss suave por uma Tversky loss para mitigar sinais de gradiente adversariais causados por falsos positivos em máscaras de segmentação, particularmente próximas às bordas.
4. Estratégia de Inicialização: O sistema inicializa as poses usando o algoritmo Hydra (aproveitando dados de profundidade) para o primeiro quadro e propaga a pose convergida do quadro anterior para os quadros subsequentes, garantindo coerência temporal.

Principais Contribuições

• Renderização Estereoscópica Diferenciável em Tempo Real: A primeira implementação de um pipeline de renderização estereoscópica diferenciável para localização de robôs cirúrgicos online, alcançando mais de 30 fps em resolução 1080p.
• Novo Conjunto de Dados de Benchmark: Coleta de 38 sequências de vídeo de deslocamento (33 não obstruídas, 5 com níveis variados de oclusão) apresentando um robô KUKA LBR Med 7. O conjunto de dados inclui calibrações de verdade fundamental (ground-truth) estáticas e referências dinâmicas baseadas em marcadores (AprilTag) para avaliação rigorosa.
• Eficiência sem Reformulação Algorítmica: Demonstrou que o desempenho em tempo real pode ser alcançado otimizando o pipeline de execução (streams CUDA, hiperparâmetros adaptativos) em vez de alterar fundamentalmente o algoritmo de renderização diferenciável subjacente.
• Benchmarking Abrangente: Forneceu uma comparação direta com o estado da arte FoundationPose (um método de representação neural implícita) e baselines estabelecidos, destacando o desempenho tanto em cenários estáticos quanto dinâmicos.

Resultos
O método proposto alcançou as seguintes métricas de desempenho:

• Velocidade de Inferência: Localização em tempo real a 30 fps para vídeo 1080p, acelerando de 14 fps na implementação vanilla do roboreg e superando o FoundationPose em 6× na velocidade de inferência.
• Precisão Estática: Contra calibrações de verdade fundamental estáticas, o sistema alcançou um erro de translação de 1,7 cm e erro de rotação de 0,6°. Isso superou significativamente o FoundationPose, que apresentou um erro médio de 4,37 cm (excluindo casos de falha) e 57,76 cm (incluindo falhas devido à má classificação do mapa de profundidade).
• Precisão Dinâmica: Contra um padrão de referência baseado em marcadores (AprilTag) ao longo de 27.460 quadros, o método alcançou um erro 3D médio de 1,2 cm.
  • Em cenários de oclusão (leve a severa), o método manteve precisão subcentimétrica em 40–54% dos quadros, enquanto o FoundationPose caiu para próximo de 0% em oclusão severa.
  • O método superou o FoundationPose em 11% na estimativa dinâmica e em 250% na estimativa estática.
• Descobertas de Ablação: A renderização em resolução total melhorou a precisão estática em 15%. O ajuste de hiperparâmetros adaptativo reduziu o erro estático em 4,3% em comparação com configurações fixas e evitou a convergência prematura observada na otimização de modo fixo agressivo.

Significância e Alegações
O artigo afirma demonstrar que o rastreamento sem marcadores, em tempo real e de alta resolução de robôs cirúrgicos é alcançável através de renderização estereoscópica diferenciável sem sacrificar a precisão. Os autores enfatizam que sua abordagem:

• Iguala a precisão de abordagens baseadas em marcadores enquanto elimina a necessidade de marcadores físicos, que são suscetíveis a oclusão e desprendimento.
• Fornece maior interpretabilidade em comparação com abordagens neurais de "caixa-preta" (como FoundationPose ou CtRNet) ao utilizar uma estrutura de "caixa-branca" baseada em correspondência densa direta.
• Opera efetivamente em cenários onde dados de profundidade não estão disponíveis (ex: robôs cirúrgicos cobertos por campos cirúrgicos/draping), pois baseia-se em entradas estéreo RGB.
• Alcança um nível de velocidade (34 fps) que excede as taxas de aquisição de câmeras padrão, permitindo resposta imediata a entradas visuais em ambientes cirúrgicos complexos.

Os autores reconhecem limitações, observando que o desempenho degrada sob oclusão severa devido a gradientes de segmentação imprecisos e que o sistema atualmente assume uma pose de câmera inicialmente conhecida. Eles concluem que, embora o método seja robusto sob oclusão leve, trabalhos futuros devem abordar o tratamento de oclusão severa e a validação em robôs cobertos em ambientes clínicos reais.