Point Tracking in Surgery--The 2025 Surgical Tattoos in Infrared Challenge (STIRC2025)

Resumo Técnico: Rastreamento de Pontos em Cirurgia – O Desafio de 2025 Surgical Tattoos in Infrared (STIR)

Definição do Problema
O rastreamento preciso de pontos em ambientes cirúrgicos é um requisito fundamental para tarefas de visão computacional médica subsequentes, incluindo segmentação, reconstrução 3D, marcação de marcos teciduais virtuais, escaneamento baseado em sonda autônomo e autonomia de subtarefas. Embora o conhecimento do movimento e da localização do tecido seja crítico para a destreza automatizada e o escaneamento autônomo, os métodos existentes frequentemente enfrentam dificuldades com os desafios específicos de vídeos cirúrgicos, como deformação tecidual, oclusão e condições de iluminação variáveis. O Desafio STIR 2025 (STIRC2025) foi organizado para abordar essas lacunas, avaliando e avançando algoritmos para o rastreamento de pontos tanto em espaços 2D quanto 3D.

Metodologia e Conjunto de Dados
O desafio utilizou o conjunto de dados STIR Challenge 2025 (STIRC2025), que consiste em 32 sequências de vídeo estéreo coletadas usando um sistema da Vinci 5. O conjunto de dados inclui casos in vivo (sujeitos porcinos) e ex vivo (tecidos mistos).

• Protocolo de Anotação: Os rótulos de verdade fundamental (ground truth) foram gerados tatuando o tecido com tinta de verde de indocianina (ICG). O endoscópio capturou imagens infravermelhas (IR) no início e no fim de uma ação para definir as localizações dos pontos, enquanto o vídeo intermediário foi registrado em luz branca.
• Formato de Dados: Cada sequência inclui imagens IR de início e fim, máscaras de segmentação binária da tinta IR e o vídeo estéreo correspondente em luz branca (1280 × 1024 pixels).
• Reconstrução 3D: As posições 3D de verdade fundamental foram calculadas via busca epipolar usando correlação cruzada normalizada nos pontos segmentados, seguida de retroprojeção usando parâmetros de câmera calibrados (linha de base, distância focal e pontos principais).

Métricas de Avaliação
Os participantes foram avaliados em dois componentes primários:

1. Acurácia: Medida usando a métrica resistente a outliers $\delta_{avg}$ (introduzida no TAP-Vid), que calcula a porcentagem de pontos rastreados que caem dentro de limiares de distância específicos ($l_i$) no quadro final.
   • Limiares 2D: 4, 8, 16, 32 e 64 pixels.
   • Limiares 3D: 2, 4, 8, 16 e 32 milímetros.
   • Os pontos foram correspondidos ao seu rótulo de verdade fundamental mais próximo no quadro final.
2. Eficiência: Medida pela latência de inferência. A avaliação focou nos percentis 95 e 99 de latência, bem como na média, para capturar o desempenho de pior caso, crítico para aplicações cirúrgicas em tempo real. Uma submissão era elegível para o ranking de eficiência apenas se sua acurácia excedesse 90% do método de melhor desempenho.

Principuições e Submissões Chave
Sete equipes participaram do desafio, com todas submetendo soluções 2D e duas equipes (NCT TSO e MFTIQProb) submetendo soluções 3D. O artigo detalha várias abordagens metodológicas distintas:

• Métodos de Linha de Base (Baselines): Incluíram Controle (movimento zero), RAFT, CSRT, MFT (Multi-Frame Tracking) e uma linha de base 3D combinando RAFT com RAFT-Stereo.
• Inovações dos Participantes:
  • BlueJays: Propôs um método autossupervisionado usando caminhadas aleatórias contrastivas e correspondência global (GMFlow) com uma estratégia de quadro de referência móvel para lidar com oclusão.
  • CCG DGIST: Desenvolveu um arcabouço híbrido combinando fluxo óptico denso com rastreamento baseado em pontos-chave (SuperPoint, ALIKED, LightGlue, RoMA) para equilibrar precisão local com robustez de longo prazo.
  • MFTIQProb: Introduziu um pipeline de rastreamento multiponto probabilístico usando distribuições Gaussianas para pontos candidatos e atualizações Bayesianas para lidar com visibilidade.
  • MoriLabNU: Adaptou o MFT para rastreamento laparoscópico usando Consolidação de Peso Elástico (EWC) para evitar o esquecimento catastrófico ao ajustar extratores de características em texturas cirúrgicas.
  • NCT TSO: Construiu um pipeline sobre o LiteTracker (derivado do CoTracker3), incorporando filtragem de Kalman para modelagem de movimento e buffers de características de quadros-chave para reduzir o desvio (drift).
  • SRV: Substituiu o componente de fluxo óptico no MFT pelo WAFT (Warping-Along Field Transforms) para evitar grandes volumes de custo.
  • UII VRI: Utilizou um rastreador de pontos denso de domínio geral congelado (AllTracker) com atenção temporal e suavização de Kalman, evitando o ajuste fino (fine-tuning) para o domínio cirúrgico.

Resultos

• Acurácia 2D: O método de melhor desempenho geral foi a linha de base MFT ($\delta_{avg} = 83,50$). Entre as submissões dos participantes, a CCG DGIST ficou em primeiro lugar ($\delta_{avg} = 82,99$), seguida pela MFTIQProb ($\delta_{avg} = 82,91$) e MoriLabNU ($\delta_{avg} = 82,74$).
• Acurácia 3D: A Equipe NCT TSO alcançou a maior acurácia ($\delta_{avg} = 68,46$), superando todas as linhas de base. A MFTIQProb ficou em segundo lugar ($\delta_{avg} = 57,09$). Os autores observam que os principais métodos 3D dependeram de combinações filtradas de rastreamento 2D e triangulação estéreo, em vez de arquiteturas nativas 3D.
• Eficiência: A Equipe NCT TSO venceu a categoria de eficiência com uma latência por quadro de 26,25 ms (percentil 95), superando significativamente o próximo competidor mais rápido (UII VRI com 140,52 ms).

Significância e Alegações
O artigo posiciona o desafio STIRC2025 e seu respectivo conjunto de dados como um recurso crítico para as comunidades de robótica cirúrgica e visão computacional. Os autores afirmam que o desafio destaca a importância de:

1. Validação Cruzada Robusta: O fato de uma linha de base (MFT) ter superado muitas submissões especializadas ressalta a dificuldade de generalização e o risco de overfitting aos conjuntos de teste liberados.
2. Compensações entre Eficiência e Acurácia: A categoria de eficiência demonstra que a alta acurácia não impede a viabilidade em tempo real, com a NCT TSO alcançando tanto acurácia 3D de alto nível quanto a menor latência.
3. Direções Futuras: Os autores sugerem modestamente que trabalhos futuros devem focar em rotulagem pseudo (pseudo-labeling), treinamento autossupervisionado com características cirúrgicas e o desenvolvimento de modelos de baixa latência capazes de rastreamento de longo prazo e relocalização sem depender de arquiteturas totalmente nativas em 3D, que permanecem um desafio em aberto.

O desafio serve como um referencial (benchmark) para testar, comparar e iterar algoritmos para rastreamento de tecido, visando, em última análise, apoiar aplicações em cirurgia assistida por robô.