Where It Moves, It Matters: Referring Surgical Instrument Segmentation via Motion

1. O Problema

A segmentação de referência em vídeos cirúrgicos (localizar instrumentos cirúrgicos com base em descrições de linguagem natural) é um passo crucial para salas de operação inteligentes e assistência robótica autônoma. No entanto, abordagens existentes enfrentam desafios significativos:

• Dependência de Cues Estáticos: A maioria dos modelos baseia-se em aparência visual estática ou nomes pré-definidos de instrumentos (ex: "pinça Prograsp"). Isso falha quando há oclusão, instrumentos visualmente semelhantes ou terminologia não padronizada entre instituições.
• Ambiente Complexo: Vídeos cirúrgicos apresentam oclusões frequentes, estruturas anatômicas deformáveis, sangramento, fumaça e iluminação variável, tornando a identificação baseada apenas na aparência difícil.
• Falta de Dados Dinâmicos: Conjuntos de dados existentes carecem de anotações ricas em movimento e expressões de linguagem que descrevam a trajetória e a interação temporal dos instrumentos.

2. Metodologia: SurgRef

Os autores propõem o SurgRef, um novo framework de segmentação de vídeo guiado por movimento que ancora expressões de linguagem livre no movimento dos instrumentos, em vez de apenas na sua aparência.

• Abordagem Central: O modelo interpreta expressões centradas no movimento (ex: "a ferramenta que entra pela direita e retrai a vesícula biliar") para realizar segmentações espaciais e temporais finas.
• Arquitetura do Modelo:
  • Backbone Visual: Utiliza um Swin Transformer para extrair características espaciais multiescala de cada quadro.
  • Codificador de Linguagem: Emprega um RoBERTa congelado para transformar expressões de linguagem em embeddings semânticos densos.
  • Inicialização de Consultas (Queries): Diferente de modelos como Mask2Former, o SurgRef inicializa as consultas do objeto injetando o embedding de linguagem nas consultas iniciais, permitindo que o modelo "pergunte" especificamente sobre o objeto descrito.
  • Módulo de Seleção de Quadros-Chave (Key-Frame Selection): Para lidar com a redundância temporal em vídeos longos, este módulo adapta a seleção de quadros. Ele calcula pontuações de relevância entre cada quadro e a expressão de referência (usando consultas guiadas por linguagem) e seleciona apenas os quadros mais relevantes (top-T') para processamento, melhorando a eficiência e o foco em momentos temporais salientes.
  • Atenção Inter-Quadro: Após a seleção, aplica-se atenção entre quadros para agregar informações de movimento temporal entre os quadros-chave selecionados.
• Função de Perda: Combina perdas em nível de quadro (classificação e máscara) com perdas em nível de vídeo (similaridade temporal e previsão de máscara global) para garantir consistência temporal.

3. Contribuições Principais

A. Novo Conjunto de Dados: Ref-IMotion

Os autores criaram o Ref-IMotion, um conjunto de dados diversificado e multissituação, agregando e anotando quatro conjuntos de dados públicos:

• Fontes: Cholec80 (colecistectomia laparoscópica), EndoVis (cirurgia assistida por robô em suínos) e GraSP (prostatectomia laparoscópica assistida por robô).
• Escala: 319 clipes de vídeo, 21.350 quadros anotados e 718 expressões de referência.
• Inovação nas Anotações: Diferente de datasets anteriores que focam apenas em identidade ou localização, o Ref-IMotion inclui expressões centradas no movimento (358 expressões) que descrevem trajetórias de entrada, padrões de retração e interações ferramenta-tecido. As anotações incluem máscaras espaciais densas e intervalos temporais localizados.

B. Framework SurgRef

Introdução de um framework que modela explicitamente o movimento do instrumento, permitindo que o sistema entenda e segmente instrumentos mesmo sob oclusão, ambiguidade visual ou terminologia desconhecida, focando em "como" a ferramenta se move e interage.

4. Resultados Experimentais

O SurgRef foi avaliado em múltiplos benchmarks e demonstrou superioridade sobre o estado da arte (SOTA):

• Desempenho Geral: O SurgRef alcançou os melhores resultados em todos os datasets testados (EndoVis-IM17, EndoVis-IM18, GraSP-IM).
  • No EndoVis-IM17, alcançou 89.91 (J) e 89.42 (J&F), superando o MPG-SAM 2 (89.41 J&F) e o VIS-Net.
  • No EndoVis-IM18, alcançou 84.48 (J&F), superando o MPG-SAM 2 (83.03).
• Generalização Zero-Shot: O modelo treinado no GraSP-IM (prostatectomia robótica) foi testado no CholecSeg8k-IM (colecistectomia laparoscópica) sem ajuste fino. O modelo manteve um desempenho robusto, demonstrando capacidade de generalizar para procedimentos, instrumentos e modalidades de imagem totalmente diferentes.
• Análise de Expressões: Experimentos mostraram que modelos treinados com expressões de movimento superam consistentemente aqueles treinados apenas com atributos estáticos ou espaciais, mesmo quando testados em expressões estáticas. Isso sugere que o aprendizado de movimento melhora a compreensão geral da cena.
• Ablação de Seleção de Quadros: A estratégia de seleção de quadros-chave proposta (baseada em relevância semântica) superou amostragem uniforme e seleção por similaridade de cosseno, alcançando o pico de desempenho com apenas 8 quadros-chave (T'=8), confirmando a eficiência computacional.

5. Significado e Impacto

Este trabalho representa um avanço significativo na visão computacional cirúrgica:

1. Mudança de Paradigma: Move o foco da segmentação baseada em "aparência estática" para "comportamento dinâmico", alinhando-se melhor à realidade das cirurgias onde o movimento é o indicador mais consistente de função.
2. Interação Humano-Robô: Facilita a interação intuitiva entre cirurgiões e sistemas de IA/robótica, permitindo comandos de linguagem natural complexos (ex: "corte onde a pinça está segurando") que dependem da compreensão do movimento e da interação, não apenas do nome do instrumento.
3. Robustez Clínica: A capacidade de generalizar entre diferentes hospitais, tipos de cirurgia e conjuntos de instrumentos sem re-treinamento é vital para a adoção clínica em larga escala, superando a barreira da variabilidade de dados.
4. Benchmarks Futuros: O lançamento do Ref-IMotion estabelece um novo padrão para a avaliação de modelos de segmentação de vídeo cirúrgico, incentivando o desenvolvimento de métodos que compreendam a dinâmica temporal das cenas cirúrgicas.

Em resumo, o SurgRef demonstra que "onde o instrumento se move é o que importa", utilizando o movimento como uma âncora semântica robusta para a compreensão de cenas cirúrgicas complexas através de linguagem natural.