SurgMotion: A Video-Native Foundation Model for Universal Understanding of Surgical Videos

Resumo Técnico: SurgMotion

1. O Problema

Apesar dos avanços dos modelos de base (foundation models) na análise de vídeos cirúrgicos, as abordagens atuais enfrentam limitações fundamentais que impedem uma compreensão cirúrgica universal e robusta:

• Desalinhamento de Objetivos: A maioria dos modelos existentes baseia-se em objetivos de reconstrução de nível de pixel (como MAE ou VideoMAE). Em vídeos cirúrgicos, isso força o modelo a gastar capacidade computacional reconstruindo detalhes visuais de baixa nível, ruidosos e não semânticos (como fumaça, reflexos especulares e movimento de fluidos), em vez de focar nas estruturas semânticas críticas (como a interação entre instrumentos e tecidos).
• Falta de Consistência Espaço-Temporal: Muitos pipelines carecem de restrições explícitas para manter a estabilidade relacional ao longo do tempo, levando a "deriva de características" (feature drift) quando há mudanças significativas de movimento ou ponto de vista.
• Colapso de Representação: Em cenas cirúrgicas com texturas esparsas ou visualmente homogêneas (ex.: tecido adiposo exposto), há um risco elevado de colapso de representação, onde as características aprendidas tornam-se redundantes e de baixa variância.
• Limitação de Dados: Os modelos atuais são treinados em conjuntos de dados de pequena escala e focados em procedimentos únicos (ex.: apenas colecistectomia), impedindo a aprendizagem de representações universais capazes de generalizar para diferentes regiões anatômicas, modalidades cirúrgicas e instituições.

2. Metodologia

O SurgMotion é um modelo de base nativo para vídeo, construído sobre a arquitetura V-JEPA (Video Joint Embedding Predictive Architecture). Em vez de reconstruir pixels, ele prevê representações latentes de regiões mascaradas. Para adaptar isso ao domínio cirúrgico, o modelo introduz três inovações técnicas principais:

1. Previsão Latente Mascarada Guiada por Movimento (Motion-Guided Latent Masked Prediction):

   • Substitui a reconstrução de pixels pela previsão no espaço latente.
   • Introduz um sinal de saliência baseado em gradientes espaço-temporais para reponderar a perda de previsão.
   • Objetivo: Priorizar regiões semanticamente ricas e dinâmicas (ferramentas e interações tecido-ferramenta), reduzindo a sensibilidade a perturbações visuais de baixo nível.

2. Auto-Distilação de Afinidade Espaço-Temporal (Spatiotemporal Affinity Self-Distillation):

   • Utiliza uma matriz de afinidade global para modelar as relações entre todos os tokens latentes.
   • Emprega um mecanismo de auto-distilação onde uma rede "aluno" alinha suas estruturas de afinidade com uma rede "professor" atualizada por média móvel exponencial (EMA).
   • Objetivo: Impor coerência espaço-temporal e robustez a aumentações de dados sem necessidade de rótulos manuais, evitando que tokens de fundo dominem o aprendizado.

3. Regularização de Diversidade de Características Espaço-Temporais (SFDR):

   • Opera em dois níveis: regularizar a variância das similaridades de características pareadas e minimizar a covariância entre canais.
   • Objetivo: Prevenir o colapso de representação em cenas homogêneas, incentivando a rede a aprender canais de características complementares e informativos mesmo em ambientes com pouca textura.

3. Contribuições Principais

• Novo Paradigma de Treinamento: A transição de reconstrução de pixels para previsão de movimento latente, especificamente adaptada para as peculiaridades dos vídeos cirúrgicos.
• Dataset SurgMotion-15M: A criação do maior conjunto de dados de vídeo cirúrgico até a data, agregando 3.658 horas de vídeo de 50 fontes distintas (públicas e privadas), cobrindo 13 regiões anatômicas e mais de 100 procedimentos. Este dataset quebra os "silos de dados" anteriores, permitindo um pré-treinamento em larga escala.
• Arquitetura Especializada: A integração de mecanismos de atenção ao movimento e regularização de diversidade, superando as limitações de modelos genéricos de visão computacional aplicados à cirurgia.

4. Resultados Experimentais

O SurgMotion foi avaliado em 17 benchmarks abrangentes, superando consistentemente os métodos mais avançados (SOTA) em diversas tarefas:

• Reconhecimento de Fluxo de Trabalho Cirúrgico (Workflow Recognition):
  • Melhorou o F1-score em +14,6% no EgoSurgery e +10,3% no PitVis em comparação com os melhores métodos anteriores.
  • Demonstrou superioridade na identificação precisa de limites de fases cirúrgicas em laparoscopia, neurocirurgia e cirurgia aberta.
• Reconhecimento de Triplos de Ação (Action Triplet Recognition):
  • Alcançou 39,54% mAP-IVT no CholecT50, estabelecendo um novo estado da arte na distinção simultânea de Instrumentos, Verbos e Alvos.
• Avaliação de Habilidades (Skill Assessment):
  • No benchmark JIGSAWS, reduziu o erro absoluto médio (MAE) em 26% e aumentou a correlação de Spearman em 27 pontos percentuais em relação a modelos anteriores, capturando não apenas o que é feito, mas a qualidade da execução.
• Percepção Visual Densa:
  • Segmentação de Pólipos: Superou todos os baselines, especialmente em conjuntos de dados fora de distribuição (OOD), demonstrando forte generalização de morfologia de pólipos.
  • Estimativa de Profundidade: Alcançou o melhor desempenho no C3VD (RMSE de 1,88), capturando estruturas geométricas 3D implícitas através do aprendizado de movimento, sem treinamento explícito para geometria.

5. Significado e Impacto

O SurgMotion estabelece um novo padrão para a compreensão universal de vídeos cirúrgicos. Ao focar na semântica do movimento em vez de detalhes visuais ruidosos, o modelo demonstra que é possível aprender representações robustas e generalizáveis a partir de dados não rotulados em larga escala.

• Generalização: Prova que a diversidade de dados (múltiplas especialidades e instituições) é crucial para superar a variabilidade do mundo real na cirurgia.
• Aplicações Futuras: O modelo abre caminho para sistemas de IA cirúrgica capazes de oferecer suporte à decisão intraoperatória, documentação automatizada e avaliação objetiva de habilidades cirúrgicas, independentemente da especialidade ou do hospital.
• Recurso Aberto: A disponibilização do dataset SurgMotion-15M e da metodologia oferece uma base sólida para futuras pesquisas em visão computacional médica, incentivando a colaboração multi-institucional.

Em resumo, o SurgMotion representa um avanço significativo ao alinhar a arquitetura de modelos de base com as necessidades físicas e semânticas únicas do ambiente cirúrgico, superando as limitações de abordagens anteriores baseadas apenas em reconstrução de pixels.