A generalizable foundation model for intraoperative understanding across surgical procedures

1. O Problema

A cirurgia minimamente invasiva (MIS) depende criticamente da interpretação visual em tempo real para a tomada de decisões clínicas. No entanto, a percepção intraoperatória varia significativamente entre cirurgiões e procedimentos, o que limita a avaliação consistente, o treinamento e o desenvolvimento de sistemas de Inteligência Artificial (IA) confiáveis.

As principais limitações dos modelos de IA cirúrgica existentes incluem:

• Baixa Generalização: A maioria dos modelos é projetada para tarefas estreitamente definidas dentro de um único procedimento ou instituição, falhando em se adaptar a variações de anatomia, técnica cirúrgica, equipamentos e contexto.
• Dependência de Dados Anotados: O treinamento de modelos supervisionados requer grandes conjuntos de dados manualmente anotados, o que é caro, demorado e difícil de escalar.
• Falta de Unificação: Poucos modelos cobrem tarefas diversas, como análise de fluxo de trabalho, segmentação espacial densa e compreensão linguagem-vídeo, sendo a maioria focada apenas na análise de fluxo de trabalho.

2. Metodologia

Os autores introduzem o ZEN, um modelo fundamental (Foundation Model) generalizável para análise de vídeos cirúrgicos, desenvolvido através de uma abordagem sistemática:

A. Conjunto de Dados em Larga Escala

• Foi curado um conjunto de dados de pré-treinamento massivo e diversificado, contendo 4.316.410 quadros extraídos de mais de 4.780 vídeos.
• O dataset abrange 10 órgãos e mais de 21 procedimentos cirúrgicos diferentes (incluindo hepatectomia, colecistectomia, bypass gástrico, histerectomia, etc.), garantindo uma base robusta para generalização.

B. Estratégia de Aprendizado: Destilação Multi-Professor (Multi-Teacher Distillation)

O ZEN não é treinado do zero com uma única estratégia, mas sim através de uma destilação de conhecimento auto-supervisionada que sintetiza as forças de dois modelos "professores" especializados:

1. MIS-DINOv2 (ViT-Large): Um modelo baseado em Self-Supervised Learning (SSL) focado em representações espaciais de alta fidelidade (derivado de SimDINOv2).
2. PeskaVLP (ResNet50): Um modelo de linguagem-vídeo pré-treinado com aprendizado contrastivo, especializado em alinhamento semântico entre vídeo e texto (zero-shot).

Arquitetura do Aluno (ZEN):

• Utiliza uma arquitetura ViT-Base (mais leve que o professor ViT-Large).
• Emprega um mecanismo de distilação de nível de características (feature-level distillation).
• Utiliza adaptors (camadas lineares com LayerNorm e GELU) para alinhar os espaços de características do aluno com os dos professores.
• A função de perda combina similaridade cosseno e perda smooth-L1, com um mecanismo de stochastic teacher dropping (desligamento estocástico de professores) para evitar viés em direção a um único professor.

C. Avaliação Unificada

Os autores estabeleceram um benchmark clínico unificado com 20 tarefas downstream cobrindo três domínios principais:

1. Compreensão do Fluxo de Trabalho Cirúrgico: Reconhecimento de fases, reconhecimento de tripletos de ação (Instrumento-Verbo-Alvo) e avaliação de habilidades (Critério de Visão de Segurança).
2. Compreensão Espacial Densa: Segmentação semântica, segmentação de instâncias e estimativa de profundidade monocular.
3. Compreensão Linguagem-Vídeo: Perguntas e respostas visuais (VQA) de aberto e fechado, recuperação cruzada (cross-modal retrieval) e reconhecimento de fases zero-shot.

3. Principais Contribuições

• ZEN (Modelo Fundamental): O primeiro modelo fundamental para vídeo cirúrgico projetado para generalizar através de múltiplos procedimentos e tarefas, unificando representações espaciais e alinhamento linguagem-vídeo.
• Dataset e Benchmark Unificados: A criação de um dos maiores conjuntos de dados de pré-treinamento cirúrgico e a avaliação sistemática de múltiplas estratégias de aprendizado auto-supervisionado sob condições idênticas.
• Estratégia de Destilação Eficaz: Demonstração de que a combinação de um professor focado em visão pura (MIS-DINOv2) e um professor de linguagem-vídeo (PeskaVLP) via destilação resulta em um modelo aluno compacto (ViT-Base) que supera modelos maiores e especializados.

4. Resultados

O ZEN foi comparado com modelos fundamentais existentes (GSViT, EndoFM, EndoViT, PeskaVLP, SurgeNet) e modelos pré-treinados no ImageNet.

• Desempenho Geral: O ZEN alcançou o melhor desempenho médio em todas as 20 tarefas, tanto no modo de backbone congelado (frozen-backbone) quanto no modo de ajuste fino completo (full fine-tuning).
  • No modo frozen-backbone, o ZEN obteve uma pontuação média de 0.579 (rank 1.0), superando o segundo melhor modelo (SurgeNet, 0.536).
  • Notavelmente, o ZEN congelado superou todos os outros modelos fundamentais totalmente ajustados em várias tarefas, indicando representações pré-treinadas de alta qualidade.
• Generalização Robusta:
  • Few-Shot Learning: O ZEN demonstrou forte capacidade de adaptação com poucos dados (1-5 vídeos de treinamento), superando consistentemente outros modelos em tarefas de reconhecimento de fases e segmentação semântica.
  • Zero-Shot: Em tarefas de alinhamento linguagem-vídeo (recuperação cruzada e reconhecimento de fases sem treinamento específico), o ZEN alcançou desempenho comparável ao seu professor de linguagem (PeskaVLP), apesar de não ter recebido supervisão direta de linguagem durante o treinamento do aluno.
• Eficiência: O ZEN, sendo um ViT-Base, é computacionalmente mais eficiente que o MIS-DINOv2 (ViT-Large), mas supera-o em muitas tarefas após o ajuste fino, demonstrando a eficácia da transferência de conhecimento.

5. Significado e Impacto

Este trabalho representa um passo significativo rumo a sistemas de IA cirúrgica clinicamente viáveis e generalizáveis:

• Redução da Barreira de Dados: A capacidade de funcionar bem em configurações few-shot e frozen-backbone sugere que o ZEN pode ser aplicado em instituições com poucos dados anotados, um cenário comum na prática clínica.
• Unificação de Tarefas: Ao cobrir desde a segmentação de instrumentos até a compreensão de linguagem natural, o ZEN fornece uma base unificada para futuras aplicações, como assistentes cirúrgicos em tempo real, avaliação automatizada de habilidades e sistemas de recuperação de informações cirúrgicas.
• Validação Clínica: A robustez do modelo em procedimentos não vistos durante o pré-treinamento (como cirurgias de hipófise, apesar do treino ser majoritariamente abdominal) destaca seu potencial para implantação em cenários do mundo real, onde a variabilidade é alta.

Em resumo, o ZEN estabelece um novo estado da arte na compreensão de vídeos cirúrgicos, provando que modelos fundamentais treinados com destilação multi-professor podem superar abordagens especializadas, oferecendo uma solução escalável e generalizável para a inteligência artificial na cirurgia.