CataractSAM-2: A Domain-Adapted Model for Anterior Segment Surgery Segmentation and Scalable Ground-Truth Annotation

Título: CataractSAM-2: Um Modelo Adaptado a Domínio para Segmentação de Cirurgia do Segmento Anterior e Anotação de Ground-Truth Escalável

1. Problema e Contexto

A segmentação semântica em tempo real é fundamental para a cirurgia robótica e assistida por computador, permitindo a localização precisa de estruturas anatômicas e instrumentos cirúrgicos. No entanto, a aplicação de modelos de visão computacional gerais (como o Meta's Segment Anything Model 2 - SAM-2) na oftalmologia enfrenta desafios significativos:

• Complexidade Visual: Tecidos transparentes, reflexos (glare) e a semelhança visual entre instrumentos dificultam a detecção precisa.
• Desempenho Zero-Shot Insuficiente: Modelos pré-treinados genéricos apresentam desempenho variável e inferior quando aplicados a vídeos cirúrgicos sem adaptação de domínio.
• Custo de Anotação: A criação de máscaras de "ground-truth" (verdadeira referência) para vídeos cirúrgicos é extremamente trabalhosa, exigindo horas de anotação manual por especialista para cada vídeo, o que limita a escalabilidade de conjuntos de dados (datasets) para treinamento de IA.

2. Metodologia

O artigo propõe uma abordagem dupla: o desenvolvimento de um modelo de segmentação especializado e uma ferramenta de anotação interativa.

• CataractSAM-2 (O Modelo):

  • É uma extensão adaptada ao domínio do SAM-2, especificamente afinada (fine-tuned) para cirurgias de catarata e do segmento anterior.
  • Arquitetura: Mantém o codificador de visão (image encoder) original do SAM-2 para preservar priores visuais gerais, mas realiza o fine-tuning apenas no codificador de prompts e no decodificador de máscaras. Isso permite que o modelo aprenda a complexidade espacial e os desafios visuais específicos da cirurgia de catarata (ex: baixa contraste, oclusão).
  • Configuração de Treinamento: Utiliza o otimizador AdamW, treinamento com precisão mista (PyTorch AMP) e agendamento de taxa de aprendizado em etapas.
  • Dados de Treino: Utilizou o conjunto de dados público Cataract-1K (30 vídeos, 2.256 frames anotados), com divisão 80/20 para treino e teste.

• Framework de Anotação Interativa:

  • Uma ferramenta "human-in-the-loop" (humano no circuito) construída sobre o preditor de vídeo do SAM-2.
  • Funcionamento: O usuário fornece prompts esparsos (ex: um único ponto positivo ou negativo em um objeto em um frame inicial) através de uma interface intuitiva em células Jupyter.
  • Propagação: O sistema propaga automaticamente as máscaras de alta qualidade através de todos os frames subsequentes do vídeo, explorando a continuidade temporal.
  • Correção: Permite correções iterativas de super-segmentação ou sub-segmentação com poucos cliques.

3. Principais Contribuições

1. CataractSAM-2: O primeiro modelo adaptado ao domínio para segmentação em tempo real de alta precisão em cirurgias de catarata.
2. Framework de Anotação Interativa: Um pipeline que reduz drasticamente o tempo de anotação manual, permitindo a criação escalável de datasets rotulados.
3. Validação Externa (CaDIS): Validação do modelo no conjunto de dados CaDIS (o maior benchmark público de segmentação de catarata), demonstrando transferência para instrumentos e fases cirúrgicas não vistos no treino.
4. Generalização Trans-Procedimento: Demonstração de que o modelo consegue segmentar procedimentos de trabeculectomia (cirurgia de glaucoma) sem ter sido treinado especificamente para eles, provando robustez em diferentes cirurgias do segmento anterior.
5. Recurso Open-Source: Liberação de pesos do modelo, scripts de inferência e o notebook de anotação interativa para fomentar a pesquisa.

4. Resultados

• Desempenho Quantitativo:
  • O CataractSAM-2 superou consistentemente as versões base (SAM-2, MedSAM-2, SurgSAM-2) em métricas de IoU (Interseção sobre União) e PAC (Precisão de Pixels) em 6 vídeos de teste do Cataract-1K.
  • Alcançou uma velocidade de inferência de 15 FPS (quadros por segundo) em uma GPU NVIDIA A100, viabilizando o uso intraoperatório.
  • No conjunto de dados CaDIS, o modelo manteve um IoU entre 0,88 e 0,95 e PAC entre 0,96 e 0,99, demonstrando generalização robusta.
• Desempenho Qualitativo:
  • O modelo produziu máscaras limpas e bem definidas, alinhadas com o ground-truth, mesmo sob condições desafiadoras como oclusão e reflexos.
  • Na generalização para trabeculectomia, o modelo conseguiu segmentar corretamente instrumentos e tecidos em fases críticas (incisão, dissecção do flap escleral), embora com ligeira super-segmentação em zonas de alta refletividade.
• Eficiência de Anotação:
  • A ferramenta interativa promete reduzir o tempo de anotação de cerca de uma hora para aproximadamente 3 minutos por volume, ao utilizar a propagação de prompts esparsos.

5. Significado e Impacto

O CataractSAM-2 estabelece um marco fundamental para a inteligência artificial em robótica médica e oftalmologia.

• Aceleração de Pesquisa: Ao resolver o gargalo da anotação de dados, a ferramenta facilita a criação de grandes conjuntos de dados de alta qualidade para cirurgias do segmento anterior.
• Aplicações Clínicas: O modelo habilita sistemas de navegação cirúrgica, documentação intraoperatória automática, overlays de realidade aumentada (AR) e sistemas de sutura autônoma.
• Generalização: A capacidade de transferir conhecimento entre diferentes tipos de cirurgias de olho (catarata para glaucoma) sugere que a abordagem é escalável para outras especialidades cirúrgicas.

6. Limitações e Trabalhos Futuros

• Diversidade de Dados: O conjunto de treino é limitado a um único centro clínico, o que pode afetar a generalização para diferentes estilos cirúrgicos e condições de imagem.
• Codificador Congelado: O codificador de imagem permanece congelado durante o fine-tuning, limitando a adaptação a características específicas como brilho intenso.
• Latência: Embora 15 FPS seja rápido, para sistemas de controle em malha fechada totalmente autônomos, técnicas de compressão de modelo (pruning, quantização) e implantação em edge (ex: NVIDIA Jetson) são necessárias para reduzir ainda mais a latência.

Em suma, o CataractSAM-2 não é apenas um modelo de segmentação superior, mas uma solução completa que aborda tanto a precisão da IA quanto a eficiência na geração de dados, impulsionando o avanço da cirurgia oftalmológica assistida por robôs.