Fine-Tuning SAM2 for Coronary Artery Segmentation in X-Ray Fluoroscopy

Resumo Técnico: Ajuste Fino (Fine-Tuning) do SAM2 para Segmentação de Artérias Coronárias em Fluoroscopia de Raios-X

Definição do Problema
Embora modelos de fundação como o SAM2 ofereçam fortes capacidades de segmentação geral, sua aplicação direta na imagem médica — especificamente na segmentação de artérias coronárias por fluoroscopia de raios-X — é dificultada por desafios específicos do domínio. Estes incluem ruído proveniente do movimento do paciente, a natureza baseada em projeção dos raios-X e o baixo contraste entre os vasos e o fundo. Além disso, os modelos de visão computacional existentes normalmente requerem um treinamento extensivo um-para-um para aplicações específicas, e há uma escassez de conjuntos de dados amplos e publicamente disponíveis com anotações em nível de quadro para procedimentos de cardiologia intervencionista. A aplicação zero-shot do MedSAM2 neste domínio produz um desempenho negligenciável (índice Dice de 0,033), indicando um significativo hiato de domínio.

Metodologia
Os autores propõem uma estratégia de ajuste fino (fine-tuning) para o MedSAM2 (uma versão do SAM2 adaptada para medicina) para abordar esses desafios utilizando um conjunto de dados de angiografia estática para treinamento e um conjunto de dados de vídeo para avaliação qualitativa.

• Arquitetura do Modelo: A abordagem utiliza o MedSAM2, que emprega um backbone Hiera-Tiny, um pescoço (neck) FPN e um decodificador de máscara transformer de duas vias. Para o processamento de vídeo, utiliza um módulo de memória FIFO de 6 quadros para propagar as máscaras sem necessidade de novos prompts.
• Conjuntos de Dados:
  • Treinamento: O conjunto de dados ARCADE (1.000 imagens de treinamento, 200 imagens de validação) contendo anotações de polígonos para artérias coronárias.
  • Avaliação: O conjunto de dados CoronaryDominance (10 estudos de vídeo) usado para avaliação qualitativa de rastreamento de vídeo, pois carece de máscaras de verdade fundamental (ground truth) por quadro.
• Estratégia de Ajuste Fino (Fine-Tuning):
  • Descongelamento Parcial do Encoder: Em vez de treinar toda a rede, os autores descongelaram apenas os dois últimos blocos do tronco Hiera e o pescoço FPN (aproximadamente 10% dos parâmetros do encoder), juntamente com o decodificador de máscara. Isso preserva as características médicas pré-treinadas enquanto adapta as representações de alto nível.
  • Aumento de Dados (Data Augmentation): Transformações geométricas (giros, rotações) são aplicadas para preservar a integridade da máscara, evitando aumentos baseados em intensidade que poderiam desalinhamento as bordas.
  • Prompting: O treinamento utiliza um clique de centroide único derivado do ground truth com jitter; a inferência computa automaticamente o centroide a partir dos pixels mais brilhantes do quadro de prompt.
• Função de Perda (Loss Function): Uma perda composta é empregada para lidar com a topologia específica dos vasos:
  • Perda Dice ($L_{Dice}$) e BCE Ponderada ($L_{wBCE}$) para lidar com o desequilíbrio de classes.
  • Perda clDice ($L_{clDice}$): Uma perda de preservação de topologia que opera no esqueleto suave das máscaras. Ela penaliza quebras na conectividade da linha central, abordando o problema onde métricas de sobreposição padrão poderiam aceitar segmentos de vasos fragmentados e anatomicamente incorretos. O peso para clDice é aumentado linearmente durante os primeiros 8 épocas para estabilizar o treinamento.
• Inferência de Vídeo: O modelo seleciona o quadro com a maior variância de pixels (pico de contraste) como o quadro de prompt e propaga a máscara para frente e para trás usando a arquitetura de memória de streaming.

Principais Resultados

• Segmentação Estática (Validação ARCADE):
  • Zero-Shot: O MedSAM2 alcançou um índice Dice de 0,033, confirmando o hiato de domínio.
  • Ajuste Fino com Encoder Congelado: Descongelar apenas o decodificador melhorou a pontuação para 0,727.
  • Ajuste Fino Total (Nossa Abordagem): Descongelar parcialmente o encoder, adicionar a perda clDice e usar dados aumentados alcançou um índice Dice de 0,767 ± 0,082 (IoU 0,629). Este desempenho é competitivo com modelos projetados especificamente para angiografia coronária por raio-X (XCA).
• Inferência de Vídeo (CoronaryDominance):
  • O modelo ajustado rastreia o tronco coronário principal de forma coerente através dos quadros sem a necessidade de novos prompts.
  • Especificidade: Em 9 de 10 estudos de vídeo, o modelo ajustado conseguiu evitar falsos positivos em costelas, stents cirúrgicos, enxertos de bypass e dispositivos implantados. Em contraste, o modelo zero-shot rotulou consistentemente essas estruturas tubulares de alto contraste como vasos.
  • Limitações: Ambos os modelos falham quando o contraste se dissipa entre os ciclos de injeção, pois o módulo de memória perde o alvo. É necessário um novo prompt no início de cada ciclo de injeção.

Significância e Alegações
O artigo afirma que o MedSAM2 pode se adaptar efetivamente à fluoroscopia de raios-X com dados mínimos (1.000 imagens) e sem o treinamento extensivo de todo o backbone. A principal significância reside na especificidade do modelo ajustado: ele aprende a aparência genuína dos vasos coronários nesta modalidade em vez de apenas detectar formas tubulares genéricas. Isso reduz falsos positivos clinicamente perigosos (ex: identificar stents como vasos) sem exigir supervisão negativa explícita.

Os autores observam que, embora a segmentação estática seja quantitativa, a avaliação de vídeo permanece qualitativa devido à falta de ground truth por quadro nos conjuntos de dados públicos disponíveis. Eles reconhecem que a atual arquitetura baseada em memória introduz latência de rastreamento no início dos ciclos de injeção de contraste e que trabalhos futuros devem explorar o pré-treinamento autossupervisionado em vídeos não rotulados e a implantação em hardware clínico com recursos limitados.