RAP: Retrieve, Adapt, and Prompt-Fit for Training-Free Few-Shot Medical Image Segmentation

Resumo Técnico: RAP para Segmentação Médica Few-Shot sem Treinamento

1. Problema e Motivação

A segmentação de imagens médicas é crucial para diagnóstico e planejamento de tratamento, mas métodos de deep learning tradicionais exigem grandes quantidades de anotações pixel a pixel, que são caras e demoradas. A Segmentação Few-Shot Médica (FSMIS) surge como uma solução para aprender novas classes com poucos exemplos rotulados.

No entanto, os métodos existentes enfrentam desafios críticos:

• Dependência de Treinamento Específico: A maioria exige treinamento em classes base, limitando a generalização para novos domínios ou modalidades.
• Fragilidade à Variabilidade: A qualidade depende da similaridade visual direta entre a imagem de suporte (exemplo) e a de consulta (alvo), o que falha devido a variações em scanners, protocolos e pacientes.
• Subutilização de Priors Anatômicos: Métodos atuais não exploram suficientemente a propriedade fundamental de que alvos anatômicos (órgãos) exibem morfologia de alta frequência repetível (geometria de borda e layout espacial) entre pacientes.

O objetivo do trabalho é criar um framework sem treinamento (training-free) que seja robusto a mudanças de domínio e utilize priors estruturais para melhorar a segmentação.

2. Metodologia: O Framework RAP

O RAP (Retrieve, Adapt, and Prompt-Fit) é um framework que combina modelos fundacionais de visão (DINOv3 e SAM2) com priors geométricos, operando em três estágios principais sem atualizar gradientes ou pesos do modelo:

A. Estágio de Recuperação (Retrieve)

• Objetivo: Encontrar a amostra de suporte mais compatível morfologicamente em um banco de dados, evitando a escolha de um único suporte que possa ser inadequado.
• Técnica: Utiliza o DINOv3 (um transformador de visão auto-supervisionado) para extrair descritores globais semânticos.
• Processo: Calcula a similaridade de cosseno entre o descritor da imagem de consulta e o banco de dados de suportes. O sistema seleciona o segundo melhor correspondente (rank-2) para evitar artefatos de auto-matching quando a consulta e o suporte vêm da mesma fonte.

B. Estágio de Adaptação (Adapt)

• Objetivo: Transferir a forma da máscara de suporte para a imagem de consulta, alinhando a estrutura anatômica apesar de variações de aparência (domínio).
• Componentes:
  1. Adaptação de Estilo no Domínio da Frequência: Usa a Transformada Wavelet Discreta (DWT) para substituir a sub-banda de baixa frequência (LL) da imagem de suporte pela da imagem de consulta. Isso alinha o brilho e contraste globais, preservando as bordas de alta frequência do suporte.
  2. Gating Semântico Baseado em DINO: Agrupa regiões da máscara de suporte usando K-Means em características DINO e gera um mapa de similaridade semântica para criar uma "máscara de portão" (gating mask). Isso restringe a busca de correspondência apenas às regiões onde o órgão é provável de aparecer.
  3. Correspondência Chamfer Orientada (OCM): Um algoritmo que alinha a forma do suporte à consulta considerando a orientação das bordas. Divide os pixels de borda em bins angulares e busca uma transformação ótima (translação, escala, rotação) que minimize a distância chamfer orientada dentro da máscara de portão. O resultado é uma máscara preliminar ($M_{pre}$) consistente com a anatomia.

C. Estágio de Ajuste de Prompt (Prompt-Fit)

• Objetivo: Converter a máscara preliminar em prompts eficazes para o modelo SAM2 (Segment Anything Model 2).
• Técnica:
  1. Pontos Positivos (Voronoi): Aplica Farthest Point Sampling (FPS) na máscara preliminar para gerar sementes, que induzem uma partição de Voronoi. O centróide de cada célula de Voronoi é selecionado como um ponto positivo, garantindo cobertura geométrica uniforme sobre o alvo.
  2. Pontos Negativos (Setoriais): Divide a borda da máscara em setores angulares e amostra pontos negativos na região externa com baixa similaridade semântica (baseado em DINO), evitando o fundo.
  3. Inferência SAM2: A máscara preliminar é usada para gerar uma caixa delimitadora (bounding box). Os pontos positivos, negativos e a caixa são alimentados no SAM2 para refinar a segmentação final.

3. Principais Contribuições

1. Framework RAP: Uma nova abordagem training-free que integra modelos fundacionais (DINOv3, SAM2) com priors de forma geométrica para FSMIS.
2. Algoritmo de Correspondência Orientada: Introduz uma correspondência Chamfer orientada com gating semântico, permitindo adaptação robusta de forma entre imagens de suporte e consulta, lidando eficazmente com variações de aparência entre domínios.
3. Estratégia de Geração de Prompt Geométrico: Desenvolve uma estratégia baseada em Voronoi para gerar pontos positivos e negativos que melhoram significativamente a qualidade da segmentação do SAM2 em cenários médicos, garantindo cobertura completa e precisão nas bordas.
4. Desempenho SOTA sem Treinamento: Demonstra que é possível superar métodos que exigem treinamento específico, utilizando apenas um pequeno banco de dados anotado para recuperação.

4. Resultados Experimentais

Os experimentos foram realizados em três benchmarks médicos (Abd-MRI, Abd-CT e Card-MRI) no cenário 1-way 1-shot.

• Desempenho Quantitativo:
  • Abd-MRI: RAP alcançou um DSC médio de 69,16%, superando o método anterior training-free (MAUP) em 2,07% e todos os métodos baseados em treinamento.
  • Abd-CT: Alcançou 69,56% de DSC médio, superando o MAUP em 2,10%.
  • Card-MRI: Alcançou 75,27% de DSC médio, com ganhos significativos em estruturas difíceis como o miocárdio do ventrículo esquerdo (+1,27%) e o ventrículo direito (+3,58%).
• Estudo de Ablação: A análise mostrou que cada componente contribui progressivamente:
  • A correspondência Chamfer Orientada (OCM) trouxe um ganho de +1,88%.
  • O Gating Semântico (SG) adicionou +0,85%.
  • Os Prompts baseados em Voronoi (VP) adicionaram +0,85% final.
• Análise Qualitativa: As imagens mostram que o RAP produz limites mais precisos, especialmente em estruturas finas (como o miocárdio), onde métodos concorrentes tendem a falhar ou incluir áreas espúrias.

5. Significado e Conclusão

O RAP demonstra que a combinação explícita de ajuste estrutural (alinhamento geométrico) com recuperação aumentada por prompts oferece uma rota simples e eficaz para segmentação médica robusta sem treinamento.

• Vantagens Chave:
  • Implantação Imediata: Pode ser aplicado a novos domínios sem re-treinamento.
  • Robustez: Resistente a variações de aparência entre diferentes scanners e protocolos.
  • Eficiência: Não requer otimização de gradientes durante a inferência.
• Limitações Futuras: O desempenho pode degradar em estruturas anatômicas raras ou casos patológicos que desviam significativamente da anatomia normal presente no banco de dados. O trabalho futuro visa estender o RAP para segmentação volumétrica 3D.

Em suma, o RAP estabelece um novo estado da arte para métodos de segmentação médica few-shot que não dependem de treinamento específico, validando a eficácia de priors geométricos combinados com modelos fundacionais modernos.