Resumo Técnico: Potencializando o SAM para Segmentação de Poucos Disparos entre Domínios via Esparsificação de Pontos Condicional

1. Definição do Problema

O Segment Anything Model (SAM) demonstrou capacidades de segmentação sem precedentes em conjuntos de dados intra-domínio (ex: COCO) por meio de segmentação baseada em prompts. Abordagens recentes livres de treinamento têm aproveitado o SAM para Segmentação de Poucos Disparos (Few-Shot Segmentation - FSS) utilizando correspondência densa de pontos entre imagens de referência e alvo para gerar prompts. No entanto, esses métodos sofrem uma degradação significativa de desempenho quando aplicados à Segmentação de Poucos Disparos entre Domínios (Cross-Domain Few-Shot Segmentation - CD-FSS), particularmente em domínios médicos (ex: lesões de pele) e de satélite (ex: corpos d'água).

Os autores identificam que essa falha decorre de grandes deslocamentos de domínio (domain shifts) que interrompem as interações ponto-imagem aprendidas pelo SAM durante seu pré-treinamento. Especificamente:

• Homogeneidade de Características: Objetos em conjuntos de dados cross-domínio (ex: nevos cutâneos, água) exibem semânticas mais uniformes e homogêneas em comparação com as partes diversas de objetos em conjuntos de dados intra-domínio (ex: gatos com cabeças, pernas, caudas).
• Descompasso de Densidade de Prompts: O SAM foi treinado com pontos densos para lidar com formas complexas. Em cenários cross-domínio, esses pontos densos introduzem ambiguidade e ruído porque as semânticas homogêneas dos objetos alvo requerem menos pontos, porém mais informativos.
• Inconsistência: Métodos existentes operam de forma robusta em dados intra-domínio, mas falham ao generalizar quando prompts densos são aplicados a alvos cross-domínio, mesmo quando os pontos caem corretamente dentro das regiões alvo.

2. Metodologia: Esparsificação de Pontos Condicional (CPS)

O artigo propõe a Esparsificação de Pontos Condicional (Conditional Point Sparsification - CPS), um framework livre de treinamento projetado para guiar adaptativamente as interações do SAM para imagens cross-domínio. O pipeline consiste em quatro estágios principais:

A. Correspondência de Pontos Densos e Poda de Pontos de Fronteira

1. Correspondência Densa: Utilizando um módulo de Alinhamento Positivo-Negativo (PNA) com um backbone DINOv2, o método estabelece correspondências densas entre a imagem de referência ($I_r$) e a imagem alvo ($I_t$). Isso gera um conjunto inicial de pontos de prompt candidatos ($P_t$) na imagem alvo.
2. Poda de Pontos de Fronteira: Para mitigar o desalinhamento espacial causado pelas discrepâncias de resolução entre mapas de características e a imagem original, o método computa o casco convexo (convex hull) dos pontos correspondidos. Os pontos localizados na fronteira do casco convexo são removidos, retendo apenas os pontos interiores ($\tilde{P}_t$). Este passo filtra prompts potencialmente ruidosos próximos às bordas do objeto.

B. Esparsificação de Pontos Adaptativa

Em vez de usar uma densidade fixa, o CPS esparsifica o conjunto de pontos densos $\tilde{P}_t$ com base em uma densidade inferida da imagem de referência.

1. Particionamento em Grade: A imagem alvo é dividida em uma grade regular.
2. Seleção de Centroide: Para cada célula de grade contendo pontos, o ponto mais próximo do centroide global do objeto alvo é retido. Isso preserva pistas estruturais enquanto reduz a densidade.

C. Busca de Densidade Condicional

A inovação central é determinar a densidade de esparsificação ideal ($D_{ref}$) dinamicamente:

1. Avaliação de Referência: Um conjunto de densidades candidatas é testado na imagem de referência ($I_r$) usando sua máscara de verdade fundamental (ground-truth mask - $M_r$).
2. Otimização: Para cada densidade candidata, pontos de prompt são amostrados, inseridos no SAM, e a máscara resultante é avaliada contra $M_r$ usando Interseção sobre União (IoU).
3. Seleção: A densidade que produz o maior IoU é selecionada como $D_{ref}$. Esta densidade condicional é então aplicada para esparsificar os pontos da imagem alvo ($\hat{P}_t$).

D. Refinamento de Máscara Post-hoc

Para abordar descontinuidades no mapa de ativação (ex: buracos ou mudanças abruptas de borda) causadas por prompts esparsos, a máscara prevista inicialmente ($\hat{M}_t$) passa por operações morfológicas de abertura e fechamento. Isso impõe continuidade espacial e suaviza as bordas para produzir a máscara final ($\tilde{M}_t$).

3. Principais Contribuições

1. Diagnóstico de Deslocamento de Domínio: Os autores revelam que a degradação de desempenho nos métodos baseados em SAM para FSS em imagens cross-domínio é causada por deslocamentos de domínio que quebram as interações ponto-imagem aprendidas, observando especificamente que pontos densos são subótimos para objetos cross-domínio homogêneos.
2. Esparsificação de Pontos Condicional (CPS): Uma estratégia inovadora e livre de treinamento que infere a densidade de prompt apropriada a partir de exemplares de referência de poucos disparos (usando máscaras de verdade fundamental) e aplica esta densidade para esparsificar os pontos correspondidos em imagens alvo.
3. Validação Abrangente: O método introduz módulos específicos (Poda de Pontos de Fronteira, Esparsificação Adaptativa, Refinamento Post-hoc) que coletivamente melhoram o desempenho sem exigir treinamento adicional ou ajuste fino (fine-tuning).

4. Resultados Experimentais

Os autores avaliaram o CPS em quatro benchmarks cross-domínio: ISIC (lesões de pele), Chest X-Ray (tuberculose), DeepGlobe (satélite/terreno) e SUIM (cenas subaquáticas).

• Desempenho: O CPS supera consistentemente os métodos existentes baseados em SAM livres de treinamento (ex: Matcher, GF-SAM) e os métodos tradicionais de CD-FSS dependentes de treinamento.
  • No ISIC, o CPS alcançou 51,3% (1-shot) e 56,6% (5-shot) de mIoU, superando o melhor método anterior livre de treinamento (GF-SAM) em 2,6% e 1,4%, respectivamente.
  • No Chest X-Ray, o CPS atingiu 70,0% (1-shot) e 70,2% (5-shot), superando o Matcher em 3,2% e 3,9%.
  • No DeepGlobe e SUIM, o CPS também estabeleceu novos resultados de estado da arte entre as abordagens livres de treinamento.
• Estudos de Ablação:
  • Esparsificação Adaptativa: Proporcionou o maior ganho (+7,9% no ISIC), confirmando que densidades fixas são subótimas.
  • Poda de Pontos de Fronteira: Melhorou a precisão dos pontos ao filtrar o ruído de borda.
  • Refinamento Post-hoc: Melhorou ainda mais o mIoU em 3,6% no ISIC ao corrigir descontinuidades espaciais.
• Generalização: O CPS também foi testado em conjuntos de dados de imagens naturais intra-domínio (COCO-20i e FSS-1000), onde alcançou um desempenho competitivo, demonstrando que a estratégia de esparsificação não impacta negativamente o desempenho em objetos intra-domínio complexos.

5. Significância e Alegações

O artigo alega que a Esparsificação de Pontos Condicional oferece uma solução prática e livre de treinamento para estender as capacidades do SAM para tarefas desafiadoras de segmentação cross-domínio. Ao aproveitar as máscaras de verdade fundamental de exemplares de referência para ajustar a densidade de pontos de forma adaptativa, o CPS alinha a interação ponto-imagem com as características específicas do domínio alvo (ex: homogeneidade em imagens médicas/de satélite).

Os autores enfatizam que sua abordagem evita o overhead computacional e as preocupações de privacidade associadas à coleta de dados rotulados em larga escala para adaptação ou o alto custo computacional de pipelines baseados em treinamento. Em vez disso, fornece uma modificação leve na fase de inferência que aumenta significativamente a generalização de modelos de fundação em cenários onde os deslocamentos de domínio são severos.