Resumo Técnico: REBASE – Eliminação de Subespaço de Referência e Fundo para Segmentação In-Context Sem Treinamento

1. Definição do Problema

O artigo aborda o desafio da segmentação in-context sem treinamento (training-free), especificamente no regime de one-shot, onde um modelo deve segmentar um objeto alvo em uma imagem de consulta ($I_Q$) dado apenas uma única imagem de referência anotada ($I_R$) com uma máscara binária.

Embora abordagens recentes combinem modelos de fundação de visão (ex: DINOv2 para correspondência semântica) com redes de segmentação baseadas em prompts (ex: SAM) para alcançar isso sem retreinamento, elas sofrem de uma limitação fundamental: correspondências contextuais espúrias. Em imagens naturais, as imagens de referência e de consulta frequentemente compartilham dependências estatísticas em suas distribuições de fundo (ex: céu, grama ou regiões anatômicas específicas). As direções de características que codificam esses contextos compartilhados estão presentes tanto no foreground da referência quanto no background da consulta. Consequentemente, ao computar a similaridade entre imagens, essas características de fundo elevam artificialmente os escores de similaridade em regiões que não são o alvo. Isso degrada a localização dos pontos de prompt e enviesa o prior de similaridade densa, levando a contornos de segmentação imprecisos, particularmente para alvos de nível de parte ou articulados.

Métodos existentes como PerSAM, Matcher e GF-SAM dependem da qualidade bruta do mapa de similaridade, que é sistematicamente contaminado por esses vieses contextuais compartilhados.

2. Metodologia

Os autores propõem o REBASE (Reference-Background Subspace Elimination), um pipeline sem treinamento que elimina explicitamente essas correspondências espúrias através de três componentes principais:

2.1. Eliminação de Subespaço de Referência-Fundo (REBASE)

A inovação central é uma projeção ortogonal de forma fechada e livre de parâmetros que remove o subespaço dominante de características de fundo estimado a partir da imagem de referência.

• Estimativa de Subespaço: A partir da imagem de referência, o método identifica patches de fundo (aqueles com baixa cobertura de foreground) e extrai suas características do DINOv2. Uma Decomposição de Valor Singular (SVD) fina é realizada sobre essas características para obter os $s$ vetores singulares à direita superiores, formando uma base $B$ para o subespaço de fundo.
• Projeção Ortogonal: A base $B$ é usada para construir um projetor ortogonal $P_B = I - BB^\top$. Este projetor é aplicado simetricamente tanto às características de referência ($F_R$) quanto às características de consulta ($F_Q$):
  $$\tilde{F}_R = F_R P_B, \quad \tilde{F}_Q = F_Q P_B$$
  Esta operação retém apenas os componentes das características que são ortogonais ao contexto de fundo da referência. Patches da consulta que compartilham o contexto de fundo da referência projetam-se fortemente em $B$, sendo assim atenuados. Patches relacionados ao alvo, que tipicamente possuem projeções fracas neste subespaço de fundo específico, são amplamente preservados.
• Rank Adaptativo: O rank $s$ do subespaço não é fixo, mas adaptado por episódio com base no número de patches de fundo ($n_{BG}$) na referência: $s = \lceil r \cdot n_{BG} \rceil$, onde $r$ é um hiperparâmetro pequeno (padrão 0.005).

2.2. Amostragem de Ponto Mais Distante Ponderada por Similaridade (SW-FPS)

Em vez de selecionar um único ponto de similaridade máxima (como no PerSAM) ou um conjunto Top-$K$ ingênuo (que frequentemente se agrupa em um único blob discriminativo), o método gera prompts espacialmente dispersos.

• Seleção de Candidatos: Patches com escores de similaridade acima de um limiar de confiança ($\mu_+ + \sigma_+/2$) são considerados candidatos.
• Estratégia de Amostragem: O primeiro prompt é o máximo global. Prompts subsequentes são selecionados maximizando uma soma ponderada da magnitude de similaridade e da distância espacial em relação aos pontos já selecionados:
  $$p^* = \arg \max_{p} \left( \alpha \cdot \tilde{d}(p) + (1-\alpha) \cdot \tilde{s}(p) \right)$$
  onde $\alpha$ equilibra a dispersão contra a confiança. Isso garante que os prompts cubram objetos alongados ou articulados de forma mais eficaz.

2.3. Injeção de Prior de Similaridade Densa

O método aproveita o ramo auxiliar de entrada de máscara do SAM, que é frequentemente subutilizado em pipelines sem treinamento.

• O mapa de similaridade limpo é padronizado (média zero, variância unitária) e interpretado como uma estimativa grosseira de foreground.
• Localizações fora do suporte positivo recebem um logit negativo constante.
• Este mapa de logit denso é reamostrado para a resolução nativa do SAM e alimentado diretamente no decoder junto com os prompts de pontos esparsos, fornecendo pistas de localização mais ricas.

3. Principais Contribuições

1. Eliminação de Subespaço Condicionada pela Referência: Um módulo inovador, sem treinamento, que estima e remove dinamicamente o subespaço de características de fundo específico do episódio de referência, em vez de depender de estatísticas estáticas de todo o dataset.
2. Estratégia de Prompting Melhorada: A introdução da Amostragem de Ponto Mais Distante Ponderada por Similaridade (SW-FPS) para gerar prompts espacialmente diversos, abordando a falha da seleção Top-$K$ em alvos complexos.
3. Utilização de Prior Denso: A integração eficaz do mapa de similaridade limpo como um prior denso no ramo de entrada de máscara do SAM, aumentando o entendimento geométrico do decoder.
4. Desempenho de Estado da Arte: O pipeline alcança novos resultados de estado da arte entre métodos sem treinamento em múltiplos benchmarks sem atualizar o backbone de características ou o decoder do SAM.

4. Resultados Experimentais

O método foi avaliado em cinco benchmarks diversificados de segmentação one-shot: ISIC 2018 (lesões de pele), Chest X-Ray (pulmões), FSS-1000 (objetos de grão fino), PACO-Part e PASCAL-Part.

• Desempenho Geral: O REBASE estabeleceu o novo estado da arte entre os métodos sem treinamento em quatro dos cinco benchmarks (ISIS, Chest X-Ray, FSS-1000, PACO-Part) e ficou em segundo lugar no PASCAL-Part.
• Ganhos no Domínio Médico: Os melhorias mais significativas foram observadas em imagens médicas, onde os contextos de cena são altamente estruturados. No ISIC, o REBASE alcançou 63,8% mIoU, superando o melhor método anterior sem treinamento (INSID3) em +9,4 pontos percentuais. No Chest X-Ray, atingiu 86,3% mIoU, superando o INSID3 em +7,5 pp.
• Segmentação de Objetos Gerais: No FSS-1000, o REBASE alcançou 88,2% mIoU, superando o GF-SAM (88,0%) e o INSID3 (83,7%). Notavelmente, superou baselines de fine-tuning como SegGPT e SegIC neste benchmark sem qualquer treinamento adicional.
• Estudos de Ablação:
  • Adicionar o SW-FPS a um baseline vanilla melhorou o mIoU em ~3,7 pp (PACO-Part) e ~9,1 pp (ISIC).
  • Adicionar o Prior Denso melhorou significativamente o desempenho, especialmente no ISIC (+12,4 pp).
  • A projeção final do REBASE adicionou outros ~4,4 pp (PACO-Part) e ~3,9 pp (ISIC).
  • A projeção simétrica (aplicando tanto à referência quanto à consulta) mostrou-se ligeiramente superior à projeção assimétrica.

5. Significância e Alegações

O artigo afirma que a eliminação explícita do subespaço de fundo é um princípio altamente eficaz para a localização one-shot. A significância do REBASE reside em sua capacidade de:

• Desacoplar Identidade Semântica de Contexto: Ao isolar matematicamente e remover as direções de contexto de cena compartilhadas, o método permite que o modelo foque puramente nas características semânticas do objeto alvo.
• Operar Sem Treinamento: Alcança desempenho superior sem o custo computacional, overhead de memória ou ajuste de hiperparâmetros associados ao aprendizado incremental de classe ou fine-tuning de modelos de fundação.
• Generalizar Robustamente: A formulação de rank adaptativo requer apenas um único hiperparâmetro global ($r$) que se transfere consistentemente através de diversos domínios (médico, natural, nível de parte), demonstrando robustez.

Os autores concluem que esta perspectiva complementa os pipelines existentes de modelos de fundação e oferece um mecanismo principiado para melhorar o emparelhamento de características condicionado por suporte, pavimentando o caminho para métodos mais robustos de compreensão visual in-context.