Resumo Técnico: FROST

Declaração do Problema

A segmentação de poucos disparos (few-shot segmentation - FSS) exige que um modelo delineie uma classe alvo em uma imagem de consulta utilizando apenas um punhado de exemplos anotados. Este cenário é particularmente crítico em sensoriamento remoto, onde os rótulos são escassos e as imagens diferem significativamente das imagens naturais utilizadas para o pré-treinamento de backbones de visão. As abordagens existentes enfrentam um compromisso fundamental:

1. Métodos baseados em aprendizado: Treinam em episódios rotulados para otimizar parâmetros. Embora precisos dentro da distribuição de treinamento, eles vinculam o modelo a classes e cenas específicas, exigindo o retreinamento para novos domínios.
2. Métodos sem treinamento (training-free): Utilizam recursos autossupervisionados congelados para evitar o retreinamento. No entanto, os métodos predominantes reduzem uma classe a um "resumo com perda" (lossy summary), como um único protótipo, alguns protótipos de agrupamento ou agrupamento discreto. Esses resumos falham em preservar a estrutura multimodal interna de uma classe, que em imagens aéreas frequentemente aparece como uma dispersão de muitas instâncias pequenas e dissimilaridades, em vez de um único objeto dominante.

O artigo argumenta que uma classe é melhor descrita por uma distribuição do que por um ponto, e que os recursos autossupervisionados congelados já contêm estrutura suficiente para estimar essa distribuição diretamente sem treinamento.

Metodologia: FROST

O FROST (Frozen Features and Nonparametric Statistics) é um segmentador de poucos disparos sem treinamento que trata o primeiro plano (foreground) e o fundo (background) de referência como nuvens de pontos na esfera unitária de recursos DINOv3 congelados. Ele rotula os tokens de consulta via um teste de razão de densidade não paramétrico. O pipeline consiste em três estágios principais:

1. Refinamento de Recursos

Antes da estimativa de densidade, a geometria dos tokens congelados é condicionada para se adequar a imagens aéreas:

• Normalização: Os tokens são normalizados $L_2$ para a esfera unitária, garantindo que as comparações dependam da direção (similaridade de cosseno) em vez da magnitude.
• Debiasing Posicional: Seguindo o INSID3, o método remove o viés posicional inerente aos tokens congelados. Ele estima a similaridade impulsionada pela posição usando uma imagem Gaussiana livre de conteúdo e projeta essas direções para fora de cada token.
• Branqueamento por Contração (Shrinkage Whitening): Para suprimir variações de incômodo (ex: aparência global da cena) enquanto preserva sinais discriminativos de classe, o método computa uma matriz de dispersão intra-classe. Como o número de âncoras é pequeno em relação à dimensão do recurso, esta matriz é regularizada via contração intensa em direção a uma matriz identidade escalonada (Ledoit & Wolf, 2004). Os tokens são então branqueados usando esta matriz regularizada.

2. Classificação por Razão de Densidade

Ao contrário dos métodos de protótipos que colapsam uma classe em um único ponto, o FROST modela o primeiro plano e o fundo como estimativas de densidade de kernel na esfera de recursos:

• Estimativa de Densidade: Cada conjunto de âncoras (primeiro plano e fundo) define uma densidade usando a exponencial da similaridade de cosseno (kernel von Mises–Fisher). Isso retém todos os modos de uma classe multimodal.
• Regra de Decisão: Um token de consulta é rotulado como primeiro plano se a razão do logaritmo da densidade do primeiro plano em relação à densidade do fundo exceder um limiar $\tau$. Sob probabilidades (priors) iguais, a regra de Bayes fixa este limiar em $\tau = 0$, eliminando a necessidade de ajuste.
• Seleção de Largura de Banda (Bandwidth): A largura de banda do kernel $\sigma$ é selecionada por episódio usando uma margem de classe leave-one-out no conjunto de suporte, garantindo que a decisão se torne mais nítida conforme o conjunto de suporte cresce, sem retreinamento.

3. Refinamento Espacial

Os escores por token são convertidos em uma máscara de alta resolução via:

• Propagação Bilateral: Uma afinidade bilateral acopla a similaridade de característica e cor para suavizar o campo de escore, evitando o vazamento de rótulos através das fronteiras dos objetos.
• Portão de Candidatos (Candidate Gating): Um teste direto (similaridade de cosseno com o protótipo do primeiro plano) e um teste reverso (correspondência recíproca) filtram falsos positivos. Um raio de portão espacial adapta-se à fração de primeiro plano da cena.
• Upsampling: O campo escalar é subido (upsampled) bilinearmente para a resolução original antes do limiar, permitindo que as bordas caiam com precisão de sub-patch.

Principais Contribuições

1. Pipeline FROST: Um pipeline de segmentação de poucos disparos totalmente sem treinamento que gera máscaras de alta resolução a partir de um backbone congelado e estatísticas leves computadas exclusivamente no conjunto de suporte.
2. Formulação Estatística: Os autores formulam a rotulagem como um teste de razão de densidade de kernel com um limiar ideal de Bayes ($\tau=0$) e uma largura de banda escolhida via margem leave-one-out. O método adapta a etapa de recursos para o regime de escassez de referência usando o branqueamento de Mahalanobis por contração da dispersão intra-classe.
3. Validação Empírica: Avaliação extensa em dezessete benchmarks de sensoriamento remoto demonstra que o FROST supera tanto métodos sem treinamento quanto métodos baseados em aprendizado. Ele lidera por 5,6 mIoU com um único exemplo anotado e amplia sua liderança conforme o conjunto de suporte cresce.

Resultados

• Desempenho em Sensoriamento Remoto: Em dezessete benchmarks (cobrindo edifícios, cobertura terrestre e inundações), o FROST atinge o melhor Interseção sobre União média (mIoU) em dezesseis deles. Ele supera o mais forte baseline sem treinamento (INSID3) por 6,7 mIoU e o mais forte baseline baseado em aprendizado (SegIC) por 10,3 mIoU, quando calculados pela média sobre tamanhos de suporte $k \in \{1, 3, 5, 10\}$.
• Comportamento de Escala: O FROST exibe uma propriedade de escala única onde a precisão melhora monotonicamente conforme o conjunto de suporte cresce (de 48,3 mIoU em 1-shot para 56,8 mIoU em 10-shot). Isso contrasta com métodos de ajuste fino (fine-tuned) como o SegIC, que atingem o pico precocemente e declinam conforme referências adicionais conflitam com os priors treinados.
• Generalização: Em benchmarks de imagens naturais e de domínio cruzado (ex: ISIC, SUIM), o FROST fica atrás dos competidores mais fortes em 1-shot, mas os ultrapassa conforme as referências se acumulam, embora a vantagem seja menor do que no sensoriamento remoto. Isso é atribuído ao seu design de probabilidades iguais, que é otimamente ajustado para blocos de imagens aéreas onde o primeiro plano ocupa uma fração substancial da cena.
• Eficiência: O FROST permanece entre os menores modelos comparados, utilizando um backbone ViT-L DINOv3 de 304M de parâmetros congelados, sem parâmetros adicionais treináveis.

Significância e Alegações

O artigo afirma que o ingrediente ausente na segmentação de recursos congelados não é mais treinamento, mas sim uma regra de decisão mais nítida que representa uma classe por sua distribuição completa, em vez de um resumo com perda.

• Distribuição vs. Protótipo: Ao tratar classes como distribuições, o FROST evita o borrão da estrutura interna de classes multimodais comuns em imagens aéreas.
• Vantagem Sem Treinamento: O método demonstra que uma alta precisão pode ser alcançada sem otimizar parâmetros em dados de segmentação, tornando-o robusto a mudanças de domínio onde os priors de imagens naturais pré-treinados falham.
• Escalabilidade: A variância da estimativa de densidade diminui conforme o tamanho da amostra cresce, o que significa que a decisão se torna naturalmente mais nítida à medida que mais máscaras de referência são fornecidas, uma propriedade inerente à abordagem não paramétrica, mas ausente em protótipos fixos.

Os autores observam limitações: o método depende da representatividade do conjunto de suporte (referências ruins levam a estimativas de densidade ruins) e assume probabilidades iguais, o que pode não se aplicar a imagens naturais centradas em objetos, onde um único objeto ocupa uma pequena fração do quadro. Além disso, ele atualmente segmenta uma classe por episódio.