Training-Free Fine-Grained Semantic Segmentations in Low Data Regimes: A FungiTastic Baseline

Resumo Técnico: Segmentações Semânticas de Alta Granularidade sem Treinamento em Regimes de Baixa Quantidade de Dados

Definição do Problema
A segmentação semântica de alta granularidade exige localização precisa ao nível de pixel e a capacidade de discriminar entre classes visualmente similares. Este desafio é exacerbado em domínios especializados como a micologia, onde as espécies exibem alta variabilidade intraclasse, forte similaridade visual e distribuições de classes de cauda longa. O conjunto de dados FungiTastic complica ainda mais esta tarefa devido a variações significativas nas condições de aquisição de imagens (por exemplo, fundo, iluminação, zoom). Um gargalo crítico neste cenário é o alto custo da anotação densa ao nível de pixel, que limita a disponibilidade de dados de treinamento. Embora os modelos fundamentais de visão ofereçam representações robustas prontas para uso, abordagens existentes como o SAM3 geralmente dependem de prompts específicos de classe para segmentação semântica. Em cenários de alta granularidade, isso é impraticável porque o prompt de classe correto é desconhecido no momento da inferência, e a promoção exaustiva escala linearmente com o número de classes, tornando a abordagem não escalável.

Metodologia
Os autores propõem um framework de duas etapas sem treinamento que desacopla a segmentação da classificação para abordar essas restrições:

1. Segmentação Agnóstica de Classe (Etapa 1): O framework utiliza o SAM3 (Segment Anything Model 3) com um prompt macro-taxonômico genérico ("cogumelos") para gerar máscaras agnósticas de classe. Isso garante que o custo da segmentação permaneça constante independentemente do número de classes de alta granularidade, evitando a necessidade de inferência por classe.
2. Classificação Baseada em Protótipos (Etapa 2): Rótulos de alta granularidade são atribuídos às regiões segmentadas usando características do DINOv3. O método emprega uma estratégia de correspondência de protótipos no espaço de incorporação:
   • Extração de Características: Os tokens [CLS] do DINOv3 são extraídos para as amostras de treinamento.
   • Transformação de Características: Para abordar a incompatibilidade entre a geometria do espaço de incorporação pré-treinado e as necessidades da discriminação de alta granularidade, os autores aplicam o branqueamento por PCA. Esta transformação descorrelaciona as características e reescala as direções principais para variância unitária, mitigando a influência de fatores de incômodo de alta variância (por exemplo, iluminação, fundo) que dominam as incorporações brutas do DINOv3.
   • Construção de Protótipos: Os protótipos de classe são computados como a média das características normalizadas e branqueadas para cada classe.
   • Inferência: Para uma imagem de teste, a característica do DINOv3 é extraída, branqueada e correspondida aos protótipos de classe. O rótulo previsto é então propagado para todos os pixels dentro da máscara correspondente gerada pelo SAM3.

Principais Contribuições

• Framework Desacoplado: Introdução de um pipeline simples de duas etapas que separa a segmentação agnóstica de classe da classificação de alta granularidade, eliminando a necessidade de prompts específicos de classe durante a inferência.
• Otimização do Espaço de Características: Demonstração de que a aplicação de branqueamento por PCA às incorporações do DINOv3 melhora significativamente o desempenho da correspondência baseada em protótipos, corrigindo a geometria das características e suprimindo a variância relacionada a incômodos.
• Estabelecimento de Benchmark: Fornecimento da primeira linha de base para segmentação semântica de alta granularidade em regimes de baixa quantidade de dados, avaliada no conjunto de dados FungiTastic em configurações de um único exemplo até algumas centenas de exemplos.

Resultados
Os experimentos foram conduzidos no conjunto de dados FungiTastic (aproximadamente 13 mil imagens de treinamento, 9 mil imagens de teste, 194 classes) utilizando 20 sementes aleatórias.

• Ganhos de Desempenho: Incorporações normalizadas padrão do DINOv3 alcançaram uma precisão média por classe (mAcc) de aproximadamente 30%. A aplicação de pré-processamento de características (especificamente branqueamento por PCA) desbloqueou uma melhoria superior a 20%, alcançando uma mAcc de ~55% e uma Interseção sobre União Média (mIoU) de ~31%.
• Eficiência de Dados: O desempenho saturou após aproximadamente 40–60 imagens de treinamento por classe, sugerindo que um pequeno subconjunto é suficiente para cobrir a maioria da variabilidade do conjunto de dados.
• Comparação com Oráculo: O método proposto supera abordagens ingênuas. Embora uma linha de base de alta granularidade "oráculo" (usando nomes de classe exatos para promptar o SAM3) gere um limite superior teórico mais alto (mIoU 0,5522), a abordagem sem treinamento proposta alcança resultados robustos sem o custo de escalonamento linear da promoção exaustiva.

Significado e Afirmações
O artigo postula que o principal gargalo na segmentação de alta granularidade com baixa quantidade de dados não é meramente a escassez de supervisão, mas a geometria do espaço de incorporação utilizado para correspondência de protótipos. Os autores afirmam que as características de modelos fundamentais prontas para uso estão frequentemente desalinhadas com a estrutura métrica necessária para a discriminação de alta granularidade. Ao demonstrar que o pré-processamento de representação (branqueamento por PCA) pode ser tão crítico quanto a escolha do próprio modelo fundamental, o trabalho destaca que linhas de base eficazes de previsão densa podem emergir de pipelines cuidadosamente compostos e sem treinamento. Este estudo serve como um ponto de referência para pesquisas futuras, mostrando que soluções escaláveis para domínios especializados e com escassez de dados são alcançáveis sem treinamento específico para a tarefa.