Multi-Scale ViT Inference with Habitat-Fit Priors and kNN Retrieval for Multi-Species Plant Identification

Resumo Técnico: Inferência de ViT Multiescala com Priores de Habitat-Fit e Recuperação kNN para Identificação de Plantas Multi-espécies

Definição do Problema
Este artigo aborda o desafio PlantCLEF 2026, uma tarefa de identificação de múltiplas espécies de plantas que exige sistemas capazes de prever todas as espécies presentes em fotografias de alta resolução (≈3000×3000 pixels) de quadrantes de vegetação de 0,5×0,5 m, vistos de cima. A tarefa apresenta duas dificuldades primordiais:

1. Desvio de Domínio Severo de Única-para-Múltiplas Etiquetas: Os dados de treinamento consistem em aproximadamente 1,4 milhão de imagens de etiqueta única de espécimes isolados (frequentemente close-ups de órgãos específicos), enquanto os dados de teste compreendem cenas de cobertura de solo multiespécies e desordenadas, com variações de escala e estágios fenológicos.
2. Restrições de Resolução: As imagens de teste são grandes demais para as entradas típicas de Vision Transformer (ViT) (geralmente 518×518), necessitando de estratégias de fragmentação (tiling) e agregação que não percam pistas detalhadas das espécies.

A métrica de avaliação é um escore $F_1$ macro-médio hierárquico, calculado através de transectos para mitigar o viés de locais sobreamostrados.

Metodologia
O pipeline proposto, desenvolvido pela equipe DS@GT ARC, é uma abordagem centrada na inferência, baseada em um backbone DINOv2 ViT-L/14 ajustado (fine-tuned). O sistema processa os dados através das seguintes etapas:

1. Agregação de Fragmentos Multiescala (Multi-Scale Tile Aggregation):

   • Cada imagem do quadrante é recortada centralmente e redimensionada para múltiplas escalas ($s \in \{3, 4, 5, 6\}$), gerando 86 fragmentos (tiles) não sobrepostos de 518×518 por imagem.
   • Um classificador ViT-L/14 ajustado (treinado no conjunto de dados PlantCLEF) processa cada fragmento, produzindo uma distribuição softmax de 7.806 dimensões.
   • As predições por imagem são agregadas via max pooling em todos os fragmentos e escalas, preservando a evidência local mais forte para cada espécie.

2. Ensemble de Recuperação FAISS kNN:

   • Para complementar o classificador, um recuperador k-Nearest Neighbors (kNN) é construído usando FAISS.
   • Os embeddings são gerados usando o backbone ViT-L aumentado com um adaptador LoRA treinado com um objetivo ArcFace para agrupar embeddings da mesma espécie.
   • Para cada fragmento, os 20 vizinhos mais próximos são recuperados de um banco de dados de aproximadamente 860.000 embeddings de treinamento. Suas similaridades são convertidas em uma distribuição de classe suave e mescladas com a saída do classificador.
   • Os pesos de mesclagem são conscientes das visitas: $\beta=0,70$ para quadrantes de múltiplas visitas e $\beta=1,00$ (kNN desativado) para quadrantes de visita única, a fim de evitar ruídos de recuperações não confiáveis.

3. Fusão Temporal Consciente da Fonte (Source-Aware Temporal Fusion):

   • Aproveitando a estrutura de múltiplas visitas do conjunto de teste, as predições para quadrantes que compartilham o mesmo identificador de localização são fundidas.
   • As estratégias de agregação variam conforme a fonte de dados: max pooling é utilizado para a maioria das fontes, enquanto a agregação ponderada por similaridade é aplicada à fonte RNNB (dunas de areia costeiras) para lidar com a alta variabilidade temporal (ex: mudanças sazonais) sem predições excessivamente confiantes.

4. Demolição por Habitat-Fit e Máscara Geográfica:

   • Habitat-Fit: Uma etapa de pós-processamento que reescala as probabilidades com base em priores geográficos e de altitude derivados dos dados de treinamento. Um "fator de ajuste" penaliza espécies cuja distribuição conhecida (centroide de latitude/longitude e banda de elevação) não condiz com o regime ecológico específico da fonte.
   • Máscara Geográfica: Uma máscara global remove cerca de 3.000 espécies cujos centroides de treinamento caem fora do Sudoeste da Europa (França, Espanha, Itália, Suíça).
   • Regra de Admissão: Um processo de limiarização (thresholding) de dois estágios retém classes de alta probabilidade e impõe uma contagem mínima de predições para fontes específicas onde o modelo tende a subprever.

Direções Exploratórias (Resultados Nulos)
O artigo relata explicitamente três direções complementares que não resultaram em melhoria de desempenho:

• TileQ-Decoder: Um decodificador transformer de rótulo-como-consulta (label-as-query), treinado em pseudo-quadrantes sintéticos no espaço de embedding CLS, falhou em superar a simples agregação, sofrendo de "subconfiança de subamostragem de FAISS".
• Cross-Region Transformer: Uma abordagem de destilação de estudante ruidoso (noisy-student) usando o conjunto de dados não rotulado LUCAS falhou devido ao descompasso de distribuição entre os pseudo-rótulos do professor e o domínio alvo.
• Aumento de Instância-Crop com SAM: O uso do Segment Anything Model (SAM 3) para gerar recortes conscientes de instâncias não melhorou o desempenho, provavelmente devido a um descompasso de distribuição entre os recortes segmentados e os fragmentos de grade utilizados para calibração.

Resultados

• Desempenho: A submissão final selecionada alcançou um macro-$F_1$ no leaderboard privado de 0,43902, ficando em terceiro lugar geral. Uma configuração não selecionada do mesmo pipeline alcançou um escore privado superior de 0,45777.
• Estudos de Ablação:
  • Demolição Habitat-Fit: O maior contribuidor individual para o desempenho (+0,04075 $F_1$), destacando o valor dos priores ecológicos.
  • Agregação Multiescala: A combinação das escalas 3, 4, 5 e 6 superou escalas únicas ou conjuntos de escalas maiores (ex: até 8), sugerindo um equilíbrio entre captura de detalhes e redução de ruído.
  • Escalonamento de Backbone: O backbone ViT-L/14 superou consistentemente o ViT-B/14 em +0,022 a +0,052 $F_1$ em todas as configurações.
  • Recuperação kNN: Proporcionou um aumento significativo (+0,01256 $F_1$) quando mesclada adequadamente.
  • Fusão Temporal: Proporcionou um ganho modesto, porém consistente (+0,00367 $F_1$), dependendo fortemente de ajustes específicos por fonte.

Significância e Alegações
O artigo afirma que, para o reconhecimento de múltiplas espécies em larga escala sob severos desvios de domínio, estratégias de inferência e priores conscientes do conjunto de dados podem superar pipelines complexos centrados no treinamento.

• Estrutura do Conjunto de Dados sobre Complexidade do Modelo: Os ganhos mais significativos foram obtidos não pelo aumento do tamanho ou complexidade do modelo, mas pela codificação explícita da estrutura do conjunto de dados (padrões temporais de múltiplas visitas, distribuições geográficas/de altitude e regimes ecológicos específicos de cada fonte).
• Limitações de Dados Externos: Os resultados nulos da destilação LUCAS e do aumento SAM sugerem que a incorporação ingênua de dados externos ou aumentos pode degradar o desempenho se introduzirem um desvio de distribuição em relação ao domínio alvo.
• Agregação vs. Decodificação: A falha do TileQ-Decoder reforça que, para esta tarefa específica, preservar e agregar probabilidades por fragmento (tile) é mais eficaz do que reprocessar características através de um decodificador multi-label aprendido.

O trabalho demonstra que um pipeline de inferência cuidadosamente ajustado, aproveitando a fragmentação multiescala, o ensemble baseado em recuperação e os priores ecológicos, é uma solução robusta para automatizar a avaliação da biodiversidade em quadrantes de vegetação.