Self-Supervised Learning of Plant Image Representations

1. Formulação do Problema

O reconhecimento automatizado de plantas é crítico para o monitoramento da biodiversidade e conservação, mas enfrenta um gargalo significativo: escassez de dados. Os sistemas atuais de última geração dependem fortemente de aprendizado supervisionado, que exige grandes quantidades de dados rotulados por especialistas. A obtenção dessas anotações é cara, consome tempo e requer conhecimento botânico especializado, limitando a escalabilidade desses sistemas para ecossistemas pouco documentados.

Embora o Aprendizado Auto-Supervisionado (SSL) ofereça uma alternativa escalável ao aprender representações sem rótulos manuais, os métodos existentes de SSL (por exemplo, SimCLR, DINOv2) são projetados principalmente para tarefas de granularidade grosseira (por exemplo, ImageNet, distinguir gatos de carros). Esses métodos dependem de aumentações de dados agressivas (por exemplo, jittering de cor forte, desfoque gaussiano, conversão para escala de cinza, solarização) que assumem invariância a tais transformações. No entanto, o reconhecimento de espécies vegetais é uma tarefa de granularidade fina, onde pistas visuais sutis — como distribuições específicas de cor, padrões de nervuras e texturas — são os principais discriminadores. Aumentações padrão de SSL frequentemente destroem essas características críticas, levando a um aprendizado de representação deficiente para plantas.

2. Metodologia

Os autores propõem um framework adaptado ao domínio para aprender representações de imagens de plantas, focando em dois pilares principais: estratégia de aumentação e seleção de conjunto de dados.

A. Aumentação de Dados Adaptada a Plantas

O artigo identifica que as aumentações padrão de SSL são prejudiciais ao reconhecimento de plantas. Por meio de um estudo de ablação sistemático usando SimCLR e SupCon em uma base ResNet-18, os autores demonstram:

• Transformações Prejudiciais: Desfoque gaussiano, conversão para escala de cinza e solarização degradam significativamente o desempenho ao remover pistas de granularidade fina essenciais.
• Transformações Propostas: Os autores introduzem duas aumentações alternativas mais adequadas para plantas:
  1. Posterização: Reduz o número de níveis de cor, criando variações de aparência enquanto preserva a estrutura global de cor.
  2. Transformações Afins: Inclui rotação, translação, escala e cisalhamento para introduzir variabilidade geométrica sem degradar texturas locais.
• Estratégia: O pipeline ótimo substitui as aumentações padrão "DINO" por uma combinação de recortes redimensionados aleatórios, flips horizontais, jittering de cor, posterização e transformações afins.

B. Arquitetura do Modelo e Treinamento

Os autores utilizam o SimDINOv2, uma versão simplificada do DINOv2 que remove componentes heurísticos (como centralização e afiação) e usa regularização de taxa de codificação para evitar o colapso de representações.

• Framework: Uma arquitetura professor-aluno onde o professor (EMA do aluno) processa visões globais, e o aluno processa visões globais e locais (patches).
• Objetivos:
  1. Alinhamento Global: Semelhança de cosseno entre os tokens CLS do aluno e do professor.
  2. Alinhamento de Patch: Previsão de patch mascarado (inspirado no iBOT) para aprender estruturas locais.
  3. Regularização: Regularização de taxa de codificação para garantir diversidade de características.
• Dados de Pré-treinamento: Em vez do ImageNet-1K, os modelos são pré-treinados no subconjunto iNaturalist 2021 Plantae, contendo ~1,1 milhão de imagens em 4.271 espécies.

3. Principais Contribuições

1. Identificação de Incompatibilidade de Aumentação: O artigo fornece evidências empíricas de que aumentações padrão de SSL (desfoque, escala de cinza, solarização) são prejudiciais ao reconhecimento de plantas de granularidade fina e propõe posterização e transformações afins como alternativas eficazes.
2. Pré-treinamento Específico de Domínio: Demonstra que o pré-treinamento em um conjunto de dados específico de domínio (iNaturalist Plantae) produz representações significativamente superiores em comparação com o pré-treinamento genérico (ImageNet-1K), mesmo ao usar a mesma arquitetura.
3. Desempenho Competitivo: Mostra que modelos auto-supervisionados treinados com essas estratégias específicas podem igualar ou superar bases supervisionadas fortes (Pl@ntCLEF, BioCLIP) em cenários de aprendizado com poucos exemplos (few-shot learning).
4. Framework Escalável: Fornece um pipeline prático e livre de anotações para monitoramento da biodiversidade que é compatível com arquiteturas modernas de Vision Transformer (ViT).

4. Resultados Experimentais

Os autores avaliaram sua abordagem usando classificação com poucos exemplos (1-shot e 5-shot) em quatro conjuntos de dados de plantas do benchmark MetaAlbum: Pl@ntNet, PlantVillage, Medicinal Leaf e PlantDoc.

• Impacto da Aumentação: Em uma base ResNet-18, as aumentações adaptadas a plantas propostas alcançaram 10,35% de precisão, quase igualando o limite superior supervisionado (SupCon em 10,61%) e superando significativamente as aumentações padrão de SSL (9,70%).
• Impacto dos Dados de Pré-treinamento:
  • ViT-Large (L) pré-treinado no ImageNet-1K alcançou apenas 35,6% de precisão (1-shot) no Pl@ntNet.
  • ViT-Large (L) pré-treinado no iNaturalist Plantae com aumentações adaptadas a plantas alcançou 77,4% de precisão (1-shot) no Pl@ntNet.
  • Isso representa uma melhoria absoluta massiva de ~42% apenas devido a dados e aumentações específicos de domínio.
• Comparação com Bases:
  • O SimDINOv2 (ViT-L) proposto superou o modelo supervisionado Pl@ntCLEF no Pl@ntNet (77,4% vs 72,9%) e no PlantVillage.
  • Superou consistentemente o BioCLIP (um modelo visão-linguagem) em todos os conjuntos de dados, particularmente no desafiador conjunto de dados de doenças PlantDoc.
• Visualização do Espaço de Características: Projeções t-SNE mostraram que modelos pré-treinados no iNaturalist com aumentações adaptadas formaram clusters compactos e bem separados para espécies de plantas, enquanto modelos pré-treinados no ImageNet produziram clusters dispersos e sobrepostos.

5. Significado e Conclusão

Este trabalho muda fundamentalmente o paradigma para o reconhecimento de plantas ao provar que a adaptação de domínio é crítica no aprendizado auto-supervisionado.

• Diretrizes Práticas: Estabelece que pipelines de SSL "tamanho único" falham em domínios de granularidade fina. O SSL bem-sucedido para biodiversidade requer seleção cuidadosa de aumentações que preservem pistas visuais sutis e o uso de dados não rotulados em grande escala e relevantes para o domínio.
• Escalabilidade: Ao alcançar desempenho comparável ou superior a modelos supervisionados sem rótulos manuais, essa abordagem oferece um caminho viável para sistemas escaláveis e automatizados de monitoramento da biodiversidade que podem lidar com a vasta diversidade de espécies vegetais sem o gargalo da anotação por especialistas.
• Perspectiva Futura: Os autores sugerem que a escalabilidade adicional com conjuntos de dados de plantas maiores e mais diversos poderia desbloquear um potencial ainda maior para identificação de plantas livre de anotações.