How many labels do you need? A decision framework for cross-habitat marine species recognition

Resumo Técnico: Um Framework de Decisão para o Reconhecimento de Espécies Marinhas em Diferentes Habitats

Definição do Problema
Programas de monitoramento ecológico, particularmente aqueles envolvendo recifes de coral, geram quantidades vastas de imagens (ex: >100.000 imagens anualmente na Grande Barreira de Corais) que requerem anotação especializada para identificação de espécies. A anotação humana é um gargalo, limitada pela capacidade de processamento (50–100 imagens/hora) e pela variabilidade entre observadores. Modelos de aprendizagem profunda (deep learning) alcançaram alta precisão (>90%) em conjuntos de dados de locais únicos e específicos, mas sofrem de uma limitação crítica: baixa generalização para novos locais. Modelos treinados em um habitat frequentemente falham quando implantados em outro porque aprendem "atalhos específicos do habitat" (ex: cor da água, textura do fundo) em vez de características diagnósticas da espécie. Consequentemente, ecologistas carecem de orientação baseada em evidências sobre o custo de trabalho (número de imagens rotuladas) necessário para implantar o reconhecimento automatizado confiável em um novo local não visto.

Metodologia
Os autores construíram um benchmark sistemático de cross-ecosistema e um framework de avaliação para abordar esta lacuna.

• Conjuntos de Dados: O estudo utilizou cinco conjuntos de dados marinhos publicamente disponíveis, abrangendo três oceanos e três grupos taxonômicos (peixes, corais, invertebrados):

  • DeepFish: 20 habitats de recife distintos ao longo da Grande Barreira de Corais (fonte para a maioria das transferências).
  • AQUA20: Espécies marinhas tropicais/subtropicais mistas.
  • Moorea Corals: Quadrados bentônicos na Polinésia Francesa.
  • Coralscapes: Segmentação bentônica do Mar Vermelho.
  • Brackish: Imagens de fiordes de águas temperadas frias da Dinamarca.
    Estes conjuntos de dados definem um "gradiente de dificuldade de transferência" que varia de transferência dentro do mesmo habitat (mais fácil) para transferência cross-taxon e cross-oceano com desbalanceamento severo de classes (mais difícil).

• Modelos: Quatro arquiteturas de backbone foram avaliadas:

  • Modelos de Fundação: DINOv2-Base (ViT auto-supervisionado) e CLIP-Base (ViT de imagem e linguagem).
  • Baselines de CNN: ResNet-50 e EfficientNet-B4 (pré-treinamento supervisionado com ImageNet).

• Estratégias de Adaptação: Os modelos foram testados sob quatro regimes de adaptação:

  • Linear Probe: Backbone congelado com um classificador linear treinável.
  • Low-Rank Adaptation (LoRA): Ajuste fino (fine-tuning) de parâmetros eficiente de camadas de atenção.
  • Visual Prompt Tuning (VPT): Tokens aprendíveis prepostos às camadas do transformer.
  • Full Fine-tuning: Atualização de todos os parâmetros (aplicado aos baselines de CNN).

• Protocolos Experimentais:

  1. Protocolo A (Dentro do Habitat): Avaliação de exclusão de um habitat (leave-one-habitat-out) através de 20 locais do DeepFish para testar a generalização dentro de um único sistema de recife.
  2. Protocolo B (Cross-Dataset): Transferência de conjunto aberto (open-set transfer) do DeepFish para os outros quatro conjuntos de dados para medir a degradação de desempenho através de fronteiras geográficas e ecológicas.
  3. Protocolo C (Few-Shot): Variação sistemática de amostras rotuladas por classe ($k=0$ a $100$) para determinar o esforço mínimo de anotação necessário para um implante confiável.

Resultados Principais

• Superioridade dos Modelos de Fundação Congelados: Na transferência dentro do habitat (Protocolo A), um backbone DINOv2-Base congelado com um classificador linear (apenas 1.538 parâmetros treináveis) alcançou o maior F1 macro médio (0,70). Este desempenho foi estatisticamente comparável aos CNNs totalmente ajustados (EfficientNet-B4, 17,6M parâmetros) e métodos de parâmetros eficientes como o LoRA, apesar de utilizar quatro ordens de magnitude a menos de parâmetros treináveis.
• Análise de Características: Visualizações t-SNE revelaram que as características do DINOv2 agrupam-se por identidade de espécie, independentemente do habitat, indicando o aprendizado de representações invariantes ao habitat. Por outro lado, os baselines de CNN (ResNet-50) agruparam-se pelo habitat, confirmando que dependem de pistas de fundo que falham em novos ambientes.
• Robustez Cross-Habitat: Modelos de fundação degradaram de forma mais suave do que as CNNs ao transferir entre ecossistemas. Embora o desempenho tenha caído ao longo do gradiente de dificuldade, o DINOv2 manteve a utilidade em transferências cross-taxon onde as CNNs se aproximaram de níveis de acaso (chance levels).
• Eficiência Few-Shot (Protocolo C): O estudo quantificou o trade-off entre "esforço de rotulagem vs. precisão".
  • Classificação zero-shot (CLIP, $k=0$) forneceu uma linha de base, mas foi limitada por incompatibilidades de vocabulário nas etiquetas taxonômicas.
  • Adicionar apenas 10–20 imagens rotuladas por espécie foi suficiente para implantar o reconhecimento confiável em novos locais.
  • O DINOv2 com um linear probe atingiu 80% de sua acurácia balanceada máxima com aproximadamente 11 amostras rotuladas por classe, superando significativamente outras configurações em eficiência de amostra.

Significância e Alegações
O artigo afirma fornecer o primeiro framework de decisão sistemático e baseado em evidências para o reconhecimento de espécies marinhas em diferentes habitats. Suas principais contribuições são:

1. Um Benchmark: Uma avaliação de múltiplos conjuntos de dados abrangendo ambientes tropicais a temperados e de peixes a táxons de corais, estabelecendo um gradiente de dificuldade para pesquisas futuras.
2. Orientação Operacional: A descoberta de que ecologistas podem implantar sistemas automatizados confiáveis em novos locais combinando um modelo de fundação de código aberto (DINOv2) com um simples classificador linear e anotando apenas 10–20 imagens por espécie. Isso reduz o esforço de anotação em aproximadamente uma ordem de magnitude em comparação com abordagens convencionais de treinamento do zero.
3. Insight Metodológico: A demonstração de que modelos de fundação aprendem representações diagnósticas da espécie e invariantes ao habitat, enquanto as CNNs tradicionais codificam atalhos específicos do habitat. Isso sugere que, para o monitoramento ecológico, a "experiência visual" adquirida durante o pré-treinamento auto-supervisionado em larga escala é mais valiosa do que o ajuste fino específico para tarefas em pequenos conjuntos de dados locais.

Os autores concluem que este framework permite que programas de monitoramento orcem o esforço de rotulagem contra a precisão esperada ao expandir para novos locais, ecossistemas ou plataformas de imagem, aplicável a qualquer sistema de monitoramento ecológico que exija generalização com dados rotulados limitados.