Resumo Técnico: ShellfishNet

Declaração do Problema

A gestão de ecossistemas costeiros e a conservação da biodiversidade marinha dependem fortemente da identificação precisa de organismos bentônicos, particularmente moluscos. Os métodos tradicionais de monitoramento são intensivos em mão de obra, exigindo expertise taxonômica especializada para identificação morfológica, o que cria um gargalo de escalabilidade para avaliações ecológicas amplas. Embora a inteligência artificial (IA) e a visão computacional ofereçam potencial para monitoramento automatizado, os conjuntos de dados marinhos existentes são inadequados para implantação no mundo real. As benchmarks atuais frequentemente apresentam amostras capturadas sob condições controladas e ideais, falhando em levar em conta as complexidades dos ambientes subaquáticos e costeiros, como iluminação variável, turbidez da água, posturas diversas das espécies e fundos de habitat complexos. Além disso, modelos fundamentais de propósito geral frequentemente exibem "déficits de conhecimento de domínio" quando confrontados com a alta variância intraclasse e a variância interclasse mínima características dos moluscos marinhos. Existe uma falta crítica de benchmarks de alta qualidade e específicos de domínio que reflitam a variabilidade visual do monitoramento ecológico prático.

Metodologia

Para abordar essas lacunas, os autores construíram o ShellfishNet, uma benchmark abrangente e específica de domínio projetada para o reconhecimento visual e descrição de moluscos marinhos.

Construção do Conjunto de Dados

• Escopo: O conjunto de dados compreende 8.691 imagens abrangendo 32 táxons distintos de moluscos comumente encontrados na conservação costeira, aquicultura e monitoramento.
• Fontes de Dados: As imagens foram agregadas por meio de uma combinação de fotografia de campo controlada (fotos padronizadas de espécimes contra fundos limpos) e raspagem da web (imagens "in-the-wild").
• Curadoria: Um processo de curadoria em múltiplos estágios removeu amostras irrelevantes ou degradadas. Os rótulos taxonômicos foram verificados contra evidências morfológicas visíveis e cruzados por múltiplos anotadores para minimizar o ruído nos rótulos.
• Complexidade do Mundo Real: Para simular as restrições físicas do monitoramento no mundo real, os autores aplicaram um pipeline de aumento de dados offline. Isso incluiu transformações geométricas (rotação aleatória, recorte) para imitar pontos de vista variados e ajustes fotométricos (variações de iluminação, desfoque) para simular condições climáticas e turbidez da água.
• Anotação Multimodal: Um subconjunto curado de 500 imagens foi anotado com legendas descritivas por especialistas humanos, assistidos por um LLM comercial de caixa preta. Essas legendas foram estruturadas para cobrir quatro dimensões profissionais: Morfologia, Cor e Textura, Características Anatômicas e Ambiente e Fundo. Especialistas humanos mantiveram controle total para eliminar alucinações.

Framework de Benchmarking

Os autores estabeleceram duas tarefas principais de benchmark:

1. Classificação de Moluscos: Uma avaliação sistemática de 80 modelos de redes neurais representativos, incluindo Redes Neurais Convolucionais (CNNs), Vision Transformers (ViTs), Modelos de Espaço de Estados (SSMs), frameworks de Aprendizado Auto-supervisionado (SSL) e modelos de Categorização Visual de Alta Granularidade (FGVC).
2. Legendagem de Imagens de Moluscos: Uma avaliação de 13 Modelos de Linguagem Multimodal de Grande Escala (MLLMs) de última geração (incluindo Qwen, LLaVA, InternVL, IDEFICS2, Gemini e variantes do GPT) no subconjunto curado de legendagem.

Métricas de Avaliação

• Classificação: A precisão foi medida em dados limpos e sob 15 tipos de corrupção de imagem (ruído, desfoque, clima, distorções digitais) para avaliar a robustez. O desempenho de cauda longa também foi analisado para as cinco classes menos frequentes.
• Legendagem: A avaliação utilizou uma abordagem multidimensional:
  • Lexical/Sintática: BLEU, METEOR, ROUGE-L, CIDEr (notado por sofrer com "penalidades de texto longo").
  • Equivalência Semântica: BERTScore (Precisão, Recuperação, F1) para medir a similaridade semântica profunda.
  • Alinhamento Cross-Modal: CLIP Score para verificar o ancoramento visual.
• Robustez: Desempenho Médio sob Corrupção (mPC) e Erro Médio de Corrupção (mCE) foram calculados em relação a uma linha de base ResNet-50.

Principais Resultados

Desempenho de Classificação

• Superioridade Arquitetural: Vision Transformers Hierárquicos (por exemplo, MViTv2-T com 95,66%) e designs macro-arquiteturais modernos (por exemplo, MambaOut com 96,47%) demonstraram desempenho superior sobre modelos isotrópicos iniciais (por exemplo, ViT com 88,35%) e CNNs legadas (por exemplo, VGG com 89,43%).
• Evolução das CNNs: CNNs modernizadas (por exemplo, ConvNeXt, ConvFormer-S18) efetivamente reduziram a lacuna de desempenho com os Vision Transformers, alcançando precisões em torno de 95,12%.
• Robustez: Sob degradações visuais severas (corrupções), modelos como MViTv2-T (mPC 72,19%) e MambaOut (mPC 69,73%) exibiram a maior robustez absoluta. Em contraste, modelos legados como o VGG sofreram falhas catastróficas (por exemplo, precisão caindo para 7,37% sob ruído impulsivo). Notavelmente, alguns modelos de Aprendizado Auto-supervisionado (por exemplo, MoCoV3) mostraram maior precisão limpa, mas robustez significativamente menor em comparação com suas contrapartes supervisionadas.

Desempenho de Legendagem

• Alinhamento Semântico: Modelos proprietários Gemini 3.1 Pro (BERTScore-F1: 0,9006) e GPT-5.4 (0,8880) alcançaram a maior equivalência semântica. Entre modelos de pesos abertos, Qwen2.5-7B (0,8750) e InternVL2.5-4B (0,8712) tiveram o melhor desempenho.
• Limitações de Métricas: Métricas tradicionais de n-gram (BLEU, CIDEr) produziram pontuações universalmente baixas em todos os modelos (por exemplo, CIDEr < 0,11 para os principais modelos), destacando uma severa "penalidade de texto longo" e distorção de avaliação. Os autores concluem que métricas semânticas como o BERTScore são mais confiáveis para avaliar descrições ecológicas detalhadas.
• Modos de Falha: A análise qualitativa revelou que mesmo modelos de alto desempenho sofrem com alucinações visuais (por exemplo, afirmar que conchas estão vazias quando contêm tecido) e erros lógicos (por exemplo, contagem de alucinações como "cinco conchas em uma grade 2x2").

Significado e Contribuições

O artigo posiciona o ShellfishNet como um recurso crítico para avançar o monitoramento inteligente na ecologia marinha. Suas principais contribuições são:

1. Uma Benchmark Abrangente Multi-cenário: O ShellfishNet fornece uma base de dados que reflete o espectro completo de complexidades visuais na gestão costeira, desde observações de campo naturais até aquicultura e manuseio pós-colheita. Ele aborda a escassez de dados específicos de domínio para reconhecimento bentônico de alta granularidade.
2. Avaliação Detalhada de Modelos: Ao estabelecer linhas de base robustas em 80 arquiteturas diversas, o trabalho esclarece quais paradigmas de modelo (atenção hierárquica, macro-arquiteturas modernas) são mais adequados para reconhecimento marinho de alta granularidade e robustez contra degradação ambiental.
3. Exploração de Relatórios Ecológicos Multimodais: A inclusão de um subconjunto de legendagem facilita a pesquisa sobre alinhamento visão-linguagem para tarefas ecológicas. Demonstra o potencial dos MLLMs para gerar relatórios ambientais detalhados, ao mesmo tempo que destaca as limitações atuais no raciocínio visual e no controle de alucinações.

Os autores concluem que, embora os modelos atuais mostrem promessa, o campo requer desenvolvimento contínuo para mitigar déficits de conhecimento específicos de domínio e alucinações visuais. Eles identificam a implantação de modelos leves em dispositivos em sensores de borda como uma direção futura promissora para monitoramento ecológico contínuo e de baixo custo.