MATANet: A Multi-context Attention and Taxonomy-Aware Network for Fine-Grained Underwater Recognition of Marine Species

Resumo Técnico: MATANet para Reconhecimento Subaquático de Alta Granularidade

Declaração do Problema
O reconhecimento visual de alta granularidade (FGVC) de organismos marinhos é crítico para pesquisa ecológica, monitoramento da biodiversidade e políticas de conservação. No entanto, abordagens existentes frequentemente dependem excessivamente de representações centradas no objeto ou na Região de Interesse (ROI), que podem falhar em capturar as interações entre os organismos-alvo e seus ambientes circundantes. Além disso, a estrutura hierárquica da taxonomia biológica é frequentemente subutilizada no aprendizado de representações. Essas limitações prejudicam o desempenho discriminativo em cenas subaquáticas desafiadoras, onde organismos visualmente semelhantes aparecem sob diversas condições ambientais. Adicionalmente, a escassez de taxonomistas capazes de identificação manual confiável torna necessário sistemas automatizados robustos para análise escalável.

Metodologia
Os autores propõem o MATANet (Rede Multi-contexto Atencional e Consciente de Taxonomia), um framework projetado para imitar práticas de identificação taxonômica especializada, modelando conjuntamente a morfologia ao nível do organismo, o contexto ambiental e a hierarquia taxonômica. A arquitetura compreende dois módulos primários:

1. Módulo de Atenção Ambiental Multi-contexto (MCEAM):

   • Entrada: O módulo processa a ROI primária (organismo-alvo) juntamente com múltiplas regiões contextuais centradas na ROI em diferentes escalas (por exemplo, escalas de 3×, 5× e imagem completa).
   • Mecanismo: Utilizando uma espinha dorsal compartilhada de Vision Transformer (ViT) (inicializada com pesos DINOv2), o MCEAM emprega um mecanismo de atenção cruzada. O embedding da ROI serve como consulta, enquanto os embeddings de patch das regiões contextuais multi-escala servem como chaves e valores.
   • Função: Isso permite que o modelo atenda seletivamente a pistas ambientais informativas (como substrato, organismos próximos e configurações de habitat) condicionadas à representação do organismo-alvo. As características resultantes, conscientes do contexto, são concatenadas com o embedding da ROI e projetadas em um espaço latente unificado.

2. Módulo de Aprendizado de Representação Consciente de Hierarquia (HRLM):

   • Mecanismo: O HRLM utiliza a hierarquia taxonômica (por exemplo, Ordem, Família, Gênero) como supervisão auxiliar durante o treinamento. Ele não funciona como um classificador hierárquico para inferência final, mas atua como um regularizador para o espaço de embeddings.
   • Função: Um embedding transformado é alimentado em classificadores auxiliares específicos por nível. O módulo computa uma perda hierárquica ($L_{hier}$) baseada em níveis taxonômicos superiores válidos, incentivando os embeddings aprendidos a refletir relações taxonômicas entre níveis sem impor restrições rígidas de previsão na saída final.
   • Objetivo: O objetivo total de treinamento combina a perda de classificação principal ($L_{cls}$) no rótulo-alvo mais fino disponível com a perda hierárquica auxiliar ($L_{total} = L_{cls} + \lambda L_{hier}$).

Principais Contribuições

• MCEAM: Introduz um mecanismo para modelar a atenção cruzada entre a região do objeto primário e o contexto ambiental multi-escala, abordando as limitações de pipelines centrados na ROI ao integrar detalhes morfológicos locais com pistas de nível de habitat.
• HRLM: Desenha uma estratégia de aprendizado de representações que utiliza a hierarquia taxonômica como supervisão auxiliar nível a nível para regularizar o espaço de embeddings, promovendo representações semanticamente estruturadas que refletem relações biológicas.
• Avaliação Abrangente: Experimentos extensivos foram conduzidos em FathomNet2025 e LifeCLEF2015-Fish (conjuntos de dados marinhos) e FAIR1M (conjunto de dados de sensoriamento remoto) para avaliar o desempenho em diversas resoluções, complexidades ambientais e estruturas de rótulos.
• Conquista de Benchmark: O método proposto alcançou o primeiro lugar no Desafio FathomNet 2025 no workshop FGVC12 da CVPR 2025.

Resultados Experimentais

• FathomNet2025: O MATANet alcançou a menor Distância Hierárquica (HD) em ambos os conjuntos de teste Público e Privado, com uma HD ponderada média de 1,658 (configuração M4) e 1,54 (configuração M5 com uma espinha dorsal maior), superando bases fortes incluindo ResNet, Swin Transformer e modelos FGVC especializados como MSDBN e TransFG.
• LifeCLEF2015-Fish: O modelo demonstrou melhorias consistentes, alcançando uma Acurácia (ACC) de 0,787 e uma HD de 1,144, superando todos os modelos de benchmark. A lacuna de desempenho foi notada como menor do que no FathomNet2025, provavelmente devido à menor resolução e estrutura taxonômica mais simples deste conjunto de dados.
• FAIR1M (Cross-Domain): Em um cenário não subaquático, o MATANet alcançou a maior ACC (0,7395) e a menor HD (0,973) entre os modelos comparados, sugerindo a aplicabilidade do framework além da imagem marinha, embora o benefício das pistas contextuais tenha sido menos pronunciado devido à diversidade de fundo limitada no conjunto de dados.
• Estudos de Ablação:
  • Informações contextuais (MCEAM) reduziram significativamente a HD em comparação com bases apenas de ROI.
  • O HRLM melhorou ainda mais o desempenho ao estruturar o espaço de embeddings, superando outras estratégias conscientes de hierarquia como HXE e SoftLabel quando usadas como supervisão auxiliar em vez de substituição da perda principal.
  • A visualização via t-SNE confirmou que o HRLM incentiva a formação de clusters compactos e conscientes de taxonomia no espaço de embeddings.

Significado e Alegações
O artigo afirma que o MATANet aborda efetivamente os desafios do reconhecimento marinho de alta granularidade ao ir além de características de objetos isolados para incorporar o contexto ecológico e a taxonomia biológica que especialistas utilizam. Os autores afirmam que:

1. O Contexto é Crítico: O contexto ambiental fornece pistas complementares que melhoram a discriminação, particularmente para espécies sensíveis ao contexto, embora possa introduzir ambiguidade para algumas categorias.
2. A Estrutura Importa: Usar a hierarquia taxonômica como supervisão auxiliar, em vez de apenas um alvo de previsão, ajuda a aprender representações de características mais estruturadas e discriminativas.
3. Impacto Prático: O sucesso do framework no Desafio FathomNet 2025 demonstra sua viabilidade para avaliação automatizada de biodiversidade em larga escala.

Os autores reconhecem modestamente limitações, observando que o método atualmente depende de anotações de ROI pré-existentes (requerendo uma etapa de detecção em cenários "selvagens") e que escalas de contexto fixas podem não ser ótimas para todos os conjuntos de dados. Eles também observam que pistas contextuais não são universalmente benéficas e podem, às vezes, introduzir ruído ou ambiguidade.