MARIS: Marine Open-Vocabulary Instance Segmentation with Geometric Enhancement and Semantic Alignment

Resumo Técnico: MARIS – Segmentação de Instâncias de Vocabulário Aberto Marinho

1. Problema e Motivação

A segmentação de instâncias em imagens subaquáticas é crucial para aplicações como monitoramento da biodiversidade marinha, veículos autônomos subaquáticos (AUVs) e conservação ambiental. No entanto, as abordagens existentes enfrentam desafios significativos:

• Dependência de Vocabulário Fechado: A maioria dos modelos atuais é treinada em um conjunto fixo e limitado de categorias, incapaz de reconhecer espécies ou objetos novos (não vistos durante o treinamento).
• Escassez e Coarse-Grained (Granularidade Grossa) de Dados: Os conjuntos de dados subaquáticos existentes (ex: UIIS, USIS10K) possuem menos de 20 categorias, agrupando organismos diversos em classes amplas como "peixe" ou "plantas". Isso impede a generalização para espécies específicas.
• Degradação Visual Subaquática: Imagens subaquáticas sofrem com atenuação de cor, baixo contraste e espalhamento de luz, o que torna os sinais visuais (cores e texturas) instáveis e pouco confiáveis para modelos baseados em aprendizado de visão-linguagem (VLMs) treinados em ambientes terrestres.
• Desalinhamento Semântico: Os VLMs atuais, treinados predominantemente em dados terrestres, não possuem definições ou priors linguísticos adequados para a terminologia e características específicas do ambiente marinho.

2. Metodologia Proposta

Os autores propõem uma solução composta por dois pilares principais: um novo benchmark de dados e um novo framework de modelo.

A. O Benchmark MARIS (Marine Instance Segmentation)

• Escala e Granularidade: O MARIS é o primeiro benchmark de grande escala e granularidade fina para segmentação de instâncias de vocabulário aberto (OVIS) subaquática.
• Composição: Contém mais de 16.000 imagens subaquáticas, categorizadas em 9 super-classes e 158 subcategorias finas (ex: diferenciar "Peixe-Papagaio Azul" de "Peixe-Angel Bicor").
• Divisão: O conjunto é dividido em classes de treinamento (43 exclusivas), validação (74 exclusivas) e 41 classes sobrepostas, permitindo avaliações rigorosas tanto In-Domain (dentro do domínio) quanto Cross-Domain (treinado em COCO, testado em MARIS).

B. O Framework de Modelo
O modelo propõe uma arquitetura unificada com dois módulos complementares para lidar com a degradação visual e a ambiguidade semântica:

1. Módulo de Reforço de Priors Geométricos (GPEM - Geometric Prior Enhancement Module):

   • Objetivo: Mitigar a instabilidade das pistas visuais (cor/textura) causada pela água.
   • Funcionamento: Utiliza um gerador de profundidade congelado (frozen depth encoder) para extrair priores geométricos estáveis (forma, estrutura, contornos).
   • Fusão: Combina características visuais multiescala do CLIP com características geométricas através de um mecanismo de atenção deformável e fusão adaptativa. Isso garante que a consistência do objeto seja mantida mesmo quando as cores estão degradadas.

2. Mecanismo de Injeção de Alinhamento Semântico (SAIM - Semantic Alignment Injection Mechanism):

   • Objetivo: Resolver a ambiguidade semântica e o desalinhamento entre VLMs terrestres e o domínio subaquático.
   • Prompts Adaptativos: Introduz prompts textuais específicos do ambiente subaquático (contexto, visibilidade da água, iluminação, profundidade, interações).
   • Seleção de Templates: Implementa uma estratégia de seleção adaptativa de templates textuais, escolhendo as descrições que melhor se alinham com as características visuais da imagem degradada, em vez de usar uma média fixa.
   • Enriquecimento: Integra o token global de profundidade nas representações de categoria para refinar a discriminação semântica.

3. Resultados Experimentais

Os experimentos foram conduzidos em GPUs NVIDIA RTX 4090, comparando o MARIS com baselines de ponta (OVSeg, ODISE, FCCLIP, MAFT+, EOVSeg).

• Desempenho In-Domain: O método MARIS superou consistentemente todos os baselines em ambas as configurações de backbone (ConvNeXt-B e ConvNeXt-L).
  • Com ConvNeXt-L, alcançou 61.55 mAP em classes de interseção e 54.02 mAP em classes de vocabulário aberto (OV), superando o segundo melhor método em mais de 6 pontos de mAP.
• Desempenho Cross-Domain: Em cenários onde o modelo foi treinado no dataset COCO (terrestre) e testado no MARIS, a abordagem demonstrou forte capacidade de generalização, alcançando 46.18 mAP (ConvNeXt-L), superando significativamente os métodos concorrentes.
• Ablação: Estudos de ablação confirmaram que tanto o GPEM quanto o SAIM são essenciais. A combinação de ambos resultou nos melhores resultados, demonstrando que a fusão de pistas geométricas e o alinhamento semântico são complementares.
• Análise de Classes: O modelo apresentou alta precisão em espécies visualmente distintas (ex: tubarões, tartarugas), mas enfrentou desafios com espécies raras ou visualmente ambíguas (ex: pequenos invertebrados), destacando a necessidade de mais dados para classes de cauda longa.

4. Contribuições Principais

1. Novo Benchmark (MARIS): Preenche a lacuna de dados ao fornecer o primeiro conjunto de dados de grande escala com anotações de instância de granularidade fina para o domínio subaquático, permitindo a avaliação rigorosa de modelos de vocabulário aberto.
2. Novo Framework (GPEM + SAIM): Propõe uma arquitetura inovadora que não depende apenas de aprimoramento de imagem, mas integra priors geométricos estáveis e conhecimento semântico específico do domínio para superar as limitações físicas da visão subaquática.
3. Avaliação Abrangente: Estabelece novos padrões de desempenho (State-of-the-Art) tanto para cenários dentro do domínio quanto para transferência de domínio, provando a viabilidade de modelos OVS em ambientes subaquáticos complexos.

5. Significado e Impacto

Este trabalho representa um avanço fundamental para a percepção robótica e ecológica subaquática. Ao demonstrar que é possível realizar segmentação de instâncias de vocabulário aberto em ambientes com degradação visual severa, o MARIS habilita:

• Monitoramento de Biodiversidade: Detecção automática de espécies raras ou novas sem necessidade de re-treinamento manual extensivo.
• Robustez Operacional: Melhoria na navegação e manipulação de AUVs em águas turvas ou com pouca visibilidade, utilizando pistas estruturais em vez de apenas visuais.
• Direção Futura: Abre caminho para a aplicação de modelos fundacionais de visão-linguagem em domínios extremos, incentivando a criação de mais benchmarks específicos para ambientes não terrestres.

Em suma, o MARIS não apenas resolve problemas técnicos de segmentação subaquática, mas também redefine como a inteligência artificial pode ser adaptada para entender e interagir com o ecossistema marinho de forma mais profunda e generalizável.