Mine-JEPA: In-Domain Self-Supervised Learning for Mine-Like Object Classification in Side-Scan Sonar

Título: Mine-JEPA: Aprendizado Auto-Supervisionado em Domínio para Classificação de Objetos Tipo Mina em Sonar de Varredura Lateral

1. O Problema

A classificação de minas marinhas utilizando Sonar de Varredura Lateral (SSS) é um desafio crítico na visão computacional marítima, caracterizado por dois obstáculos principais:

• Escassez Extrema de Dados: Diferente de imagens naturais, existem poucos dados de sonar rotulados disponíveis para treinamento supervisionado.
• Grande Lacuna de Domínio (Domain Gap): Modelos de visão pre-treinados em grandes conjuntos de dados de imagens naturais (como ImageNet) enfrentam dificuldades significativas ao serem aplicados a imagens de sonar. As imagens de sonar baseiam-se em estruturas de "realce-sombra" acústico e estatísticas de textura do fundo do mar, que são fundamentalmente diferentes das estatísticas de cores e formas das imagens RGB.

A literatura atual depende fortemente de aprendizado supervisionado ou transfer learning direto de modelos gerais, deixando o potencial do Aprendizado Auto-Supervisionado (SSL) em domínio (in-domain SSL) praticamente inexplorado para esta tarefa.

2. Metodologia: Mine-JEPA

Os autores propõem o Mine-JEPA, um pipeline de SSL específico para o domínio de sonar, projetado para funcionar eficazmente com apenas 1.170 imagens não rotuladas. A abordagem segue três etapas principais:

• Pré-processamento e Extração de Patches:

  • Extração de aproximadamente 153.000 patches não rotulados de 96x96 pixels das imagens de sonar originais.
  • Em uma configuração experimental, adicionam-se 256.000 patches sintéticos (Real+Syn), criando um conjunto heterogêneo de dados.

• Pré-treinamento Auto-Supervisionado (In-Domain SSL):

  • Arquitetura Base: Utiliza-se um Vision Transformer (ViT) como backbone.
  • Função de Perda (SIGReg): O método utiliza o SIGReg (Sketched Isotropic Gaussian Regularization), introduzido no framework LeJEPA. Diferente de métodos que exigem arquiteturas complexas "professor-aluno" (como BYOL ou DINO) ou grandes batches, o SIGReg é baseado em regularização.
    • Combina uma perda de invariância (vistas aumentadas da mesma imagem devem ter representações similares) com uma perda de regularização que força a distribuição dos embeddings a seguir uma distribuição normal padrão.
    • Isso evita o colapso de representações sem a necessidade de pares negativos ou momentum encoders.
  • Aumentação Adaptada ao SSS: Em vez de usar aumentações padrão para imagens RGB (como alteração de saturação, solarização ou conversão para escala de cinza aleatória), o pipeline aplica aumentações específicas para sonar:
    • Restrição de jitter de cor apenas a brilho e contraste (já que o sonar é monocromático/falso-cor).
    • Inclusão de inversão vertical e rotação aleatória (para refletir a geometria de varredura).
  • Inicialização: O backbone é inicializado com pesos pré-treinados no ImageNet-1K (IN1K), mas o cabeçalho de projeção é inicializado aleatoriamente. O projeto utiliza uma dimensão de projeção muito baixa (d=16) para atuar como um gargalo estrutural, prevenindo overfitting em cenários de poucos dados.

• Avaliação (Probe Evaluation):

  • O backbone pré-treinado é avaliado em tarefas de classificação de patches (3 classes: Fundo, Contato Tipo Mina, Objeto de Fundo Não-Mina) usando cabeçalhos lineares ou MLP, tanto em modo congelado quanto com fine-tuning.

3. Contribuições Principais

1. Primeiro Pipeline de SSL em Domínio para SSS: Apresentação do Mine-JEPA, demonstrando que o SSL pode ser aplicado com sucesso na classificação de minas em sonar, superando a dependência de grandes conjuntos de dados rotulados.
2. Desempenho Superior com Dados Limitados: O modelo pré-treinado apenas com 1.170 imagens de sonar supera modelos fundamentais massivos (como o DINOv3, pré-treinado com 1,7 bilhão de imagens) quando adaptados para esta tarefa específica.
3. Descoberta sobre Adaptação de Modelos Fundamentais: O estudo revela que aplicar SSL em domínio a modelos fundamentais fortes (como DINOv3) degrada o desempenho em 10-13 pontos percentuais. Isso sugere que representações muito especializadas em imagens naturais podem ser distorcidas por adaptações em domínios com lacunas estatísticas extremas.
4. Eficiência Computacional: O uso de um backbone compacto (ViT-Tiny) com 4x menos parâmetros que o DINOv3 alcança desempenho competitivo, tornando a solução viável para plataformas com recursos limitados, como Veículos Submarinos Autônomos (AUVs).

4. Resultados Experimentais

Os resultados foram avaliados em um conjunto de dados público de sonar (Santos et al.):

• Classificação Binária (Mina vs. Não-Mina):
  • O Mine-JEPA alcançou um F1-score de 0,935.
  • Superou o DINOv3 fine-tuned (0,922), apesar de ter sido pré-treinado com muito menos dados.
• Classificação de 3 Classes (Fundo, MILCO, NOMBO):
  • Com dados reais + sintéticos, o Mine-JEPA atingiu F1-score de 0,820.
  • Superou o DINOv3 (0,810) e outros métodos de SSL (SimCLR, VICReg, BYOL).
  • O modelo ViT-Tiny (5,5M parâmetros) obteve 0,814, competindo diretamente com o ViT-S (21,6M parâmetros) e o DINOv3.
• Análise de Inicialização:
  • Inicialização aleatória + SSL: F1 ~0,725.
  • Inicialização ImageNet-1K + SSL: F1 ~0,799.
  • Inicialização DINOv3 + SSL: Queda de desempenho (de 0,810 para ~0,706), confirmando que modelos muito fortes não se beneficiam de adaptação adicional neste domínio específico.

5. Significado e Conclusão

O trabalho demonstra que, para tarefas de visão marítima com escassez de dados, não é necessário escalar para modelos fundamentais massivos pré-treinados em bilhões de imagens naturais.

A chave para o sucesso reside em:

1. Um pipeline de SSL cuidadosamente projetado para o domínio (SIGReg).
2. Aumentação de dados adaptada às estatísticas acústicas do sonar.
3. Uma inicialização equilibrada (ImageNet-1K) que fornece priores visuais básicos sem impor estruturas de representação excessivamente especializadas em imagens RGB.

O Mine-JEPA oferece uma alternativa prática e eficiente para a classificação de minas, permitindo o desenvolvimento de sistemas autônomos mais robustos e com menor dependência de dados rotulados, além de levantar alertas importantes sobre os riscos de adaptar cegamente modelos fundamentais de grande escala para domínios com lacunas de distribuição extremas.