Mine-JEPA: In-Domain Self-Supervised Learning for Mine-Like Object Classification in Side-Scan Sonar

1. Planteamiento del Problema

La clasificación de minas marinas utilizando sonar de barrido lateral (SSS) es un desafío crítico en la visión por computadora submarina. El problema se caracteriza por dos obstáculos principales:

• Escasez extrema de datos: A diferencia de las imágenes naturales, existen muy pocos datos de sonar etiquetados disponibles para el entrenamiento supervisado.
• Brecha de dominio significativa: Los modelos de visión preentrenados en grandes conjuntos de datos de imágenes naturales (como ImageNet) no se transfieren bien al dominio del sonar. Las imágenes de sonar se basan en estructuras de "resalte-sombra" y estadísticas de retrodispersión acústica, que difieren fundamentalmente de la información cromática y de textura de las imágenes RGB.

El objetivo del trabajo es desarrollar un pipeline de Aprendizaje Auto-supervisado (SSL) específico del dominio que permita entrenar modelos efectivos utilizando únicamente 1.170 imágenes de sonar sin etiquetar, superando a los grandes modelos fundacionales preentrenados en miles de millones de imágenes naturales.

2. Metodología: Mine-JEPA

Los autores proponen Mine-JEPA, un pipeline de tres etapas diseñado para la clasificación de objetos similares a minas en imágenes de sonar:

A. Preparación de Datos y Arquitectura

• Extracción de parches: Se extraen aproximadamente 153.000 parches no etiquetados de 96x96 píxeles de las 1.170 imágenes de sonar originales.
• Backbone: Se utiliza una arquitectura Vision Transformer (ViT), específicamente variantes ligeras como ViT-Tiny y ViT-S.
• Inicialización: En lugar de entrenar desde cero o usar modelos fundacionales masivos, se inicializa el backbone con pesos preentrenados en ImageNet-1K. Esto proporciona priors visuales de bajo nivel (bordes, texturas) sin la rigidez de modelos ya adaptados a imágenes naturales complejas.

B. Pre-entrenamiento SSL con SIGReg

El núcleo del método es el uso de SIGReg (Sketched Isotropic Gaussian Regularization), una función de pérdida basada en regularización introducida en el marco LeJEPA.

• Objetivo: Combina un término de invarianza (que hace que las vistas aumentadas de un mismo parche converjan a la misma representación) y un término de regularización SIGReg.
• Ventaja en datos escasos: SIGReg evita el colapso de representaciones sin necesidad de pares negativos, arquitecturas maestro-alumno (teacher-student), o grandes tamaños de lote, lo que lo hace ideal para el régimen de "muy pocos datos" del sonar.
• Proyección compacta: Se utiliza una dimensión de proyección muy baja ($d=16$) para actuar como un cuello de botella estructural que previene el sobreajuste.

C. Adaptación Específica del Dominio (SSS-Adapted)

Para cerrar la brecha entre imágenes naturales y sonar, se implementan adaptaciones críticas:

• Aumento de datos (Augmentation): Se eliminan transformaciones dañinas para el sonar (como cambios de saturación, matiz o conversión a escala de grises aleatoria). Se priorizan transformaciones geométricas relevantes (volteo vertical, rotación aleatoria) y ajustes de brillo/contraste, respetando la geometría de barrido acústico.
• Composición de datos (Real + Syn): Se explora la mezcla de datos reales con aproximadamente 256.000 parches de sonar sintéticos. A pesar de la heterogeneidad (RGB real vs. escala de grises sintético), el modelo logra absorber la estructura del sonar.

3. Contribuciones Clave

1. Primer pipeline SSL específico para SSS: Presentan la primera estrategia de pre-entrenamiento auto-supervisado in-domain para la clasificación de minas en sonar.
2. Superación de Modelos Fundacionales: Demuestran que un modelo preentrenado solo con 1.170 imágenes de sonar (Mine-JEPA) supera a DINOv3 (preentrenado con 1.7 mil millones de imágenes naturales) en tareas de clasificación de minas.
3. Hallazgo sobre la Adaptación de Modelos Fuertes: Revelan que aplicar SSL in-domain a modelos fundacionales fuertes (como DINOv3) degrada el rendimiento (una caída de 10-13 puntos porcentuales), sugiriendo que las representaciones muy especializadas en imágenes naturales son difíciles de adaptar a dominios con datos escasos y estadísticas muy diferentes.
4. Eficiencia Computacional: Logran un rendimiento competitivo utilizando ViT-Tiny, que tiene 4 veces menos parámetros que DINOv3, lo cual es crucial para plataformas con recursos limitados como Vehículos Submarinos Autónomos (AUV).

4. Resultados Experimentales

Los experimentos se realizaron en un conjunto de datos público con 1.170 imágenes, evaluando tanto la clasificación binaria (mina vs. no mina) como la de 3 clases (fondo, contacto similar a mina, objeto de fondo no mina).

• Clasificación Binaria: Mine-JEPA alcanzó un F1-score de 0.935, superando a DINOv3 (0.922) y mostrando una mayor sensibilidad (recall) para detectar minas (90.9% vs 88.1%).
• Clasificación de 3 Clases: Con aumento de datos sintéticos, Mine-JEPA alcanzó un F1 macro de 0.820, superando a DINOv3 (0.810) y a otros métodos SSL como SimCLR y VICReg.
• Análisis de Inicialización:
  • Inicialización con ImageNet-1K + SIGReg: Rendimiento óptimo.
  • Inicialización con DINOv3 + SIGReg: Rendimiento degradado (0.706 vs 0.810 original), confirmando que la adaptación forzada en dominios muy distintos puede ser contraproducente.
• Robustez ante Datos Sintéticos: Los métodos basados en regularización (SIGReg, VICReg) mejoraron con datos sintéticos, mientras que los métodos contrastivos (SimCLR) y de destilación (BYOL) sufrieron degradación.

5. Significado e Impacto

El trabajo de Mine-JEPA tiene implicaciones importantes para la visión submarina y el aprendizaje automático en general:

• Paradigma de "Menos es Más": Sugiere que en dominios con datos escasos y alta brecha de distribución, no es necesario (ni siempre beneficioso) utilizar los modelos fundacionales más grandes. Un diseño cuidadoso del SSL in-domain es una alternativa viable y superior.
• Viabilidad Operativa: La capacidad de usar modelos ligeros (ViT-Tiny) con alto rendimiento permite la implementación de clasificación de minas en tiempo real a bordo de AUVs, reduciendo la dependencia del análisis posterior a la misión.
• Lección sobre Adaptación de Dominio: Proporciona evidencia empírica de que la adaptación de modelos fundacionales no es una solución universal; en algunos casos, una inicialización moderada (ImageNet) combinada con un pre-entrenamiento específico del dominio es más efectiva que intentar adaptar un modelo ya "demasiado especializado".

En conclusión, Mine-JEPA demuestra que una estrategia de pre-entrenamiento auto-supervisado bien diseñada, que combine regularización SIGReg, aumentos de datos adaptados al sonar y una inicialización adecuada, puede superar a los modelos de visión más grandes del estado del arte en tareas críticas de seguridad marítima.