Mine-JEPA: In-Domain Self-Supervised Learning for Mine-Like Object Classification in Side-Scan Sonar

1. Il Problema

La classificazione delle mine sottomarine tramite sonar a scansione laterale (SSS, Side-Scan Sonar) rappresenta una sfida critica per le operazioni navali, ma è ostacolata da due fattori principali:

• Estrema scarsità di dati etichettati: Ottenere dati sonar annotati è costoso e laborioso.
• Grande divario di dominio (Domain Gap): I modelli di visione artificiale pre-addestrati su immagini naturali (RGB) non si trasferiscono efficacemente sulle immagini sonar. Le immagini sonar sono basate su strutture acustiche (evidenze e ombre) e statistiche di texture del fondale marino, che differiscono fondamentalmente dalle immagini naturali.

Le strategie attuali si basano spesso sull'apprendimento supervisionato o sul transfer learning da modelli fondazione generici (come DINOv3), ma questi approcci non hanno sfruttato appieno l'apprendimento auto-supervisionato (SSL) specifico per il dominio sonar, specialmente in regimi di dati molto limitati.

2. Metodologia: Mine-JEPA

Gli autori propongono Mine-JEPA, la prima pipeline di apprendimento auto-supervisionato in-domain specifica per la classificazione delle mine SSS. La metodologia si articola in tre fasi principali:

A. Pipeline a Tre Stadi

1. Preparazione dei Dati: Estrazione di circa 153.000 patch non etichettate (96x96 pixel) da 1.170 immagini sonar reali. Viene anche considerata una configurazione "Real+Syn" che include 256.000 patch sonar sintetiche.
2. Pre-addestramento SSL In-Domain: Utilizzo di un backbone Vision Transformer (ViT) pre-addestrato con la funzione di perdita SIGReg (Sketched Isotropic Gaussian Regularization), parte del framework LeJEPA.
3. Valutazione (Probe): Aggiunta di un classificatore leggero (lineare o MLP) sulla parte superiore del backbone pre-addestrato per valutare le prestazioni su patch etichettate (sfondo, contatto simile a una mina, oggetto non-mina).

B. Componenti Chiave e Adattamenti

• Loss SIGReg: A differenza dei metodi SSL complessi che richiedono architetture "teacher-student" o grandi batch, SIGReg utilizza una regolarizzazione basata sulla distribuzione per prevenire il collasso delle rappresentazioni. È particolarmente stabile in scenari con pochi dati.
  • Design innovativo: Viene utilizzata una proiezione a dimensionalità molto bassa (d=16) come collo di bottiglia strutturale per ridurre l'overfitting.
• Augmentation Adattata al Sonar (SSS-Adapted): Le tecniche standard di augmentation per immagini RGB (jitter di colore, saturazione, solarizzazione) sono dannose per il sonar. Gli autori hanno creato una strategia specifica:
  • Rimozione di variazioni di colore (saturazione/tinta).
  • Mantenimento di variazioni di luminosità e contrasto.
  • Aggiunta di flip verticale e rotazione casuale (±15°) per riflettere le invarianti geometriche della scansione sonar.
• Strategia di Inizializzazione: Invece di addestrare da zero o usare direttamente modelli fondazione pesanti, il backbone ViT viene inizializzato con pesi pre-addestrati su ImageNet-1K. Questo fornisce prior visivi di basso livello (bordi, texture) che vengono poi adattati al dominio sonar tramite SIGReg.
• Composizione dei Dati: L'approccio dimostra efficacia anche mescolando dati reali e sintetici (eterogenei per modalità, RGB vs Grayscale), suggerendo che l'SSL può assorbire strutture simili al sonar anche con un divario di modalità moderato.

3. Contributi Chiave

1. Prima pipeline SSL in-domain per SSS: Dimostrazione che l'addestramento auto-supervisionato specifico per il dominio è superiore al semplice fine-tuning di modelli fondazione generici in contesti di scarsità di dati.
2. Scoperta del "Degrado del Modello Fondazione": Gli autori osservano che applicare ulteriore SSL in-domain a modelli fondazione molto potenti (come DINOv3, pre-addestrati su 1.7 miliardi di immagini) peggiora le prestazioni (calo del 10-13%). Questo indica che rappresentazioni troppo specializzate su dati naturali non sono sempre adattabili a domini con distribuzione molto diversa e dati limitati.
3. Efficienza Computazionale: Mine-JEPA con un backbone ViT-Tiny (5.5M parametri) supera o eguaglia DINOv3 (21.5M parametri), utilizzando 4 volte meno parametri. Questo lo rende ideale per piattaforme con risorse limitate come i veicoli subacquei autonomi (AUV).

4. Risultati Sperimentali

Il modello è stato valutato su un dataset pubblico con 1.170 immagini (304 contenenti oggetti annotati).

• Classificazione Binaria (Mina vs Non-Mina):
  • Mine-JEPA: F1 Score di 0.935.
  • DINOv3 (Fine-tuned): F1 Score di 0.922.
  • Mine-JEPA mostra anche un richiamo (recall) per le mine più alto (90.9-91.4% vs 88.1%).
• Classificazione a 3 Classi (Sfondo, MILCO, NOMBO):
  • Mine-JEPA (con dati Real+Syn): F1 Macro di 0.820.
  • DINOv3 (Fine-tuned): F1 Macro di 0.810.
  • Mine-JEPA supera DINOv3 anche sulla classe più difficile (NOMBO), con una varianza inferiore, indicando maggiore stabilità.
• Confronto con altri metodi SSL:
  • Metodi basati su regolarizzazione (SIGReg, VICReg) beneficiano dei dati sintetici aggiuntivi.
  • Metodi contrastivi (SimCLR) o di distillazione (BYOL) mostrano stabilità inferiore o peggioramento con dati sintetici eterogenei.

5. Significato e Implicazioni

Il lavoro di Mine-JEPA ribalta la convinzione comune secondo cui per compiti di visione complessi in domini di nicchia siano necessari modelli fondazione sempre più grandi e pre-addestrati su dataset massicci.

• Strategia Pratica: In scenari di dati scarsi e con un forte divario di dominio (come il sonar marino), una strategia di pre-addestramento auto-supervisionato in-domain, combinata con augmentation specifica e un'inizializzazione moderata (ImageNet-1K), è più efficace dell'adattamento di modelli fondazione su larga scala.
• Efficienza: La capacità di ottenere prestazioni di stato dell'arte con modelli leggeri (ViT-Tiny) apre la strada all'implementazione di sistemi di classificazione delle mine direttamente a bordo degli AUV, riducendo la dipendenza dall'analisi post-missione.
• Avvertenza sui Modelli Fondazione: Il paper mette in guardia contro l'applicazione ingenua di tecniche di adattamento del dominio su modelli fondazione già molto specializzati, che possono subire una distorsione delle rappresentazioni quando il target è un dominio piccolo e statisticamente distante.

In sintesi, Mine-JEPA dimostra che un design attento e specifico per il dominio è spesso superiore alla semplice scalabilità dei modelli nel contesto della visione sottomarina.