Mine-JEPA: In-Domain Self-Supervised Learning for Mine-Like Object Classification in Side-Scan Sonar

Probleemstelling

De classificatie van zeebodemmijnen met behulp van zijkant-scansonar (Side-Scan Sonar, SSS) is een uitdagend probleem in de maritieme computervisie. De belangrijkste obstakels zijn:

1. Extreme data-schaarste: Er is een gebrek aan gelabelde sonar-gegevens, wat traditionele toezichtlering (supervised learning) beperkt.
2. Groot domeinverschil: Bestaande vision foundation modellen (zoals DINOv3) zijn getraind op natuurlijke RGB-afbeeldingen. SSS-afbeeldingen zijn echter akoestische beelden met kenmerken zoals "highlight-shadow" structuren en bodemtexturen, wat fundamenteel verschilt van natuurlijke beelden.
3. Gebrek aan domeinspecifieke SSL: Hoewel zelftoezichtlering (Self-Supervised Learning, SSL) succesvol is in andere domeinen (zoals medische beeldvorming), is dit in de SSS-mijnklassificatie nog nauwelijks onderzocht. Bestaande methoden zijn vaak te complex of instabiel voor kleine datasets.

Methodologie: Mine-JEPA

De auteurs presenteren Mine-JEPA, de eerste in-domein SSL-pijplijn specifiek ontworpen voor SSS-mijnklassificatie. De aanpak bestaat uit drie fasen:

1. Data Voorbereiding:

   • Uit 1.170 ongelabelde SSS-beelden worden ongeveer 153.000 patches van 96x96 pixels geëxtraheerd.
   • In een "Real+Syn" setting worden ook ongeveer 256.000 synthetische sonar-patches toegevoegd (totaal ~409k patches), ondanks dat deze een modale kloof hebben (echt is RGB, synthetisch is grijs).

2. In-Domein SSL Pre-training:

   • Architectuur: Een Vision Transformer (ViT) backbone, geïnitieerd met ImageNet-1K vooraf getrainde gewichten (niet willekeurig, en niet met zware foundation modellen zoals DINOv3).
   • Verliesfunctie (SIGReg): In plaats van complexe teacher-student architecturen (zoals bij BYOL of DINO) wordt gebruikgemaakt van SIGReg (Sketched Isotropic Gaussian Regularization) uit het LeJEPA-framework.
     • Dit verlies combineert een invariantie-term (gelijksoortige augmentaties moeten dezelfde representatie hebben) en een regularisatie-term (de verdeling van embeddings moet een standaardnormale verdeling benaderen).
     • Het vereist geen negatieve paren, momentum-encoders of grote batchgroottes, wat het zeer stabiel maakt voor kleine datasets.
   • Domein-aanpassingen:
     • Augmentatie: Standaard RGB-augmentaties (kleurverandering, solarisatie) worden verwijderd omdat sonar-beelden geen kleurinformatie bevatten. In plaats daarvan worden verticale flips, rotaties (±15°) en helderheids/contrast-aanpassingen gebruikt om de akoestische geometrie te respecteren.
     • Projectie: Er wordt een zeer lage projectiedimensie ($d=16$) gebruikt als structurele bottleneck om overfitting te voorkomen.

3. Evaluatie (Probe):

   • De vooraf getrainde backbone wordt geëvalueerd met een lichte classificatielaag (lineair of MLP) op gelabelde patches, zowel in "frozen" (alleen hoofd getraind) als "fine-tuned" modus.

Belangrijkste Bijdragen

1. Eerste In-Domein SSL voor SSS: Mine-JEPA is de eerste methode die succesvol SSL toepast op een zeer kleine, ongelabelde SSS-dataset (1.170 beelden) zonder afhankelijk te zijn van enorme foundation modellen.
2. Inzicht in Initialisatie: Het paper toont aan dat het toepassen van in-domein SSL op sterke foundation modellen (zoals DINOv3) de prestaties juist verslechtert (met 10-13 procentpunten). Een "gematigde" initialisatie (ImageNet-1K) werkt beter dan een te gespecialiseerde foundation model voor deze specifieke domeinadaptatie.
3. Efficiëntie: Mine-JEPA presteert competitief met een compacte ViT-Tiny backbone, die 4 keer minder parameters heeft dan DINOv3, wat ideaal is voor bronnenbeperkte platforms zoals autonome onderwatervoertuigen (AUV's).
4. Omgaan met Heterogene Data: De methode toont aan dat het combineren van echte en synthetische sonar-data (Real+Syn) prestaties verbetert, mits de juiste SSL-doelstelling (SIGReg) wordt gebruikt die robust is tegen modale verschillen.

Resultaten

De resultaten tonen aan dat Mine-JEPA, getraind op slechts 1.170 ongelabelde beelden, superieur presteert aan modellen die zijn getraind op miljarden natuurlijke beelden:

• Binair (Mijn vs. Niet-Mijn):
  • Mine-JEPA (ViT-Tiny): F1-score 0.935
  • Fine-tuned DINOv3 (1.7B beelden): F1-score 0.922
• 3-Klassen (Achtergrond, Mijn-achtig, Niet-Mijn Object):
  • Mine-JEPA (met Real+Syn data): Macro-F1 0.820
  • Fine-tuned DINOv3: Macro-F1 0.810
• Stabiliteit: Mine-JEPA toont een lagere variantie en betere recall voor de moeilijkste klasse (NOMBO) vergeleken met DINOv3.
• Ablatie-studies:
  • Het gebruik van natuurlijke augmentaties op sonar-data leidt tot een instorting van de prestaties (F1 daalt van 0.557 naar 0.312).
  • Het toepassen van SIGReg op DINOv3 resulteert in een daling van 10,4% tot 13,3% in prestatie, wat bevestigt dat sterke foundation modellen niet altijd baat hebben bij extra domeinadaptatie.

Betekenis en Conclusie

Het paper concludeert dat voor data-schaarste scenario's in de maritieme sonar, de schaal van het model niet de belangrijkste factor is. In plaats daarvan is een zorgvuldig ontworpen in-domein zelftoezichtlering (SIGReg + domein-specifieke augmentatie + ImageNet-initialisatie) een haalbaar en effectief alternatief voor veel grotere foundation modellen.

De bevindingen waarschuwen tegen het naïef toepassen van SSL op bestaande sterke foundation modellen bij grote domeinverschillen, aangezien dit de representatiekwaliteit kan verslechteren. Mine-JEPA biedt een praktische route voor het ontwikkelen van robuuste detectiesystemen voor mijnen, zelfs met zeer beperkte gelabelde data, en is direct toepasbaar op resource-constrained hardware.