Mine-JEPA: In-Domain Self-Supervised Learning for Mine-Like Object Classification in Side-Scan Sonar

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 수중 기뢰는 함정과 잠수함에게 심각한 위협이므로, 측면 주사 소나 (Side-Scan Sonar, SSS) 를 이용한 기뢰 탐지 및 분류는 해군 작전에서 필수적입니다. 기존에는 훈련된 운영자가 수동으로 분석했으나, 이는 시간과 비용이 많이 들어 자동화 방법이 요구됩니다.
• 핵심 문제:
  1. 데이터 부족: 라벨이 지정된 소나 데이터가 극도로 부족하여 지도 학습 (Supervised Learning) 기반의 딥러닝 모델 적용에 한계가 있습니다.
  2. 도메인 간극 (Domain Gap): 자연 이미지 (Natural Images) 로 사전 학습된 대규모 비전 기반 모델 (Foundation Models, 예: DINOv3 등) 은 소나 이미지의 특성 (음향 하이라이트 - 그림자 구조, 해저 질감 통계 등) 과 근본적으로 다르기 때문에, 이를 직접 적용하거나 도메인 적응을 시도할 때 성능이 저하될 수 있습니다.
  3. 기존 SSL 의 한계: 기존 자기 지도 학습 (SSL) 방법론들은 대규모 데이터셋을 전제로 개발되었으며, 소나와 같은 극소수 데이터 환경에서는 불안정하거나 복잡한 아키텍처 (Teacher-Student 등) 가 필요하다는 문제가 있습니다.

2. 제안 방법론: Mine-JEPA (Methodology)

저자들은 소나 데이터의 극소수 (Unlabeled 1,170 개 이미지) 환경에서도 안정적인 표현 학습이 가능한 Mine-JEPA라는 인-도메인 (In-Domain) 자기 지도 학습 파이프라인을 제안합니다.

• 3 단계 파이프라인:

  1. 데이터 준비: 1,170 개의 SSS 이미지에서 슬라이딩 윈도우를 사용하여 약 15 만 개의 96x96 패치를 추출합니다.
  2. 인-도메인 SSL 사전 학습: 추출된 패치에 대해 SIGReg 손실 함수를 사용하여 사전 학습을 수행합니다.
  3. 프로브 평가 (Probe Evaluation): 사전 학습된 백본에 선형/MLP 헤드를 부착하여 라벨이 있는 패치에 대한 분류 성능을 평가합니다.

• 핵심 기술 요소:

  • SIGReg (Sketched Isotropic Gaussian Regularization): LeJEPA 에서 도입된 정규화 기반 SSL 손실 함수를 사용합니다. 이는 Teacher-Student 아키텍처나 큰 배치 크기, 음의 쌍 (Negative Pairs) 없이도 표현 붕괴 (Representation Collapse) 를 방지하며, 소규모 데이터 환경에서 최적화가 안정적입니다.
  • SSS 특화 증강 (SSS-Adapted Augmentation): 자연 이미지용 증강 (색상 저터, 채도 변화 등) 은 소나 이미지 (가상 색상, 음향 반사) 에 해롭습니다. 따라서 채도/색조 변경을 제거하고, 밝기/대비 조절, 수직 반전, 무작위 회전 (±15°) 등 소나 기하학적 특성에 맞는 증강 전략을 적용합니다.
  • 초기화 전략 (Initialization): 완전 무작위 초기화나 강력한 Foundation Model(DINOv3) 초기화 대신, ImageNet-1K 사전 학습 가중치로 백본을 초기화한 후 도메인 SSL 을 적용합니다. 이는 저수준 시각적 특징 (엣지, 질감) 을 활용하면서도 소나 도메인에 효과적으로 적응할 수 있게 합니다.
  • 데이터 구성 (Data Composition): 실제 소나 데이터 (Real) 와 합성 소나 데이터 (Synthetic, 회색조) 를 혼합하여 학습합니다. 서로 다른 모달리티 (RGB vs Grayscale) 가 존재함에도 SIGReg 가 이러한 이질적인 데이터에서 소나 구조를 효과적으로 흡수함을 확인했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

1. 소규모 데이터에서의 SOTA 성능: 1,170 개의 라벨 없는 소나 이미지만으로 사전 학습한 Mine-JEPA 는 17 억 개의 이미지로 사전 학습된 DINOv3보다 우수한 성능을 기록했습니다.
   • 이진 분류 (기뢰 vs 비기뢰): F1 점수 0.935 (DINOv3: 0.922).
   • 3 클래스 분류 (배경, 기뢰 유사체, 비기뢰 해저 물체): F1 점수 0.820 (DINOv3: 0.810).
2. 강력한 사전 학습 모델의 역설적 저하: 강력한 Foundation Model(DINOv3) 에 도메인 특화 SSL 을 적용하면 오히려 성능이 10~13%p 감소하는 것을 발견했습니다. 이는 소나와 자연 이미지 간의 분포 차이가 클 때, 이미 최적화된 표현이 도메인 적응 과정에서 왜곡될 수 있음을 시사합니다.
3. 경량 모델의 경쟁력: DINOv3 보다 파라미터가 4 배 적은 ViT-Tiny 백본을 사용하여도 경쟁력 있는 성능을 달성했습니다. 이는 AUV(자율 수중 차량) 등 자원 제약이 있는 플랫폼에 매우 실용적입니다.
4. SSL 방법론 비교: 정규화 기반 (SIGReg, VICReg) 방법론이 합성 데이터를 추가했을 때 성능이 향상되는 반면, 대비 학습 (SimCLR) 또는 증류 기반 (BYOL) 방법은 오히려 성능이 저하되거나 미미한 효과만 보였습니다. 이는 소규모 및 이질적 데이터 환경에서는 정규화 기반 SSL 이 더 강건함을 보여줍니다.

4. 실험 결과 (Results)

• 3 클래스 분류 (Table 1 & 3):
  • Mine-JEPA (ViT-S, Real+Syn): 0.820 (Macro-F1)
  • DINOv3 (Fine-tuned): 0.810
  • Mine-JEPA (ViT-Tiny, Real+Syn): 0.814 (파라미터 5.5M, DINOv3 의 21.5M 대비 75% 감소)
• 이진 분류 (Table 3):
  • Mine-JEPA (ViT-S/Tiny): 0.935 (기뢰 회상률 90.9~91.4%, DINOv3 의 88.1% 보다 높음)
• 초기화 및 증강의 중요성 (Table 4):
  • 자연 이미지 증강을 적용하면 성능이 0.312 로 급락 (무학습보다 나쁨).
  • SSS 특화 증강 + IN1K 초기화 + SIGReg 조합이 최적의 성능을 냄.
  • DINOv3 초기화 + SIGReg 적용 시 성능이 0.810 에서 0.706 으로 하락.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 부족 환경의 새로운 패러다임: 해양 소나 이미지와 같이 데이터가 극도로 부족하고 도메인 간극이 큰 분야에서는, 단순히 모델 크기를 키우는 것보다 도메인에 맞춘 자기 지도 학습 (In-Domain SSL) 전략이 더 효과적임을 증명했습니다.
• 실용적 가치: 경량 모델 (ViT-Tiny) 과 간단한 파이프라인을 통해 고성능을 달성함으로써, 실시간 처리가 필요한 AUV 탑재 시스템 등에 적용 가능한 실용적인 솔루션을 제시했습니다.
• 도메인 적응의 주의점: 강력한 Foundation Model 을 무조건 도메인 데이터로 미세 조정 (Fine-tuning) 하거나 SSL 을 적용하는 것이 항상 유리한 것은 아니며, 초기화 전략과 도메인 특화 증강의 조화가 필수적임을 강조했습니다.

요약하자면, Mine-JEPA는 소나 데이터의 특수성을 고려한 증강 전략과 SIGReg 기반의 안정적인 SSL 을 결합하여, 대규모 Foundation Model 보다 적은 데이터와 계산 자원으로 더 우수한 기뢰 분류 성능을 달성한 획기적인 연구입니다.