💻 computer science

Mine-JEPA: In-Domain Self-Supervised Learning for Mine-Like Object Classification in Side-Scan Sonar

本文提出了 Mine-JEPA，首个针对侧扫声呐图像设计的域内自监督学习框架，其仅利用少量无标签数据预训练的小规模模型在雷状目标分类任务中超越了在海量自然图像上预训练的大规模基础模型（如 DINOv3），证明了在数据稀缺的声呐领域，精心设计的域内自监督学习是替代超大规模基础模型的有效方案。

原作者： Taeyoun Kwon, Youngwon Choi, Hyeonyu Kim, Myeongkyun Cho, Junhyeok Choi, Moon Hwan Kim

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Taeyoun Kwon, Youngwon Choi, Hyeonyu Kim, Myeongkyun Cho, Junhyeok Choi, Moon Hwan Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一项名为 Mine-JEPA 的新技术，它就像是为水下“寻宝”（寻找水雷）专门定制的一套超级训练法。

为了让你更容易理解，我们可以把这项技术想象成在教一个侦探如何在水下复杂的“迷雾”中识别坏人（水雷）。

1. 背景：为什么这很难？

想象一下，你让一个在阳光明媚的公园里长大的侦探（普通的 AI 模型，比如 DINOv3），突然把他扔进漆黑、充满回声的水下世界去抓水雷。

公园（自然图像）： 有鲜艳的颜色、清晰的轮廓、花草树木。
水下（侧扫声纳图像）： 没有颜色（只有黑白灰的“回声”），全是奇怪的亮斑和阴影，看起来像是一团乱麻。

以前的做法是：

硬教： 给侦探看几百张标注好的水雷照片（ supervised learning）。但问题是，水雷照片太少了，就像只给侦探看几本连环画，他根本学不会。
大模型硬套： 用那个在公园长大的超级侦探（DINOv3，看过 17 亿张图片），直接让他去水下抓人。结果发现，他虽然见过大世面，但在水下这种“极端环境”里，他的经验反而成了累赘，甚至越教越糊涂。

2. Mine-JEPA 的解决方案：量身定制的“特训营”

作者没有选择让侦探去读更多的书，而是给他建了一个专门针对水下环境的特训营。这个特训营有三个绝招：

绝招一：只练“核心直觉”，不练“花架子” (SIGReg 算法)

普通的训练方法需要大量的数据和复杂的“师徒”结构（老师教学生）。但在数据极少（只有 1170 张图）的情况下，这就像让一个只有几个学生的班级搞“大班教学”，容易乱套。

Mine-JEPA 的做法： 它使用了一种叫 SIGReg 的简单算法。这就好比告诉侦探：“你不需要记住每一张图的具体样子，你只需要学会抓住事物的‘骨架’和‘纹理’（比如亮斑和阴影的规律），并且保持你的判断标准不要跑偏。”
效果： 这种方法在数据很少的时候特别稳，不容易“走火入魔”。

绝招二：换一套“水下眼镜” (SSS 适配的数据增强)

普通的 AI 训练时，会给图片加各种滤镜：变红、变绿、旋转、变灰。这对公园里的照片很有效，但对水下声纳图是灾难。

比喻： 就像给一个在黑暗中靠回声定位的人戴上一副“彩色墨镜”，他反而什么都看不见了。
Mine-JEPA 的做法： 它把那些花哨的颜色滤镜全扔了，只保留对水下最有用的操作：比如上下翻转（因为声纳扫描方向可能不同）、调整亮度对比度（模拟回声强弱）。
结果： 侦探终于戴上了适合水下的“夜视仪”，能看清真正的目标了。

绝招三：聪明的“起步姿势” (初始化策略)

这是文章最反直觉的发现：

误区： 大家都觉得，用那个见过 17 亿张图片的超级侦探（DINOv3）做底子，再教他水下知识，肯定更强。
现实： 结果发现，越强的底子，反而越难适应。因为他在公园学的“颜色”和“纹理”太根深蒂固了，强行教他水下知识，反而把他原本强大的能力给搞坏了（性能下降了 10-13%）。
正确姿势： 作者选择了一个中等水平的侦探（ImageNet 预训练模型），他虽然没看过 17 亿张图，但基础扎实（认识边缘、纹理），而且脑子还没被“公园经验”完全固化。在这个基础上进行水下特训，效果最好。

3. 惊人的成果

以小博大： Mine-JEPA 只用了 1,170 张 未标注的声纳图进行训练，却打败了那个看过 17 亿张 图片的超级模型（DINOv3）。
更轻更快： 它用的模型非常小（只有大模型的 1/4 大小），就像让一个轻装简行的特种兵去执行任务，而不是让一个全副武装的坦克去钻下水道。这对于安装在小型水下机器人（AUV）上非常重要，因为机器人带不动太重的电脑。
真假混练： 他们甚至把“真实声纳图”和“电脑生成的假声纳图”混在一起练，发现只要方法对，侦探也能从假图中学到真本事。

4. 总结：这告诉我们什么？

这篇文章告诉我们一个深刻的道理：在特殊领域（如水下、医疗），并不是“模型越大越好”，也不是“预训练数据越多越好”。

大模型（DINOv3） 就像是一个博学的教授，但在完全陌生的领域，他的固有经验可能会阻碍他学习新东西。
Mine-JEPA 就像是一个聪明的学徒，虽然起点不高，但老师（算法）给他配了最合适的教材（数据增强） 和 最合适的起步姿势（初始化），让他能在极少的数据下，迅速成为该领域的专家。

一句话总结：
在水下找水雷，与其请一个见过大世面但水土不服的“超级专家”，不如培养一个懂行规、装备对路、且能灵活适应的“本地向导”，效果反而更好。

1. 研究背景与问题 (Problem)

核心挑战：
侧扫声纳（Side-Scan Sonar, SSS）水雷分类是海洋视觉领域的一个极具挑战性的任务，主要面临以下两大难题：

数据极度稀缺： 标注的声纳数据非常少，而现有的自监督学习（SSL）和通用视觉基础模型（Foundation Models）通常依赖于大规模数据集（如数十亿张图像）进行预训练。
巨大的域差距（Domain Gap）： 现有的视觉模型主要在自然图像（RGB）上训练，而声纳图像是基于声学回波生成的，具有独特的“高亮 - 阴影”结构和海底纹理统计特性，与自然图像存在本质差异。

现有局限：

传统的监督学习方法严重依赖稀缺的标注数据。
直接将大规模预训练的自然图像模型（如 DINOv3）迁移到声纳领域，往往效果不佳，因为域偏移过大。
针对声纳领域的域内自监督学习（In-Domain SSL） 研究几乎空白。

研究目标：
在仅有少量无标签声纳图像（1,170 张）的情况下，构建一个高效的域内自监督学习流程，用于水雷及类水雷物体的分类，并探索其是否能超越在大规模自然图像上预训练的基础模型。

2. 方法论 (Methodology)

作者提出了 Mine-JEPA，这是首个专门针对侧扫声纳水雷分类的域内自监督学习流程。该流程包含三个主要阶段：

2.1 整体流程 (Pipeline)

数据准备 (Stage 1)： 从 1,170 张无标签声纳图像中，使用滑动窗口提取约 15.3 万个 $96 \times 96$ 的无标签图像块（Patches）。
域内 SSL 预训练 (Stage 2)： 使用 SIGReg 损失函数对 Vision Transformer (ViT) 骨干网络进行自监督预训练。
探针评估 (Stage 3)： 在预训练骨干网络上附加轻量级分类头（Linear/MLP），在冻结或微调模式下评估下游分类任务性能。

2.2 核心算法：SIGReg

Mine-JEPA 基于 LeJEPA 框架，采用 SIGReg (Sketched Isotropic Gaussian Regularization) 作为核心损失函数。

优势： 不需要复杂的“教师 - 学生”架构（Teacher-Student）、动量编码器（Momentum Encoder）或负样本对（Negative Pairs）。
机制： 结合不变性损失（Invariance Loss）和正则化损失。
- 不变性： 迫使同一图像块的不同增强视图收敛到相似的表示。
- SIGReg 正则化： 通过随机切片计算 Epps-Pulley 风格的拟合优度统计量，将整体嵌入分布正则化为标准正态分布，防止表示坍塌（Representation Collapse）。
设计细节： 使用极低的投影维度（ $d=16$ ）作为结构瓶颈，在小数据 regime 下有效防止过拟合，并简化优化过程。

2.3 针对声纳的适配策略 (SSS-Adapted Adaptations)

为了弥合自然图像 SSL 与声纳图像之间的差距，作者进行了三项关键适配：

声纳适配的数据增强 (SSS-Adapted Augmentation)：
- 剔除： 移除对声纳无效甚至有害的增强（如色相/饱和度抖动、随机日光化、灰度转换），因为声纳图像主要是强度信息，色彩信息极少。
- 保留/新增： 仅保留亮度/对比度抖动，并增加垂直翻转和随机旋转（ $\pm 15^\circ$ ）以反映声纳扫描几何的方向不变性。
初始化策略 (Initialization)：
- 使用 ImageNet-1K (IN1K) 预训练权重初始化 ViT 骨干网络，而非从头训练或使用更强的基础模型（如 DINOv3）。
- 发现： 在强基础模型（DINOv3）上继续做域内 SSL 会导致性能下降（表示退化），而 IN1K 初始化提供了良好的底层视觉先验，同时保留了足够的灵活性以适应声纳域。
数据组成 (Data Composition)：
- 引入 Real+Syn 设置：在真实声纳数据基础上，混合约 25.6 万张合成声纳图像块（共约 40.9 万块）。
- 尽管真实数据（RGB 格式）和合成数据（灰度格式）存在模态差异，但实验表明这种异构数据混合能进一步提升表示质量。

3. 主要贡献 (Key Contributions)

首个声纳域内 SSL 流程： 提出了 Mine-JEPA，证明了在仅有 1,170 张无标签声纳图像的情况下，通过精心设计的域内 SSL 可以取得优异性能。
超越大规模基础模型： 在二分类（水雷 vs 非水雷）任务中，Mine-JEPA 的 F1 分数达到 0.935，超过了在 17 亿张图像上预训练的 DINOv3（0.922）。在三分类任务中同样优于 DINOv3。
揭示“更强模型不一定更好”的规律： 发现将域内 SSL 直接应用于强预训练模型（如 DINOv3）会导致性能显著下降（下降 10-13 个百分点），表明在数据稀缺且域偏移大的场景下，中等预训练程度的初始化（IN1K）比强基础模型更适合作为域适应的起点。
轻量化与高效性： 使用 ViT-Tiny 骨干网络（参数量仅为 DINOv3 的 1/4）即可达到具有竞争力的性能，适合部署在资源受限的自主水下航行器（AUV）上。
异构数据利用： 证明了正则化类的 SSL 方法（如 SIGReg）能有效利用异构的合成数据，而对比学习（SimCLR）或蒸馏学习（BYOL）在混合数据下表现不佳。

4. 实验结果 (Results)

实验基于 Santos 等人发布的公开声纳数据集（1,170 张图像）。

三分类任务 (BG / MILCO / NOMBO)：
- Mine-JEPA (ViT-S, Real+Syn): Macro-F1 = 0.820 (最佳)。
- DINOv3 (Fine-tuned): Macro-F1 = 0.810。
- Mine-JEPA (ViT-Tiny): Macro-F1 = 0.814，参数量仅 5.5M (DINOv3 为 21.5M)。
- 对比其他 SSL 方法： 在 Real+Syn 设置下，SIGReg (0.820) > VICReg (0.800) > SimCLR (0.801) > BYOL (0.693)。BYOL 在混合数据下性能大幅下降。
二分类任务 (水雷 vs 非水雷)：
- Mine-JEPA: F1 = 0.935，MILCO 召回率高达 90.9-91.4%。
- DINOv3: F1 = 0.922。
- Mine-JEPA 在减少漏检（Missed Mines）方面表现更好。
消融实验关键发现：
- 初始化影响： 在 DINOv3 上应用域内 SSL 导致性能从 0.810 降至 0.706；而在 IN1K 上应用则带来累积增益。
- 增强策略影响： 使用自然图像增强策略（如色相抖动）会导致性能暴跌至 0.312（甚至不如无预训练），而使用声纳适配增强可提升至 0.725。

5. 意义与结论 (Significance & Conclusion)

数据稀缺场景的新范式： 论文证明了在数据极度稀缺的 maritime sonar 领域，“精心设计的域内自监督学习”比“盲目追求更大的基础模型”更有效。
工程实用性： Mine-JEPA 结合轻量化骨干网络（ViT-Tiny）和简单的正则化损失，为资源受限的水下平台（如 AUV）提供了可行的实时分类方案，减少了对事后人工分析的依赖。
理论启示： 研究揭示了在强分布偏移（Distribution Shift）下，过度特化的强预训练模型可能难以适应新的小样本领域，而中等预训练模型配合正确的域适配策略（增强、初始化、损失函数）是更优解。
未来方向： 该方法可进一步扩展到滑动窗口检测、合成孔径声纳（SAS）和前视声纳（FLS）等其他模态。

总结： Mine-JEPA 通过 SIGReg 损失、声纳适配的数据增强以及合理的初始化策略，成功解决了声纳水雷分类中的数据稀缺和域偏移问题，不仅超越了现有的大规模基础模型，还为小数据、高域偏移的视觉任务提供了重要的方法论参考。