📊 statistics

SiamJEPA: On the Role of Siamese Student Encoders in JEPA

本文介绍了 SiamJEPA，这是一种在联合嵌入预测架构（JEPA）中采用孪生学生编码器的自监督学习框架，旨在证明这种受大脑启发的设计能够作为一种有效的正则化器，在提高表示可分性和训练效率的同时，超越单编码器 JEPA 变体和掩码自编码器（Masked Autoencoders）。

原作者： Makoto Yamada

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Makoto Yamada

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人理解世界，但既不给它教科书，也不给它一个用来批改作业的老师。这就是自监督学习的世界——这是人工智能的一个分支，计算机通过利用自己的数据“玩游戏”来学习。与其告诉它“这是一只猫”，不如给它看一张部分被遮挡的猫的照片，并让它猜猜缺失的部分是什么。如果它猜对了，它就学到了新知识。长期以来，实现这一目标的最佳方式是让机器人尝试重新绘制缺失的像素，就像一个孩子试图完成涂色书一样。但一种被称为 JEPA（联合嵌入预测架构）的更新、更聪明的想法出现了。JEPA 不再试图重画图像中杂乱的细节，而是要求机器人用一种计算机能理解的秘密、抽象语言来预测缺失部分的“含义”。这就像是从几帧画面中猜测电影的剧情，而不是试图完美地重画每一帧画面。

现在，这里有一个大问题：我们如何确保机器人不会直接放弃并说“一切都一样”（这个问题被称为“崩溃”）？通常，研究人员使用单个“学生”大脑来进行这些预测。但一篇新的论文提出了一个问题：如果我们给机器人两个协同工作的学生大脑，就像一对必须对答案达成一致的双胞胎一样，会怎样？这篇题为《SiamJEPA》的论文正是对此进行了探索。它测试了使用两个学生编码器（即“孪生”设置）观察同一张图像略微不同版本的方式，是否比单脑方法能让机器人学得更好、更快、更高效。

双生大脑实验

由山田真（Makoto Yamada）领导的研究人员决定构建一种名为 SiamJEPA 的新模型。为了理解它的工作原理，请想象两个学生，亚历克斯（Alex）和乔丹（Jordan），正坐在教室里。老师（一个“EMA 教师网络”）向他们展示了一张狗的照片，但在上面用一个黑盒子遮住了一大块。

在旧的方法（单编码器 JEPA）中，只有亚历克斯试图猜出盒子下面是什么。在 SiamJEPA 中，亚历克斯和乔丹都会看到这张照片，但老师为他们每个人遮盖了不同的部分。亚历克斯看到的狗耳朵被遮住了，而乔丹看到的尾巴被遮住了。他们都必须根据所见内容来猜测隐藏的部分。但转折点在于：他们还必须确保他们对整个画面的理解与彼此是一致的。如果亚历ks认为这只狗很开心，而乔丹认为它很愤怒，他们就必须进行沟通并统一理解。

研究发现，这种“双生”设置就像是一个超级教练。通过迫使两个学生大脑达成一致并填补彼此的空白，该模型能够更好地分离不同的概念。这就像两个侦探共同破解谜团；他们能捕捉到单个侦探可能会错过的细节，也不会被误导信息所迷惑。

数据说明了什么

研究人员在名为 ImageNet 的大规模数据集上进行了测试，该数据集包含数百万张图像。他们将这种新的双脑模型与标准的单脑模型以及旧的“重画图像”模型（如 MAE）进行了对比。

结果非常令人鼓舞。SiamJEPA 模型在 400 个训练轮次（一个训练周期）内就学会了以高准确度识别物体。相比之下，旧的“重画”模型需要 1,600 个轮次才能达到类似的技能水平。这意味着双脑模型的学习速度不到前者的四分之一！即使与其他现代方法相比，SiamJEPA 也显示出它能更快地（尤其是在训练早期阶段）很好地完成任务。

论文还调节了一个被称为 KL 正则化权重的“旋钮”（具体测试了 0.01 和 0.03 等值）。这个旋钮控制着两个学生大脑必须达成一致的严格程度。研究人员发现，调高这个旋钮（让它们更趋于一致）有助于模型学习得更快、表现得更好。然而，他们也指出，如果调得过高，模型可能会陷入停滞或变慢，这表明在“双胞胎”应该达成多少共识方面存在一个“金中则吉”（Goldilocks）的平衡区间。

它没有做到的事（以及它并未声称的事）

需要注意的是，本文并非在表达以下内容。作者谨慎地声明，他们并不声称已经构建了世界上绝对最好的模型。事实上，他们承认由于训练轮次较少（400 轮对比 600 轮），他们的模型在最终得分上并未超越现有的最顶尖 JEPA 模型（如 I-JEPA）。他们明确表示，通过更多的微调和更长的训练时间，结果可能会变得更好。

他们也没有声称这适用于每一种情况。他们的实验是在图像上进行的。虽然他们提到类似的双脑想法在视频领域也表现良好，但尚未证明这种特定的 SiamJEPA 设置在视频或像 ViT-Huge 这样更大的复杂模型中能完美运作。他们建议这些都是未来研究的重要课题。

总结

那么，这件事的意义何在？论文表明，给学习中的 AI 两个必须协作的学生大脑是一个简单但强大的技巧。它起到了“正则化器”的作用，这是一个专业术语，意指一种保持学习过程诚实且专注的规则。通过这种设置，机器人不会变得困惑或偷懒，而是被迫去学习一种更清晰、更有用的理解。

作者得出结论，这种“孪生”（Siamese）方法不仅仅是一个随机的架构选择；它似乎是帮助 AI 更好地学习的一种基本方式。这有点像意识到和朋友一起学习通常比独自学习更有效，因为朋友能帮你发现错误，并填补那些你甚至都不知道存在的空白。虽然仍需努力来完善这种方法，但这项研究为如何教计算机在不需要人类老师牵手指导的情况下理解世界提供了一条新鲜且充满希望的路径。

技术摘要：SiamJEPA：论孪生学生编码器在 JEPA 中的作用

问题陈述
联合嵌入预测架构（Joint Embedding Predictive Architectures, JEPAs），如 I-JEPA 和 V-JEPA，已成为一种极具前景的自监督表示学习框架，其通过预测掩码区域的潜嵌入（latent embeddings）而非重建像素来进行学习。然而，现有的 JEPA 模型通常在学生网络中仅采用单个编码器。虽然孪生编码器（双学生网络）是其他自监督学习（SSL）范式（如 BYOL、SimSiam）以及受脑启发模型（如 PhiNets）中的核心组件，但它们在 JEPA 这种潜空间预测框架中的具体作用和效能仍有待探索。本文旨在探讨以下问题：孪生学生编码器在联合嵌入预测架构中扮演什么角色？

方法论：SiamJEPA
作者提出了 SiamJEPA，这是一种将孪生学生编码器集成到 JEPA 框架中的掩码潜预测架构。该架构由以下部分组成：

孪生学生编码器（Siamese Student Encoders）： 两个独立掩码的输入图像视图通过两个具有共享权重的学生编码器（ $f$ ）进行处理。掩码集合（ $M_1$ 和 $M_2$ ）是互斥的，以防止捷径学习（shortcut learning）。
EMA 教师网络： 学生权重（ $f$ ）的指数移动平均（EMA）作为目标网络（ $f_{ema}$ ），类似于标准的 JEPA 和 BYOL 范式。
预测网络：
- 全局对齐（Global Alignment, $h$ ）： 一个线性预测器用于对齐两个孪生分支的全局（CLS）表示。
- 潜预测（Latent Prediction, $g$ ）： 一个基于 Transformer 的概率预测器，用于预测掩码标记（tokens）的潜表示。它利用一个基于两个视图推导出的后验分布，以及一个基于单个视图推导出的先验分布。
损失函数： 模型优化两个互补的目标：
- Sim-1 (KL 散度)： 最小化后验（从两个视图推导）与先验（从单个视图推导）之间的 Kullback–Leibler 散度。这鼓励编码器学习对视图变化具有鲁棒性的表示。在先验分支上应用了梯度停止（stop-gradient）操作。
- Sim-2 (NMSE)： 最小化预测的掩码标记与来自教师网络的实际掩码标记之间的归一化均方误差（normalized mean squared error）。
统一公式： 该框架包含一个正则化参数（ $\lambda_{KL}$ ），用于控制孪生一致性损失的影响。设置 $\lambda_{KL} = 0$ 可恢复为单编码器 JEPA，从而实现对孪生组件的系统性消融研究。

核心贡献

提出 SiamJEPA： 一个统一的潜预测架构，通过将孪生学生编码器扩展到 JEPA 框架中，并将其形式化为一个通过正则化参数控制孪生贡献的连续扩展。
系统性研究： 对 JEPA 内部的孪生学生编码器进行了首次系统性研究，证明它们作为一种有效的正则化器，能够约束表示空间。
训练效率： 有证据表明，结合孪生编码器的潜预测比基于重建的方法（如 MAE）在训练效率上显著更高，能以更少的 epoch 实现具有竞争力的性能。

实验结果
实验在 ImageNet-1K 数据集上使用 ViT-Base 骨干网络进行线性探测（linear probing）评估：

性能 vs. Epochs： SiamJEPA 在 400 个 epoch 后达到了 70.7% 的 Top-1 线性探测准确率。这显著优于 400 epoch 时的 MAE（61.9%），且与训练了 1600 个 epoch 的 MAE（68.0%）相当。
孪生编码器的作用： 对 KL 正则化权重（ $\lambda_{KL}$ ）的消融研究显示，增加 $\lambda_{KL}$ （例如增加到 0.01 或 0.03）相比于接近零的设置（ $\lambda_{KL} = 0.00001$ ，实际上是单编码器 JEPA）能持续提升性能。
收敛速度： 具有较高 $\lambda_{KL}$ 的模型收敛更快，在 200 个 epoch 时达到的性能水平，是较弱正则化设置在 400 个 epoch 时才能达到的。
掩码策略： 研究发现块状掩码（block masking）比随机掩码更有效，尤其是在训练早期阶段，尽管经过精心调优后，随机掩码依然保持了竞争力。
表示提取： 第 10 层（中间层）的平均池化在训练早期表现略好，而第 12 层（最终层）最终能与之持平或超越，这表明不同的层在不同训练阶段捕捉到了不同的可迁移语义。

意义与主张
本文声称，孪生学生编码器不仅仅是一种架构选择，更构成了一种关键的归纳偏置（inductive bias），用于预测性表示学习。研究结果表明：

孪生架构作为一种正则化器，能够提高表示的可分性并加速学习，尤其是在训练早期阶段。
引入孪生学生架构提供了一种简单且有效的方法来改进自监督表示学习，为基于重建的方法提供了一个更高效的替代方案。
结果为基于 JEPA 的模型设计提供了新的见解，表明“受脑启发”的 PhiNet 架构（使用孪生编码器）可以有效地通过潜预测适配于通用的图像表示学习。

作者对于绝对的 SOTA（最高水平）性能保持谦逊，指出其主要目标是验证 JEPA 中孪生编码器的作用，而非最大化基准测试分数。他们承认，未来的工作需要进一步的超参数优化以及向更大规模模型（ViT-Large/Huge）的扩展。

双生大脑实验

数据说明了什么

它没有做到的事（以及它并未声称的事）

总结

类似论文