🤖 machine learning

PEIRA: Learning Predictive Encoders through Inter-View Regressor Alignment

本文介绍了 PEIRA，一种非对比自监督学习方法，该方法通过最优线性回归器的迹来建立明确的目标，以确保稳定且不发生坍塌的训练动态，使其与领先的非线性典型相关子空间保持一致，从而在 ImageNet-1K 和 CIFAR-10 上实现了具有竞争力的性能。

原作者： Michael Arbel, Basile Terver, Jean Ponce

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michael Arbel, Basile Terver, Jean Ponce

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《PEIRA：通过视图间回归器对齐学习预测编码器》的通俗解释，并辅以生动的类比。

宏观图景：教计算机在无师自通中“看见”

想象你正在教一个孩子识别物体，但没有老师来告诉你“那是猫”或“那是狗”。相反，你给孩子展示同一物体的两张不同图片：一张是猫的照片，另一张是同一只猫的素描。

自监督学习（SSL） 的目标是让计算机仅通过比较这两张图片，就学会它们属于同一个物体。计算机为每张视图构建一张“心智地图”（即编码器）。如果照片的地图和素描的地图相似，计算机就学到了有用的东西。

然而，这里有一个陷阱。计算机很“懒惰”。如果你只是告诉它们“让这两张地图相似”，它们可能会走捷径：把两张地图都变成一张空白、空洞的页面（即一个常数）。这被称为坍塌。计算机“学会”了地图是相同的，但它对真正的猫一无所知。

现有方法的问题

当前流行的方法（如 SimSiam 或 BYOL）试图通过巧妙的技巧来避免这种坍塌，例如“停止梯度”（假装教师不发生变化）或“移动平均”（随时间平滑变化）。这些技巧在实践中效果很好，但科学家们并不完全理解为什么它们有效，或者在什么情况下它们可能会失效。这就像驾驶一辆引擎极其复杂且运行完美的汽车，但没人知道活塞实际上是如何运动的。

新解决方案：PEIRA

作者提出了一种名为 PEIRA（通过视图间回归器对齐学习预测编码器）的新方法。他们不再依赖阻止计算机“懒惰”的棘手启发式规则，而是构建了一个数学上完美的目标函数（成功规则），使计算机不可能发生坍塌。

以下是他们如何做到的，使用了一个类比：

1. “翻译官”与“信噪比”

想象你有两个说着不同语言的人（数据的两个视图）。你想构建一个翻译官（回归器），能将 A 的语言翻译成 B 的语言。

旧方法： 你试图最小化翻译的错误。但有时，最小化错误最简单的方法是让两个人停止说话，只是反复说“你好”。错误为零，但没有信息交换。
PEIRA 方法： 作者意识到，翻译官的质量取决于信噪比（SNR）。
- 信号： 两个人之间实际有意义且共享的言语部分（即“猫”的特征）。
- 噪声： 每个人独有的随机部分（背景噪音、特定的口音怪癖）。

PEIRA 不仅仅试图最小化错误。它试图最大化最优翻译官的迹（trace）。用通俗的话说，它问的是：“与噪声相比，这个翻译官能捕捉到多少真实信号？”

如果计算机试图坍塌（永远说“你好”），“信号”就会消失，PEIRA 给出的分数也会下降。计算机被迫保持信号活跃才能获得高分。

2. “渔网”类比

把数据想象成一个充满鱼的湖泊。鱼代表图像中的不同模式或特征。

有些鱼很大且容易捕捉（强而清晰的模式）。
有些鱼很小且难以看见（弱模式）。
有些只是碎屑（噪声）。

计算机有一张网（编码器），只能捕获一定数量的鱼（受限于其大小或维度 $k$ ）。

以前的方法有时会让网意外沉到底部，一无所获（坍塌），或者只捕获几条小鱼。
PEIRA 就像一个聪明的渔夫。它有一条规则：“你必须先捕获最大、最有价值的鱼。”
- 数学证明，计算机唯一稳定的落脚点就是捕获前 $r$ 条鱼（最重要的模式）并忽略其余部分。
- 它不能满足于一无所获（坍塌），因为那会得到极差的分数。
- 它也不能满足于捕获随机的微小鱼类，因为数学迫使它优先捕获最大的那些。

论文证明了什么

作者不仅构建了一个工具，还编写了引擎的操作手册。他们证明了三点：

地图是清晰的： 他们展示了训练这些系统时具体会发生什么。计算机自然地学会与数据的“典型相关性”对齐。这是一个复杂的数学术语，指“两个视图共享最多信息的方向”。
不再坍塌： 他们证明了对于他们的新方法（PEIRA），“懒惰”的解决方案（坍塌）是不稳定的。这就像试图把球平衡在针尖上； slightest 的推动（训练步骤）都会把它滚向更好的位置。唯一稳定的位置是计算机真正学到有用东西的地方。
“旋钮”有效： 他们引入了一个“正则化”旋钮（一个名为 $\lambda$ $λ$ 的参数）。转动这个旋钮可以控制网捕获多少条鱼。
- 如果你向一个方向转动，计算机就会学习少数几个非常强的模式。
- 如果你向另一个方向转动，它就会学习更多、稍弱的模式。
- 这使用户能够精确控制所学表示的复杂度。

结果

作者在标准图像数据集（ImageNet 和 CIFAR-10）上测试了 PEIRA。

性能： 它的表现与最佳现有方法（如 VICReg 和 LeJEPA）一样好。
理论与实际匹配： 当他们观察计算机在训练过程中的“大脑”时，他们看到了数学预测的准确结果：计算机正在将其内部表示与数据中最强的共享信号对齐，正如理论所预测的那样。

总结

简而言之，这篇论文将一种流行但神秘的计算机教学方法（自监督学习）中的“黑盒”技巧，替换为清晰且数学上保证的规则。

PEIRA 不再说“试试这个技巧，希望它不要坍塌”，而是说“这里有一个规则，从数学上迫使计算机找到最重要的共享模式并忽略噪声，从而使坍塌成为不可能”。这就像用一台由完美工程引擎驱动的汽车，取代了一台靠猜测运行的汽车。

技术摘要：PEIRA：通过视图间回归器对齐学习预测性编码器

问题陈述
非对比自监督学习（SSL）已成为表示学习的主导框架，SimSiam、BYOL 和 JEPA 变体等方法取得了显著的实证结果。然而，这些方法通常依赖于自蒸馏机制（例如停止梯度、指数移动平均），缺乏明确定义的全局目标函数。因此，其理论理解仍然有限；具体而言，这些方法的动力学特性尚未被完全刻画，尽管实证成功，它们仍易受表示崩溃（即编码器退化为常数）的影响。虽然基于正则化的方法（例如 VICReg、Barlow Twins）已与典型相关分析（CCA）建立联系，但自蒸馏动力学与 CCA 之间的严格联系，特别是针对非线性编码器的联系，一直缺失。

方法论
作者分析了一种联合嵌入预测架构（JEPA）的变体，其中正则化线性回归器从一个数据视图预测另一个视图的学习表示。他们首先研究了该设置中自蒸馏变体的连续时间动力学，其中回归器的优化速度远快于编码器（“快速预测器机制”）。

自蒸馏的理论分析：作者证明，自蒸馏动力学收敛于跨越非线性 CCA 子空间的平衡点。他们刻画了所有平衡点，并指出虽然非崩溃解与主导非线性典型相关子空间对齐，但崩溃平衡点（包括平凡的零解）也可能是稳定的吸引子。这解释了自蒸馏方法中崩溃的潜在原因。
PEIRA 的引入：受自蒸馏平衡点不稳定的启发，作者提出了PEIRA（通过视图间回归器对齐的预测性编码器）。PEIRA 用明确定义的无约束目标函数取代了自蒸馏启发式方法，该函数定义为最优正则化线性回归器的负迹，加上用于控制特征尺度的编码器二次正则化项。
- 目标函数： $E_{PEIRA}(U, V) = -\frac{1}{2} \text{Tr}(P_{U,V}) + \frac{\lambda}{2} (\|U\|_2^2 + \|V\|_2^2)$ ，其中 $P_{U,V}$ 是视图间的最优岭回归器。
- 机制：回归器的迹作为信噪比摘要。最大化该迹（即最小化负迹）鼓励信号（交叉协方差）和噪声（自协方差）矩阵特征基的对齐。
优化：为了使用参数化编码器（神经网络）优化 PEIRA，作者推导了一个辅助目标函数，该函数与 PEIRA 具有相同的梯度，但无需对最优回归器进行微分。这使得可以使用指数移动平均（EMA）来估计回归器统计量，从而降低梯度方差。他们提出了一种可扩展的随机组合算法（算法 1）用于训练。

主要贡献

JEPA 动力学的理论刻画：本文首次建立了自蒸馏动力学（具有线性预测器和任意非线性编码器）与非线性典型相关分析（CCA）之间的严格联系。它识别了所有平衡点，并证明虽然动力学能够恢复 CCA 子空间，但也允许存在稳定的崩溃解。
PEIRA 目标函数与稳定性保证：作者引入了 PEIRA，这是一种具有明确定义目标函数的新 SSL 方法。他们证明，与自蒸馏不同，PEIRA 的唯一稳定平衡点是非平凡的全局极小值，这些极小值跨越前 $r_{max}$ 个典型相关子空间。正则化参数 $\lambda$ 隐式地选择了表示的有效维度，且已证明平凡崩溃解是不稳定平衡点。
可扩展实现与实证验证：提出了一种随机训练过程，避免了对最优预测器进行微分。在 ImageNet-1K 和 CIFAR-10 上的实验表明，PEIRA 与最先进的基于正则化的基线方法（VICReg、SIGReg/LeJEPA）具有竞争力。实证结果证实了关于谱对齐的理论主张，并显示 PEIRA 目标函数值与下游线性探针准确率之间存在强相关性。

结果

ImageNet-1K：PEIRA 实现了 66.50% 的线性探针 top-1 准确率（ResNet-50，100 个 epoch），在种子噪声范围内与 SIGReg 持平，落后 VICReg 约 2.3%。
CIFAR-10：PEIRA 实现了 90.97% 的准确率（ResNet-18，1000 个 epoch），在种子噪声范围内与 VICReg 持平，落后 SIGReg 约 1.4%。
谱对齐：实证分析表明，在训练过程中，信号矩阵（ $\Sigma_{U,V}$ ）的特征向量逐渐与噪声矩阵（ $N_{U,V}$ ）的特征向量对齐，且谱分布发展出与理论谱滤波器一致的重要模式。
鲁棒性：该方法对正则化系数 $\lambda$ 的变化表现出鲁棒性，在 ImageNet-1K 的广泛 $\lambda$ 值范围内，准确率变化仅为约 1.36%。
目标相关性：负的 PEIRA 目标函数与下游线性探针准确率高度相关，支持其用于无标签模型选择。

意义与主张
本文声称通过严格地将非对比自蒸馏方法与非线性 CCA 联系起来并刻画其稳定性，填补了理解非对比自蒸馏方法的理论空白。通过引入 PEIRA，作者提供了一种保留自蒸馏统计目标（恢复 CCA 子空间）但通过明确定义的目标函数而非训练启发式方法消除崩溃风险的方法。作者将 PEIRA 定位为现有基于正则化方法的竞争替代方案，提供了一种具有理论基础的预测表示学习方法。他们承认其实验是初步的，需要进一步的工作以确立 PEIRA 作为更复杂任务（例如视频分类）的可行替代方案，并将理论扩展到次优预测器和离散时间随机更新。