🤖 machine learning

Martingale-Consistent Self-Supervised Learning

本文提出了一种鞅一致的自监督学习框架，该框架在部分观测条件下强制粗粒度预测与细粒度预测之间的一致性，从而相较于基于标准不变性的目标提升了模型的鲁棒性与校准能力。

原作者： Moritz Gögl, Hanwen Xing, Christopher Yau

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Moritz Gögl, Hanwen Xing, Christopher Yau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《鞅一致性自监督学习》的解释。

核心问题：“摇晃的水晶球”

想象你正在预测天气。

情景 A： 你望向窗外，看到乌云密布。你猜测：“可能会下雨。”
情景 B： 五分钟后，你查看雷达应用，发现巨大的风暴锋面正在逼近。你将猜测更新为：“肯定会下雨。”

这很正常。随着你获得更多信息，你的预测理应发生变化。

然而，该论文指出当前人工智能模型（特别是“自监督学习”模型）的训练方式存在一个奇怪的缺陷。这些模型经常被要求基于不同量的信息做出预测：有时它们能看到全貌，有时只能看到一半，有时甚至只看到一小块切片。

问题在于，这些模型往往表现得像一个摇晃的水晶球。

当它们只看到乌云（信息量少）时，可能会说：“有 50% 的几率下雨。”
当它们看到雷达（信息量大）时，可能会说：“有 90% 的几率下雨。”
缺陷所在： 如果你在模型看到雷达之前问它：“当你看到雷达后，你预测的结果会是什么？”一个聪明的模型应该回答：“我预计它会保持在 50% 左右。”它不应该暗自预期会跳到 90% 或跌到 10%。如果它这样做了，就意味着模型在“漂移”或表现不一致。这就像一个学生在测验中随机猜了一个答案，后来改成了正确答案，却声称自己一直就知道正确答案。

解决方案：“鞅”规则

作者引入了一个称为鞅一致性的概念。用大白话来说，这是一条规则，规定：“你当前的猜测应该是你所有未来猜测的平均值。”

把它想象成一场寻宝游戏：

粗略视角（信息量少）： 你站在起跑线上。你有一张显示大致区域的地图。你猜测宝藏位于“北田”。
精细视角（信息量大）： 你走近了一些。现在你看到了一棵特定的树。你更新猜测：“宝藏在那棵特定的橡树下。”
鞅规则： 在你走到那棵树之前，你的“北田”猜测应该是你最终可能看到的任何具体地点的平均值。如果你的起始猜测是“北田”，但你暗自预期一旦靠近就会把目光锁定在“南山”，那么你的起始猜测就是错的。

该论文认为，标准的人工智能训练并不关心这条规则。它只是教导人工智能在拥有所有信息时是正确的，在拥有部分信息时也是正确的，而没有检查这两个答案是否在逻辑上相互兼容。

他们是如何修复的

研究人员构建了一种新的训练方法，强制人工智能遵循这条“鞅”规则。以下是他们的方法，使用厨师类比来说明：

设置： 想象一位厨师（人工智能）试图猜测汤里的成分。
部分视角： 厨师被蒙住眼睛，只被允许闻汤的味道（粗略视角）。他猜测：“这可能是番茄汤。”
细化： 厨师摘下眼罩，看到了整锅汤（精细视角）。他猜测：“这肯定是加了罗勒的番茄汤。”
技巧（填补者）： 为了训练厨师，研究人员使用了一个“魔法助手”（填补者）。这个助手根据蒙眼厨师的猜测，想象出完整汤的两种不同版本。
- 想象 A： 罗勒很多的汤。
- 想象 B： 罗勒很少的汤。
测试： 研究人员问厨师：“如果你必须仅凭气味来猜测整锅汤，你的猜测是否与想象 A 和想象 B 的平均值相符？”
- 如果厨师的“气味猜测”与两个“完整汤猜测”的平均值大相径庭，人工智能就会受到惩罚。
- 这迫使人工智能明白，它的早期猜测必须是其所有未来的、更详细的猜测的稳定“中心点”。

他们的发现

该团队在多种类型的数据上测试了这种方法：

时间序列： 如股票价格或心率监测器（你可能会错过几秒钟的数据）。
表格数据： 如医疗记录或银行表格（某些列可能缺失）。
图像： 如查看一张图片，其中一半被黑盒遮挡。

结果：

更好的稳定性： 当人工智能被迫遵循鞅规则时，它变得更加稳定。当信息缺失时，它不会惊慌失措，也不会让预测出现剧烈波动。
更好的校准： 人工智能对其置信度的判断变得更加诚实。如果它说“有 50% 的几率”，那么它实际上在 50% 的时间里是正确的，即使它没有掌握所有数据。
无处不在的适用性： 无论人工智能是在有标签的情况下学习（监督学习）还是无标签的情况下学习（自监督学习），也无论它是在处理数字还是图片，这种方法都有效。

结论

该论文声称，通过增加这种“一致性检查”（确保人工智能的早期猜测是其后期猜测的逻辑平均值），我们可以构建出在被迫处理不完整信息时更加稳健和可靠的人工智能模型。这就像教导学生不仅要记住最终答案，还要理解随着他们掌握更多事实，他们的思维是如何演变的。

技术摘要：鞅一致自监督学习

问题陈述

自监督学习（SSL）广泛应用于信息可用性动态变化的场景，例如处理较短的历史记录、缺失特征或部分观测图像时。在这些设定下，模型经常需要在多个“信息集”（例如，粗略视图与细化视图）下被查询。此类模型的一个基本要求是一致性：在粗略信息集下做出的预测，应与细化后的期望预测相匹配。

从数学上讲，如果 $F_1 \subseteq F_2$ 表示嵌套的信息集（其中 $F_2$ 包含比 $F_1$ 更多的信息），且 $g_\phi(x_F)$ 为预测器，则鞅性质规定：
$E[g_\phi(x_{F_2}) \mid x_{F_1}] = g_\phi(x_{F_1})$
这意味着在观察到额外信息之前，模型不应系统性地预期其未来的预测会向上或向下漂移。标准的 SSL 目标（例如对比学习、掩码重建）通常独立地训练各个视图的预测器，或强制不变性（使视图看起来相似）。它们并未强制这种方向性的一致性，这可能导致模型在特定视图上表现良好，但在嵌套信息集之间缺乏全局一致性。

方法论

作者提出了一种鞅一致 SSL 框架，将鞅性质作为训练目标进行强制约束。

1. 目标函数

总损失函数结合了标准预测损失与鞅一致性惩罚：
$\mathcal{L}_{total} = \mathcal{L}_{pred} + \lambda_{imp}\mathcal{L}_{imp} + \lambda_{mart}\mathcal{L}_{mart}$

预测项（ $\mathcal{L}_{pred}$ ）： 应用于细化（完整）视图的标准 SSL 损失（例如分类交叉熵或重建均方误差）。
鞅项（ $\mathcal{L}_{mart}$ ）： 该项惩罚对鞅恒等式的偏离。它需要采样嵌套的信息集 $F_1 \subseteq F_2$ 。损失定义为：
$\mathcal{L}_{mart} = \mathbb{E}_{F_1 \subseteq F_2} \left[ \| g_\phi(x_{F_1}) - \mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}] \|^2 \right]$
插补损失（ $\mathcal{L}_{imp}$ ）： 用于训练插补网络 $q_\psi$ 的辅助损失，该网络用于近似给定部分视图的完整输入的条件分布。

2. 无偏双样本蒙特卡洛估计量

直接计算条件期望 $\mathbb{E}[g_\phi(x_{F_2}) \mid x_{F_1}]$ 是不可行的。由于方差原因，朴素的蒙特卡洛平均会引入偏差。作者提出了一种无偏双样本估计量：

给定粗略视图 $x_{F_1}$ ，使用学习到的插补器 $q_\psi$ 采样两个条件独立的细化视图 $x^{(a)}_{F_2}$ 和 $x^{(b)}_{F_2}$ 。
计算粗略预测 $u = g_\phi(x_{F_1})$ 和细化预测 $v_a = g_\phi(x^{(a)}_{F_2})$ 、 $v_b = g_\phi(x^{(b)}_{F_2})$ 。
估计量为：
$\hat{\mathcal{L}}^{2MC}_{mart} = (u - v_a)^\top (u - v_b)$
理论分析（附录 B.1）证明该估计量对于鞅恒等式的平方误差是无偏的。

3. 实现变体

该框架在两个主要空间中被实例化：

预测空间： 鞅惩罚直接应用于模型的输出预测。
潜在空间： 惩罚应用于编码器的潜在表示（ $z_{F_1}$ 与 $z_{F_2}$ ）。这对于高维数据（图像、长序列）特别有用，因为在观测空间中强制一致性是不切实际的。
EMA 目标： 为了稳定训练，细化目标（ $v_a, v_b$ 或 $z_a, z_b$ ）可以使用网络的指数移动平均（EMA）副本进行计算，以防止移动目标不稳定性。

主要贡献

识别结构性差距： 论文指出，标准 SSL 将预测器视为由信息集索引的条件期望族，但未能强制它们之间必要的一致性关系（鞅性质）。
实用训练方案： 作者引入了一种无需针对特定模态重新设计即可强制鞅一致性的方法。这包括预测空间和潜在空间的惩罚，以及基于随机细化的无偏双样本蒙特卡洛估计量。
实证验证： 该框架在时间序列、表格和图像基准上进行了评估，涵盖半自监督（带标签）和完全自监督（无标签）设定。

实验结果

该框架在合成和真实世界数据集上进行了测试，包括时间序列（UCI HAR、Traffic、Stock）、表格数据（Adult、Bank Marketing）和图像（CIFAR-10、STL-10）。

部分观测下的鲁棒性： 强制鞅一致性在观测信息量减少（低完整性水平 $c \in \{0.05, 0.2, \dots, 0.8\}$ $c \in {0.05, 0.2, \dots, 0.8}$ ）时，一致地提高了下游探测器的准确率。
- 时间序列： 在半自监督设定下，鞅变体在所有 7 个数据集上取得了最佳平均准确率，相对增益显著（例如，Character Trajectories 上 +155.6%，T-SIM-RC 上 +30.9%）。
- 表格数据： 鞅变体在所有 5 个静态表格数据集上优于基线，在合成数据上增益高达 +34.1%。
- 图像： 在 CIFAR-10 上，潜在鞅变体将平均准确率从 0.311 提升至 0.383（+23.2%），优于基础模型。
校准： 与标准 SSL 相比，使用鞅一致性训练的模型在部分观测下显示出显著更好的校准性（更低的期望校准误差和任意时刻遗憾）。
违规减少： 训练目标成功减少了鞅违规（粗略预测与期望细化预测之间的差异），特别是在低完整性设定下。
与不变性的比较： 与强制视图完全相同（不变性）的标准一致性目标不同，鞅一致性允许预测随着信息的揭示而更新，同时防止系统性漂移。

意义与主张

论文声称，鞅一致性为在不同掩码模式或上下文长度下部署的 SSL 模型提供了一种概率视角。通过强制在信息细化下的期望一致性，该方法允许预测随着新数据的到来而自然更新，同时防止系统性漂移。

作者将其定位为一种结构性归纳偏置，捕捉了 SimCLR 或 BYOL 等标准目标未加约束的信息。他们指出，这对于基础模型尤为相关，因为这些模型 routinely 在不同上下文长度和不完整观测下被查询，而现有的目标并未明确强制这种动态部署所需的一致性。这项工作表明，弥合这一差距可以提高鲁棒性、校准性和表示稳定性，为自监督学习中的部分信息处理提供了一种原则性的方法。