On the Identifiability of Masked Prediction: Mode Blindness and Mask Schedules

技术摘要：论掩码预测的可辨识性

问题陈述
掩码预测方法（如 BERT、掩码自编码器、离散扩散模型）通过优化一个由调度加权的条件分布族，而非直接学习联合数据分布来学习表示。虽然快速混合机制允许通过近似张量化（approximate tensorization）从条件分布中恢复联合分布，但在面对多模态数据时，尚不清楚近乎最优的条件预测是否能确定底层的联合分布。具体而言，本文研究了在存在多模态数据的情况下，一个模型是否能在实现近乎最优的掩码预测损失的同时，对数据分布中分离良好的全局模态（例如：代码与散文，或不同的语言）分配显著不同的权重。这种现象被称为模态盲视（mode blindness）。

方法论
作者使用一种全新的理论框架在总体层面（population level）分析该问题：

1. $\epsilon$-可辨识度模数（$\epsilon$-Identifiability Modulus）： 他们引入了一个模数 $A^\mu_d(p, \epsilon)$，定义为真实数据分布 $p$ 与任何导致掩码预测风险至多为 $\epsilon$ 的容许模型分布 $q$ 之间的最大分布误差（例如全变差距离）。这统一了对精确可辨识性（$\epsilon=0$）的研究以及在小额超额风险下的稳定性研究。
2. 重加权模态见证族（Mode-Reweighting Witness Family）： 为了探测可辨识性，他们构建了一个分布族 $\{q_\lambda\}$，该族与真实数据分布 $p$ 共享完全相同的模态内条件分布，但仅在全局混合比例（模态权重）上有所不同。如果掩码目标函数无法区分 $p$ 与 $q_\lambda$，则联合分布是不可辨识的。
3. 信息分解： 本文推导出了掩码对数差异（masked log discrepancy）在 $p$ 与重加权分布 $q_\lambda$ 之间的精确分解。研究表明，该差异与真实模态权重与重加权模态权重之间的 Kullback-Leibler 散度成正比，并由调度平均的残余模态不确定性（通过给定可见上下文的条件最小均方误差 MMSE 来衡量）进行缩放。
4. 数据几何假设： 分析依赖于关于数据分布的两个结构性假设：
   • 大上下文模态钉定（Large-Context Mode Pinning，假设 5.1）： 对于足够大的可见上下文，模态被以指数级高的概率确定（残余不确定性呈指数级衰减）。
   • 低可见度残余不确定性（Low-Visibility Residual Uncertainty，假设 5.2）： 对于较小的可见上下文，模态保持模糊，且其残余不确定性有下界。

核心贡献

1. 模态盲视的证明： 在大上下文模态钉定的假设下，本文证明了如果掩码调度由大可见上下文主导（即最小可见坐标数很大），则掩码目标函数对全局模态权重的敏感度会呈指数级下降。一个模型可以在产生指数级微小的掩码损失的同时，分配任意的模态权重（在常数范围内）。因此，即使在极小的超额风险下，$\epsilon$-可辨识度模数仍保持在宏观水平。
2. 依赖于调度的可辨识性： 本文证明了掩码调度充当了目标的“观测模型”：
   • 盲视（Blindness）： 缺乏低可见度上下文（高可见度固定比例掩码）的调度无法恢复模态权重。
   • 恢复（Recovery）： 分配正质量给低可见度上下文（小可见集）的调度可以恢复对模态权重的敏感性。恢复的强度受限于分配给这些低可见度上下文的质量以及在该尺度下的残余不确定性。
   • 全掩码强制性（Full-Mask Coercivity）： 存在任何在全掩码（零可见上下文）上正质量的存在，都提供了一个一致性保证，能够限制所有容许模型（不仅是重加权族）的可辨识度模数。
3. 精确信息分解： 作者提供了一个精确分解，表明重加权分布的掩码差异是模态权重信息与预期残余模态不确定性的乘积。这解释了为什么大上下文会抑制敏感性（钉定将不确定性降低至接近零），以及为什么低可见度上下文对于恢复敏感性是必要的。
4. 近似张量化的下界： 本文表明，在双模态机制下，联合分布恢复的失败迫使近似张量化常数（界定联合 KL 与条件 KL 的常数）随序列长度 $N$ 呈指数级增长（针对大上下文调度）。这表明这种失败是目标函数固有的，而非现有分析技术的局限。

结果

• 理论界限： 本文确立了对于 $v_{\min}(\mu) \geq s_{\text{pin}}$ 的调度，真实分布与重加权分布之间的差异被界定为 $O(e^{-c \cdot v_{\min}(\mu)})$，而全变差距离保持不变。相反，对于具有低可见度质量 $\pi_s(\mu) > 0$ 的调度，模态权重误差被界定为 $O(\sqrt{\epsilon / \pi_s(\mu)})$。
• 经验验证：
  • 精确枚举： 在满足钉定假设的可计算双模态分布上，作者验证了预测的指数衰减率和精确敏感度比例。
  • 梯度训练： 在这些分布上训练模型证实了“盲视–恢复”二分法在随机优化中依然存在。在盲视调度下训练的模型无法收敛到真实的模态权重，而具有低可见度质量的模型则能恢复它，其误差随 $\pi_0(\mu)^{-1/2}$ 缩放。
  • 真实语料库： 对代码/散文以及德语/英语语料库的测量显示，自然文本表现出所需的几何结构：在短上下文处残余模态不确定性有下界，而在长上下文处被抑制。然而，其衰减遵循幂律而非严格的指数律，这表明虽然模态盲视确实存在，但在自然语言中可能较轻（幂律对比指数律），而非像理想的热力学系统那样剧烈。

意义与主张
本文解决了一个关于掩码预测的基础性问题：何时近乎最优的掩码预测能识别底层的联合分布？ 答案被证明是取决于调度（schedule-dependent）。

• 联合分布的全局结构（特别是模态权重）的可恢复性或不可见性，完全取决于掩码调度在低可见度和全掩码上下文上的质量分配。
• 在标准的、大上下文调度下无法识别全局结构，并非模型容量的问题，而是当应用于具有亚稳态（metastable）特征的多模态数据时，目标函数本身的一种固有属性。
• 这项工作为理解为何从掩码模型中提取的条件分布可能互不一致（无法定义单一的联合分布）提供了理论基础，并指出低可见度质量（或全掩码质量）是恢复全局数据结构的必要设计组件。
• 作者强调，其结果是总体层面的保证；虽然梯度训练实验重现了这些现象，但本文并不声称解决了当前大规模预训练中的有限样本或架构限制问题。

总而言之，本文确立了掩码调度不仅决定了掩码预测如何学习，还决定了它能识别出什么——在存在分离良好的数据模态时，缺乏低可见度或全掩码成分的调度会导致全局模态权重变得不可见。