技术摘要：抗干扰鲁棒表示学习的匹配原则

1. 问题陈述

鲁棒机器学习领域历史上将域适应、光度不变性、遮挡鲁棒性、时间稳定性以及对齐安全性等问题视为截然不同的挑战，每种挑战都有其各自的方法族（例如 CORAL、对抗训练、IRM、度量学习）。这种碎片化掩盖了一个共同的底层结构：即处理标签保持的部署干扰的需求。

本文指出了标准经验风险最小化（ERM）中存在的一个基本几何盲点。即使具有无限容量，当干扰变量（例如风格偏移、传感器噪声、域变化）与输入相关但保持标签不变时，ERM 也无法消除部署漂移。核心问题在于估计这些干扰变化的协方差，并正则化编码器，使其专门在这些方向上不敏感，同时不抑制任务所需信号方向上的敏感性。

2. 方法论：匹配原则

本文提出了匹配原则，这是一个将鲁棒性重新定义为单一统计估计问题的统一框架。

核心对象：$\Sigma_{task}$

核心对象是 $\Sigma_{task} = \text{Cov}_{Q_n}(n)$，即标签保持的部署干扰 $n$ 的总体协方差。该矩阵定义了输入空间中数据在部署期间可以发生偏移而不改变标签 $y$ 的方向。

• 定义：如果对于几乎所有的 $x$ 和 $n$ 都有 $p(y|x+n) = p(y|x)$，则干扰分布 $Q_n$ 是标签保持的。
• 漂移度量：本文定义了嵌入漂移 $\tilde{D}_Q(\phi)$ 为编码器 $\phi$ 在 $Q_n$ 下的期望平方位移，线性化后为 $\mathbb{E}_x[\text{Tr}(J_\phi(x)^\top J_\phi(x) \Sigma_{task})]$，其中 $J_\phi$ 是编码器雅可比矩阵。

损失函数：PMH

该框架引入了**扰动匹配假设（PMH）**损失：
$$\mathcal{L}_{pmh}(\Sigma')(\theta) = \mathcal{L}_{task}(\theta) + \lambda \mathbb{E}_x \left[ \text{Tr}\left( J_\phi(x)^\top J_\phi(x) \Sigma' \right) \right]$$
此处，$\Sigma'$ 是由实践者选择的半正定（PSD）矩阵。

原则

匹配原则指出，要将部署漂移驱动至零，惩罚矩阵 $\Sigma'$ 的值域必须覆盖干扰协方差的值域：
$$\text{range}(\Sigma') \supseteq \text{range}(\Sigma_{task})$$
如果满足此条件，随着 $\lambda \to \infty$，漂移将消失。如果遗漏了该值域，无论惩罚强度如何，都会存在结构性的“漂移下限”。

估计与控制

由于 $\Sigma_{task}$ 是不可观测的，本文基于对干扰结构的不同假设（例如用于域偏移的跨域 SVD、用于光度模式的增强 - 增量 Gram 矩阵、用于对抗鲁棒性的 PGD-增量 Gram 矩阵），提供了七个条件估计量（引理 D1–D7）。

为了确保该原则不仅仅是一个启发式方法，本文要求每个实验必须执行两项证伪控制：

1. 错误-$W$ 控制：随机秩-$r$ 投影。理论预测其应表现为各向同性噪声（引理 C）。
2. 信号-$W$ 控制：沿已知信号方向进行惩罚。理论预测这将严格损害任务性能（推论 E/E*）。

3. 主要理论贡献

本文提供了闭式最优性结果和必要性证明：

• 定理 A（最优性）：在线性高斯模型中，匹配的惩罚（$\Sigma' = \Sigma_{task}$）足以消除漂移。在匹配范围内，惩罚质量的最优分配遵循立方根注水规则。
• 定理 G（必要性）：除非其值域覆盖 $\text{range}(\Sigma_{task})$，否则没有任何二次雅可比惩罚能够消除所有任务相关方向上的漂移。这证明了 CORAL、PGD-AT 和增强等方法并非独立的技巧，而是对同一对象的不同估计量。
• 定理 A（深度全局极小值）*：在标准正则性假设（可微性、表达性、可识别性）下，对于深度编码器在局部极小值处，范围二分法依然成立。
• 定理 B（不匹配成本）：遗漏干扰方向（范围不匹配）会导致灾难性的、与 $\lambda$ 无关的漂移下限。在正确范围内错误塑造惩罚（分配不匹配）则是“廉价”的，超额漂移会随着 $\lambda \to \infty$ 而消失。
• 轨迹偏离指数（TDI）：一种新的无标签诊断指标，用于测量嵌入对各向同性噪声的敏感性，作为任务准确率和雅可比范数的补充。

4. 实证结果

该理论在跨越经典机器学习、视觉、语音、代码以及大型语言模型（最高至 Qwen2.5-7B）的13 个预注册模块中进行了测试。

• 成功率：在 13 个模块中的 12 个中，匹配臂在部署漂移指标上优于基线（各向同性、错误-$W$、信号-$W$），并且在估计量具有可用特征间隙的情况下，通常也在任务指标上表现更优。
• 预测的失败：该框架正确预测了特定的失败案例：
  • Office-31（模块 T1）：匹配臂输给了 CORAL，因为跨域特征间隙处于边缘状态（$\gamma \approx 1.03$），违反了估计量的一致性假设（引理 D1）。
  • Cityscapes（模块 T4B）：各向同性像素惩罚通过惩罚信号方向导致稀有类别（摩托车）的性能崩溃（推论 E*）。
  • QM9（模块 T5A）：在大噪声水平下观察到了清洁 - 鲁棒性权衡，这与分配理论一致。
• 几何与任务解耦：在若干案例中（例如 Whisper 口音适应、CIFAR-10 ViT），匹配方法实现了更优越的几何稳定性（更低的 TDI），而标准监督微调则在任务指标（WER）上略胜一筹。本文认为这些是不同的目标，几何指标应单独报告。
• 对齐（模块 T7A）：在 Qwen2.5-7B 上，匹配的风格-pmh 保留了隐藏状态几何结构（风格 TDI），而标准的 DPO 则破坏了它，同时提高了选择性诚实度（在内容不崩溃的情况下减少了阿谀奉承）。

5. 意义与主张

本文不声称对所有鲁棒性问题具有普适性。它明确排除了改变标签的偏移（例如 Colored MNIST、Waterbirds），这些需要因果或多环境工具。

本文的主要贡献是统一性与可证伪性：

1. 命名对象：它确定了 $\Sigma_{task}$ 是 CORAL、IRM 和对抗训练等方法隐式估计的单一总体对象。
2. 闭式处方：它提供了一个构建性方案：识别干扰族，通过适当的引理估计 $\Sigma_{task}$，应用迹惩罚，并执行两项证伪控制。
3. 设计转变：它将损失函数从背景假设提升为第一类设计变量，由 PSD 矩阵参数化。
4. 纪律：它用一种失败可预先预测（例如特征间隙失败、信号惩罚）而非被视为噪声的框架，取代了“排行榜赛马”。

作者得出结论：当部署干扰是标签保持且可估的，鲁棒性就简化为一个匹配问题：匹配 $\hat{\Sigma}_{task}$ 并通过控制进行验证。这为一大类鲁棒性挑战提供了一个闭式、可检验的理论。