⚡ electrical engineering

Double Preconditioning (DoPr): Optimization for Test-Time Performance, not Validation Loss

本文引入了双重预处理（Double Preconditioning, DoPr），这是一种结合了梯度维与激活维预处理的新型优化范式，旨在缓解自回归和生成式任务中的测试时反馈误差累积，即使在验证损失保持不变的情况下，也能显著提升下游性能。

原作者： Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Thomas T. Zhang, Alok Shah, Yifei Zhang, Vincent Zhang, Nikolai Matni, Max Simchowitz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“练习 vs. 实战”的差距

想象一下，你正在教一个机器人走路穿过房间。

训练阶段： 你给机器人看一段人类完美行走的视频。你告诉机器人：“完全模仿这个动作。”机器人在看这段视频的过程中反复练习。它在模仿视频方面做得非常出色。用机器学习术语来说，这就是在最小化验证损失（Validation Loss）（即在练习测试中获得低分）。
真实世界（测试时）： 现在，你让机器人独自走过房间。它必须独立完成行走。如果它迈出了一小步，位置稍微偏离了中心，下一步就必须补偿这个误差。如果它又迈出了一个略微偏离中心的小步，误差就会开始堆积。当它到达房间另一头时，它可能会踉跄甚至摔倒。

论文将这种现象称为测试时反馈（Test-Time Feedback, TTF）。这是指这样一种现象：一个在练习数据（视频）上表现完美的模型，在现实世界中却表现糟糕，因为模型依赖于自己之前的预测，导致微小的错误累积成了巨大的灾难。

旧方法：只关注计分板

长期以来，工程师们构建“优化器”（教导 AI 的引擎）时都有一个目标：尽可能快地让练习分数降到最低。

把这些优化器想象成一位教练，这位教练只关心机器人在观看视频时的姿态。“做得好，你完美匹配了视频！”教练说。但教练忽略了一个事实：机器人的学习方式是非常脆弱的。如果机器人必须独自行走，这种“完美”的姿态会立即崩溃。

论文指出，低练习分数并不保证良好的现实世界表现。 事实上，过度追求最低的练习分数有时会让机器人学会一些只有在老师扶着它时才有效的“坏习惯”。

新方案：双重预处理（Double Preconditioning, DoPr）

作者提出了一种名为**双重预处理（DoPr）**的新方法来训练这些模型。他们将其描述为现有训练引擎的一种“插件式”升级。

要理解它是如何工作的，想象机器人的大脑是由一层层齿轮组成的。

第一层齿轮（激活预处理/Activation Preconditioning）： 论文指出，旧的优化器存在偏差。它们在数据容易的方向上学得很快，但在数据混乱或“拉伸”的方向上则选择了忽视。
- 类比： 想象你在一条平坦、空旷的高速公路上学习驾驶（容易的数据）。你做得很好。但如果你尝试在崎岖、蜿蜒的山路上驾驶（混乱的数据），你就会翻车。
- 修复方案： DoPr 的第一部分强制要求机器人进行均匀学习。它让机器人在平坦高速公路和崎岖山路上都进行同等强度的练习。它确保机器人理解的是道路的“形状”，而不仅仅是那些容易的部分。这被称为激活预处理。
第二层齿轮（梯度预处理/Gradient Preconditioning）： 在崎岖山路上学习既困难又缓慢。如果你只是强迫机器人以这种方式学习，它可能会陷入停滞或移动缓慢。
- 类比： 这就像是给汽车安装了一个涡轮增压器。它能帮助汽车在不失控的情况下快速且平稳地行驶。
- 修复方案： DoPr 的第二部分利用标准的快速优化器（如 Adam 或 Muon）来加速进程。

神奇之处： DoPr 将两者结合在一起。它首先“理顺”学习路径，使机器人能够学习正确的特征（崎岖的山路），然后再利用涡轮增压器来提高速度。

出人意料的结果

这是论文中最有趣的部分：

当作者测试 DoPr 时，他们发现机器人在练习测试上的得分并不一定变高了。 有时，练习分数甚至比以前略低！

然而，当他们把机器人送入现实世界（测试时）：

机器人领域： 机器人走得更远，完成任务的频率更高。
语言模型领域： 尽管模型在预测训练文本中的下一个词时不如旧模型那么完美，但它编写的代码更好，解决数学问题的准确度也更高。

总结

论文的结论是，我们一直盯着错误的计分板。我们痴迷于如何让模型的训练误差最小化，但这并不意味着当它必须独立行动时它能取得成功。

**双重预处理（DoPr）**是一个工具，它教会模型变得稳健，并在所有类型的数据中实现“均匀”学习，而不是仅仅死记硬背那些简单的部分。这是一种构建不仅在课堂上表现优异，而且在现实世界中也能表现出色的 AI 的方法。

简而言之： DoPr 阻止了 AI 通过只学习容易的部分来“作弊”通过练习测试，而是让它为真正的考试做好准备，即便这意味着练习分数看起来没有以前那么亮眼。

技术摘要：双重预处理 (Double Preconditioning, DoPr)

1. 问题陈述：测试时反馈 (TTF) 与损失-性能差距

本文探讨了现代深度学习应用中一个关键的脱节问题：模型在单步监督目标（例如，下一 token 预测、单步模仿学习）上进行训练，但在部署时通过沿着自身的预测进行序列化展开（sequential rollout）。作者将这一现象称为测试时反馈 (Test-Time Feedback, TTF)。

在 TTF 设置下——如自回归语言模型、基于流的生成模型和机器人策略学习——模型预测中的微小误差会随时间累积。这导致部署期间遇到的状态分布与训练分布发生偏离（这种现象被称为 TTF 偏移）。

识别出的核心问题是：标准的优化器（如 Adam、Muon、Shampoo）旨在最小化训练分布下的验证损失 ( $L_{val}$ )。然而，作者指出，最小化 $L_{val}$ 并不一定能最小化下游任务奖励 ( $R_{test}$ ) 或定义在模型自身部署分布上的理想化损失 ( $L_{ideal}$ )。具体而言，标准优化器可能会诱发不完美的特征学习 (imperfect feature learning)，即模型学习到的特征虽然对训练分布是最优的，但在 TTF 的反馈动力学下无法泛化，从而导致即使在验证损失收敛良好时，下游性能仍然下降。

2. 方法论：双重预处理 (DoPr)

为了在不修改数据、架构或训练目标的情况下缓解 TTF 偏移，作者提出了双重预处理 (Double Preconditioning, DoPr)。DoPr 是一种结合了两种不同预处理策略的“插件式”优化框架：

激活预处理 (Activation Preconditioning, AP)： 一种层级预处理器，利用层激活值的经验协方差 ( $\hat{\Sigma}_z \approx E[zz^\top]$ ) 对梯度进行预处理。
- 机制： 将原始梯度 $G$ 乘以激活协方差矩阵的逆： $M = G \cdot \hat{\Sigma}_z^{-1}$ 。
- 理论动机： 作者证明，当层激活呈现非各向同性（病态）时，标准的梯度下降会导致有偏的特征学习。AP 纠正了这种偏差，促进了均匀特征学习 (uniform feature learning)，使所有方向在状态空间中实现均衡。这确保了模型学习到的特征在那些被训练损失低估、但在防止 TTF 下误差累积方面至关重要的方向上依然具有鲁棒性。
- 不变性原理： 本文确立了 AP 能诱导对输入分布仿射变换的不变性。如果输入分布发生仿射变换，AP 更新规则可确保层输出保持不变，从而使优化轨迹对分布偏移具有稳定性。
梯度预处理 (Gradient Preconditioning, GP)： 应用于 AP 预处理后的梯度的标准梯度类预处理器（如 Adam、Muon、Signum）。
- 角色： 虽然 AP 处理了特征学习的几何结构，但其自身在数值上可能不稳定。GP 组件能够稳定训练过程、加速收敛并提供动量。
- 集成： DoPr 首先对梯度应用 AP，然后将结果传递给 GP。这使得 DoPr 既能利用成熟 GP（如 Adam 或 Muon）的稳定性及超参数缩放规则，又能继承 AP 缓解 TTF 的特性。

算法流程：
对于具有权重 $W$ 和激活值 $z$ 的层：

计算批次梯度 $G = \nabla_W \mathcal{L}$ 。
计算经验激活协方差 $\hat{\Sigma}_z$ 。
应用 AP： $M = G \cdot (\hat{\Sigma}_z + \gamma \text{tr}(\hat{\Sigma}_z)I)^{-1}$ 。
应用 GP： $D = \text{GP}(M, \dots)$ 。
更新权重： $W \leftarrow W - \eta D$ 。

3. 核心贡献

理论洞察： 本文严谨地将 TTF 偏移与不完美的特征学习联系起来。通过证明（见命题 3.2 和 4.1），标准优化器可能会收敛到验证损失较低但特征子空间对齐较差的解，从而加剧 TTF。
DoPr 框架： 引入了一种全新的优化范式，将方向性（由 AP 处理以确保均匀特征学习）与适应性/稳定性（由 GP 处理）进行解耦。
即插即用兼容性： DoPr 被设计为现有优化器的即插即用替代方案。它不需要修改模型架构或数据清洗过程。
超参数迁移： 作者展示了由于 DoPr 保留了 GP 组件，因此针对基础 GP（如 Adam 或 Muon）推导出的现有超参数缩放规则（如 $\mu$ P 缩放学习率和权重衰减）可以直接迁移到 DoPr，从而便于大规模训练。

4. 实验结果

作者在连续控制、机器人技术和语言建模任务中评估了 DoPr。主要发现包括：

连续控制 (Humanoid-v5)： 与基准优化器（AdamW、Muon、Signum、AdaMuon）相比，DoPr 持续提升了最终奖励。值得注意的是，这种下游性能的提升并不总是与训练或验证损失的改善相关；在某些情况下，DoPr 在验证损失相等或略差的情况下实现了更高的奖励。
机器人策略学习 (Robomimic)： 在“Tool-Hang”和“Transport”等挑战性任务中，DoPr 变体在成功率上优于基准模型。同样，任务成功率的提升并未伴随训练损失的统一改善。
语言模型 (数学推理)：
- 3B SFT： 尽管 token 级的训练损失相当或更高，但在各种学习率下，DoPr-AdamW 在 GSM8K 上的峰值准确率均高于 AdamW。
- 8B SFT： 在更大规模的微调中，与基准 AdamW 相比，DoPr-AdamW 在验证损失与下游性能（GSM8K, MATH-500）之间表现出更强的相关性。基准 AdamW 模型在较高学习率下往往会出现验证损失改善但任务性能下降的情况，而 DoPr 则保持了稳健的性能。
- 跨任务冲突： DoPr 减少了任务间的冲突；GSM8K-CoT 的最优学习率也接近于 MATH-500 的最优学习率，而这一特性在基准 AdamW 中并未观察到。

5. 意义与主张

本文声称，优化是缓解 TTF 设置中误差累积的一个新设计维度，它有别于数据清洗或架构设计。

解耦损失与性能： 主要意义在于证明了在 TTF 设置中，提升下游性能并不一定需要（甚至可能不伴随）验证损失的改善。这挑战了“最小化训练损失是衡量模型质量唯一代理指标”的传统观念。
特征学习作为杠杆： 本研究认为，“均匀特征学习”（由 AP 确保）是实现 TTF 下鲁棒性的关键因素，而非损失收敛的速度。
实际效用： DoPr 提供了一种实用且低开销的干预手段（一种“插件”），能够提升模型在必须进行自我预测展开的现实部署场景中的鲁棒性。

作者最后提出疑问：是否仍存在“优化器的免费午餐”？这表明优化器中方向性与适应性的解耦仍然是一个肥沃的研究领域，特别是对于那些训练目标与部署现实存在偏差的任务。