🤖 machine learning

When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining

本文提出了一种基于梯度的双层方法，通过将复合梯度与下游目标对齐来在线高效地学习预训练损失权重，在匹配或提升性能的同时，相较于随机搜索或贝叶斯搜索显著降低了超参数调优的计算成本。

原作者： Ivan Karpukhin, Andrey Savchenko

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ivan Karpukhin, Andrey Savchenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个机器人成为顶级大厨。为此，你不仅仅给它一本食谱，而是给它一个包含数千种不同烹饪任务的大型图书馆：切菜、给肉调味、烤面包以及摆盘甜点。

在人工智能领域，这个“任务库”被称为预训练（pretraining）。机器人（即 AI 模型）同时从所有这些任务中学习。然而，这里有一个陷阱：每个任务都有自己的“分数”（称为损失，loss）。如果机器人烤糊了面包，烘焙任务的分数就会上升；如果它切洋葱太慢，切菜任务的分数就会上升。

问题在于：机器人应该多大程度上关注面包，又多大程度上关注洋葱？

旧方法：猜测与验证

传统上，工程师必须手动决定每个任务的重要性。他们可能会说：“烘焙占 50% 的重要性，切菜占 30%。”如果机器人在最终任务（例如服务顾客）上失败了，他们就必须从头开始，猜测新的数值（也许是 40% 烘焙，60% 切菜），并重新训练机器人。

如果你有 10 个不同的任务，可能的组合数量是巨大的。尝试所有组合就像试图通过品尝世界上每一种可能的组合来找到完美的香料配方——这不仅耗时无穷，而且在电力和时间上代价高昂。

新方法：“对齐”教练

这篇论文介绍了一种名为GraP（Gradient-aligned Pretraining，梯度对齐预训练）的新方法。GraP 不像猜测权重那样行事，而是像一位智能教练，实时观察机器人的学习过程。

以下是其工作原理，使用一个简单的类比：

共享大脑：想象机器人拥有一个处理所有信息的“共享大脑”（骨干网络），然后为每个任务（烘焙、切菜等）拥有独立的“专家”（头部）。
下游目标：机器人的终极目标是服务顾客（即下游任务）。教练确切地知道完美的客户服务是什么样子的。
对齐技巧：每当机器人犯错时，教练会观察两件事：
- “烘焙专家”希望如何改变大脑。
- “切菜专家”希望如何改变大脑。
- 关键在于：“客户服务目标”希望大脑如何改变。

随后，教练会问：“这些专家中，谁在推动大脑朝着与客户服务目标相同的方向变化？”

如果烘焙专家正在推动大脑朝着有益的方向（与目标对齐）变化，教练就会给予烘焙更高的权重（更多的重要性）。如果切菜专家正在推动大脑朝着令人困惑或相反的方向变化，教练就会降低其权重。

为什么这很重要

该论文声称有三个主要优势：

在线（实时）：教练不会等到一天结束才做决定。它会在机器人学习的同时调整权重。
成本低廉：通常，为了找出哪个任务最重要，你必须用不同的设置让机器人运行整个训练过程 50 次或 100 次。而 GraP 只需一次运行即可完成。这就像在一次品尝会话中找到完美的香料配方，而不是花费一年的烹饪时间。论文声称，与传统方法相比，这节省了约 98% 的计算成本。
发现“冗余”任务：在他们的实验中，该方法意识到一种特定类型的视觉任务（Attn-NNCLR）实际上并没有帮助机器人学得更好。它自动将该任务的权重降低到接近零。这就像教练意识到：“嘿，我们不需要练习杂耍；这无助于我们服务顾客”，从而完全停止该练习。

结果

研究人员在两种截然不同的“机器人”类型上测试了这种方法：

事件序列：基于事件历史预测诸如“这位客户会取消订阅吗？”或“这位用户接下来会买什么？”的机器人。
计算机视觉：学习识别图像（如猫、狗或汽车）而无需被告知它们是什么的机器人。

在这两种情况下，GraP 的表现与最佳手动调整的机器人一样好，甚至更好，但它无需经过昂贵的“猜测与验证”过程。

总结

将 GraP 想象成管弦乐团的自我纠正指挥家。指挥家（工程师）不必花费数月时间试图弄清楚小提琴相对于鼓应该有多大声，而是随着音乐的演奏倾听，并即时调整每件乐器的音量，以确保最终的歌曲听起来完美无缺。它节省时间、节省金钱，并高效地完成任务。

技术摘要：当损失对齐时：基于梯度的复合损失加权用于高效预训练

问题定义

现代深度学习系统通常采用两阶段范式：首先在大规模（通常是无标签）数据上进行预训练，随后适配到下游任务。在许多预训练流程中，目标函数并非单一损失，而是多个损失项的加权组合（例如，下一词元预测、对比损失或回归目标）。这些项的相对权重是关键超参数，显著影响所学表示的质量及下游性能。

目前，选择这些权重依赖于手动调优、随机搜索或贝叶斯优化。这些方法对于大规模预训练而言计算成本过高，因为它们需要多次独立的训练运行。此外，简单的默认设置（如均匀加权）往往无法兼顾不同损失项之间变化的贡献与冲突。本文旨在解决一种高效方法的需求，以调整复合预训练目标中的线性损失权重，从而在不产生重复完整训练成本的情况下最大化下游任务性能。

方法论：梯度对齐预训练（GraP）

作者提出了梯度对齐预训练（GraP），这是一种基于梯度的双层优化方法，可在线学习损失权重。其核心思想是将复合预训练梯度与下游目标的梯度进行对齐。

1. 双层优化公式

该问题被构建为一个双层优化任务：外循环优化损失权重 $w$ 以最小化下游损失 $L_{down}$ ，内循环优化模型参数 $\theta$ 以最小化复合预训练损失 $L_{pre}(w)$ 。
$\min_{w} L_{down}(\theta^*(w)) \quad \text{subject to} \quad \theta^*(w) = \arg\min_{\theta} \sum_{k=1}^K w_k L_k(\theta)$

2. 基于梯度的更新规则

利用截断反向传播方法（单步随机梯度下降），作者推导出了权重的更新规则。下游损失关于权重的梯度与下游梯度和各个预训练梯度之间的内积成正比：
$\frac{\partial L_{down}}{\partial w_k} \propto -\eta \, g_{down}^\top g_k$
其中 $g_{down}$ 是下游梯度， $g_k$ 是第 $k$ 个预训练损失的梯度。目标是最大化复合梯度 $\sum w_k g_k$ 与下游梯度之间的对齐程度。

3. 嵌入空间近似

一种朴素实现需要计算 $K$ 次完整的模型反向传播以获得 $g_k$ 。为了降低计算成本，GraP 计算关于共享骨干嵌入 $z$ 的梯度，而非整个参数空间。
$\tilde{g}_k = \nabla_z L_k(h_k(z))$
由于损失是通过对同一嵌入之上的独立头（heads）施加的，计算这些梯度比完整反向传播显著更便宜。优化目标变为最大化该共享表示空间中的对齐：
$\arg\max_{w} \frac{w^\top \tilde{G} \tilde{g}_{down}}{\|w^\top \tilde{G}\|}$

4. 归一化策略

本文反对对权重本身（例如 $\sum w_k = 1$ ）或其 $L_2$ 范数进行归一化，因为这些操作可能会扭曲复合梯度的最优方向。相反，GraP 对复合梯度本身的 $L_2$ 范数施加约束（ $\|\sum w_k g_k\| = 1$ ）。这确保优化关注更新向量的方向而非其幅度，从而在局部目标下恢复最优对齐方向。

5. 算法效率

由此产生的算法在每个迭代中仅需对骨干网络进行一次前向传播和一次反向传播。为各个头计算的梯度被重复用于更新损失权重和更新骨干参数。这将超参数调优的开销降低至单次训练运行的约 30%，而贝叶斯优化的成本则高出数个数量级。

主要贡献

问题定义：作者将预训练损失权重选择构建为一个明确针对下游性能的双层优化问题。
归一化洞察：他们分析了归一化策略，并证明约束更新向量（复合梯度）的范数优于约束权重本身，从而保留了最优对齐方向。
高效算法：他们提出了 GraP，这是一种相对于超参数数量具有 $O(1)$ 前向 - 反向步数复杂度的算法。它利用共享表示空间中的梯度对齐来避免多次反向传播。
实证效率：该方法实现了与标准超参数优化（如贝叶斯搜索）相当甚至更优的性能，同时效率提高了近50 倍，使得在传统方法计算不可行的场景下也能进行调优。
冗余识别：该方法展示了识别并降低冗余损失项权重的能力（例如，在视觉任务中为特定的对比损失分配接近零的权重），有效地充当了自动损失选择机制。

实验结果

该方法在两个领域进行了评估：事件序列建模和自监督计算机视觉。

事件序列建模

数据集：Churn、AgePred、AlfaBattle、MIMIC-III 和 Taobao。
设置：预训练涉及跨多个字段的下一词元预测（NTP）复合目标和一个对比损失。
性能：GraP 匹配或优于精心调优的基线（包括 GradNorm、DWA、MGDA 和 PCGrad）以及 Optuna 调优的权重。在 Churn 和 MIMIC-III 数据集上，无论使用 RNN、Transformer 还是 HT-Transformer 骨干网络，它始终取得了最佳结果。
效率：与需要数十次独立运行的贝叶斯优化（Optuna）相比，GraP 通过单次训练运行和适度的开销（吞吐量平均降低 44%）实现了相似的性能。

自监督计算机视觉

设置：在 CIFAR-10、CIFAR-100 和 ImageNet-100 上使用 All4One 框架（结合 Barlow Twins、BYOL 和 NNCLR 目标）进行评估。
性能：在这种目标通常已平衡良好的设置下，GraP 实现了与默认 All4One 参数及其他多任务学习方法相当的性能。
损失选择：值得注意的是，GraP 为 Attn-NNCLR 损失分配了接近零的权重。手动移除该损失产生了相似的性能，验证了该方法识别低影响或冗余目标的能力。

消融研究

标签泄露：改变用于权重调优的有标签数据比例的实验显示了鲁棒性，表明标签提供的是弱引导信号，而非对骨干网络的直接监督。
归一化：所提出的复合梯度归一化优于标准的权重和归一化。
辅助训练：使用 GraP 预训练随后进行监督微调，优于联合辅助训练，这可能是由于在有限有标签数据上减少了过拟合。

意义与主张

本文主张，基于梯度的损失权重优化是经典多任务学习和基于搜索的超参数优化的实用且高效的替代方案。其主要意义在于使超参数调优在具有多个损失项的大规模预训练场景中变得可行，而在这些场景中传统方法计算成本过高。

作者强调，GraP 不需要多次训练运行，因此适用于计算预算有限的环境。虽然该方法假设每个损失都有独立的头，但它通过对齐预训练更新方向与下游目标，有效地处理了冲突目标之间的权衡。这项工作表明，在复杂的预训练流程中，损失权重的自动、在线对齐可以产生与昂贵的手动调优或黑盒搜索所得相当甚至更优的表示。