🤖 machine learning

Loss Smoothing for Stable Adaptation Under Distribution Shift

本文提出了“损失平滑”（loss smoothing），一种通过在源目标与目标目标之间进行插值，以实现在分布偏移下的渐进式适应的方法，从而保留有用特征，并在微调和强化学习等多种任务中持续提升性能。

原作者： Darshan Patil, Ekaterina Lobacheva, Razvan Pascanu, Sarath Chandar

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Darshan Patil, Ekaterina Lobacheva, Razvan Pascanu, Sarath Chandar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位精通法式经典菜谱、并用多年时间不断完善它的名厨。你对食材的处理、火候的掌控以及时机的把握都了如指掌。现在，有人请你去做一道完全不同的菜，比如泰式辛辣咖喱。

旧方法（“硬切换”）：
在传统的机器学习中，当需要切换任务时，厨师会被告知立即扔掉手中的法式菜谱，忘掉关于法式烹饪的一切知识，仅凭新的指令从零开始学习泰式食谱。他们可能会保留切菜的基本技能（基础的切配能力），但被迫立即放弃所有的法式烹饪技巧。这种突然的变化往往会导致厨师陷入恐慌，导致新菜品失败，并丧失了原本积累的肌肉记忆。用论文中的术语来说，这是一种“突发性转变”（abrupt transition），它会扭曲有用的特征。

新方法（损失平滑/Loss Smoothing）：
作者提出了一种更温和的方法，称为损失平滑（Loss Smoothing）。在切换到新任务时，并不要求厨师立即丢弃法式菜谱，而是建议设置一个过渡期。

融合： 在新任务开始时，厨师遵循的是一种“混合型”指令。他们使用 90% 的新泰式指令和 10% 的旧法式技巧。
淡出： 随着烹饪的进行，配比会逐渐变化。变成 80% 泰式 / 20% 法式，然后是 50/50，最后达到 100% 泰式。
结果： 因为厨师没有经历那种突然且剧烈的跳跃，他们可以在学习新风味的同时，保留有用的刀工和通用的烹饪直觉。旧知识充当了一个安全网，防止他们在学习新风格的过程中犯下灾难性的错误。

这篇论文实际的研究发现

研究人员在四种不同的现实场景中测试了这种“融合”理念，就像一位试图尝试不同新菜系的厨师：

视频游戏 AI（强化学习）： 想象一个利用旧的、记录好的数据（离线）进行训练的 AI。当它开始与真实对手进行实时对抗（在线）时，它往往会感到困惑。“硬切换”会让它忘记从记录中学到的安全策略。损失平滑帮助 AI 在保留这些安全策略的同时，慢慢学会承担风险，从而在 AntMaze 和 HalfCheetah 等游戏中获得了更高的分数。
语言模型（LLM）： 大型语言模型首先在海量的互联网文本上进行预训练。然后，它们会被“微调”以遵循特定的指令。有时，如果模型在互联网数据上的训练过度，它会变得非常“脆弱”，一旦被要求遵循指令就会崩溃。论文发现，损失平滑（即从互联网文本向指令学习的逐渐过渡）防止了这种崩溃，使模型在保持聪明和有用性的同时，不会丢失其通用的知识。
学习新任务（持续学习）： 如果一个机器人先学习识别猫，然后是狗，接着是鸟，硬切换往往会导致它忘记如何识别猫。损失平滑帮助机器人在学习狗的同时记住猫，减少了通常会发生的“遗忘”现象。
视觉模型： 当一个模型从一组图像（如 ImageNet）适配到另一组图像（如 DomainNet）时，平滑的过渡有助于模型在学习新图像风格的同时，保持识别物体的能力。

核心结论

论文认为，从一个旧任务过渡到新任务时，“如何”过渡与新任务本身同样重要。

问题所在： 直接跳入一个新目标，就像是在踩死刹车的同时又猛踩油门。这会对系统造成冲击。
解决方案： 损失平滑就像是缓缓松开油门，然后温柔地踩下新的踏板。它让旧训练中有用的部分保留得足够久，以引导模型进入新任务，然后通过缓慢淡出，让模型实现专业化。

作者总结道，这种简单的技巧——即在旧目标和新目标之间进行插值——使得模型更加稳定，不易在学习过程中“崩溃”，并且在面对新情况（无论是机器人、语言模型还是图像分类器）时具有更好的适应能力。

重要提示： 论文严格关注这些模型的训练机制。它并未声称这种方法可以治愈疾病、预测股市，或在测试的特定训练场景（微调、强化学习和持续学习）之外用于特定的未来应用。这种“魔力”纯粹在于如何将学习过程平滑化的数学逻辑。

技术摘要：用于分布偏移下稳定适配的损失平滑技术

问题陈述

在诸如微调、持续学习和强化学习（RL）等场景中，神经网络经常需要从源分布适配到目标分布。标准的适配方法通常执行一种突发的“硬切换”（hard switch），即在目标阶段开始时立即丢弃源训练目标。作者认为，这种不连续的转换会导致脆弱的优化。具体而言，源目标的突然移除可能会扭曲那些对新任务仍有用的已学习表示和特征，从而导致次优性能、灾难性遗忘或不稳定性。当目标目标具有挑战性，或者模型经历了“灾难性过拟合”（即参数对下游更新变得高度敏感）时，这一问题尤为突出。

方法论：损失平滑

本文提出了一种名为**损失平滑（Loss Smoothing）**的轻量级干预手段，旨在用源目标与目标目标之间的渐进式过渡取代不连续的切换。

核心机制

该方法并非仅针对目标目标 $J_t(\theta)$ 进行优化，而是在适配阶段开始时，优化源目标 $J_s(\theta)$ 与目标目标的凸插值：
$J_\alpha(\theta) = (1 - \alpha)J_s(\theta) + \alpha J_t(\theta), \quad \alpha \in [0, 1]$

插值系数 $\alpha$ 根据调度方案 $\alpha(k) = \min(k/\tau, 1)$ 在 $\tau$ 个步骤内进行线性退火。

早期更新： 当 $\alpha$ 较小时，更新仍保持在源训练动力学附近，从而保留了来自源分布的有用的特征和结构。
后期更新： 随着 $\alpha$ 趋近于 1，该方法恢复为标准的针对目标目标的优化，允许模型实现对新任务的专业化。

实现细节

该方法具有通用性，不假设源阶段与目标阶段之间存在特定的关系。它需要对当前参数下的源目标进行估计，可以通过以下方式获得：

重放数据（Replay data）： 存储过去的转换或输入（用于 RL 和持续学习）。
存储的目标值（Stored targets）： 使用先前计算的价值目标或标签。
直接访问（Direct access）： 直接访问之前的训练分布（用于 LLM 微调）。

在源与目标目标规模不同（例如 TD3+BC 到 TD3）的情况下，该方法会对损失规模应用乘性退火，以确保平滑插值。

主要贡献

适配的形式化定义： 作者将适配定义为训练目标之间的转换，并将向目标目标的“硬切换”识别为分布偏移下脆弱优化的主要来源。
损失平滑算法： 他们引入了一种简单的、基于路径的插值方法，适用于输入偏移（ $u$ ）、学习信号偏移（ $s$ ）以及损失族偏移（ $\ell$ ）。
实证验证： 该方法在多种设置中展现出改进效果：
- 持续监督分布偏移。
- 预训练视觉模型适配。
- 离线到在线（Offline-to-online）及在线强化学习。
- 大语言模型（LLM）微调。
机制分析： 证据表明，在适配初期保留可重用的特征有助于实现更强的下游专业化，并减少瞬时性能崩溃（即“稳定性差距”）。

实验结果

1. 离线到在线强化学习

在 D4RL 基准测试（MuJoCo, AntMaze, Adroit）上，损失平滑被应用于最先进的离线到在线方法（TD3+BC, SPOT）。

性能： 损失平滑在所有套件中均取得了最佳的整体四分位间距平均值（IQM）得分，优于硬切换基线和其他离线到在线方法（AWAC, Cal-QL, OPT）。
权衡： 它成功平衡了利用离线预训练进行探索的需求（防止在 AntMaze 等困难任务上出现从零开始训练导致的零分失败），同时允许策略在在线数据可用时超越保守的离线约束。

2. LLM 微调

使用 OLMo-1B 模型，作者研究了“灾难性过拟合”现象，即更长的预训练会使模型更难微调。

结果： 损失平滑改善了分布内（ID）指令遵循性能与分布外（OOD）泛化能力之间的权衡。
缓解过拟合： 在硬切换微调因过拟合而导致性能下降的机制中，损失平滑维持甚至提升了性能。值得注意的是，在使用平滑处理后，在 Tulu-v1 数据集上取得的最佳性能来自于那个最“过拟合”的检查点，这表明转换路径本身与检查点质量同样重要。

3. 在线强化学习

应用于 Brax 和 DeepMind Control Suite 环境中的 TD3 和 PPO 算法。

稳定性： 尽管存在现有的稳定机制（经验回放池、目标网络），损失平滑仍提供了显著改进，部分环境的表现几乎翻倍。
观察： 该方法有助于稳定评论家（Critic）的适配，而 Critic 的适配通常比策略（Policy）的适配更困难。

4. 持续监督学习与视觉适配

特征保留： 在合成持续学习任务（置换输入、打乱标签）中，损失平로는保留了任务共享特征（例如置换输入中的深层特征），同时适配了任务特定组件（例如浅层特征），表现优于 EWC 和标准重放。
稳定性差距： 该方法显著减少了任务切换后前一任务性能的瞬时下降。
DomainNet： 在将 ImageNet 预训练的 ViT 适配到 DomainNet 时，损失平滑实现了比恒定重放更好的“保留-适配前沿”（retention-adaptation frontier），表明对源目标进行退火比维持固定的重放权重更有效。

意义与主张

论文声称，更平滑的目标转换是模型适配中一种广泛适用的工具。其核心论点是，脆弱的适配往往不仅源于目标目标的难度，更源于进入该目标时选择的、不连续的路径。

结构保留： 通过使早期更新与源目标保持联系，损失平滑防止了有用且任务共享的表示被立即覆盖。
路径依赖性： 结果表明，到达下游目标的路径至关重要。通过如何从预训练过渡到微调，可以缓解灾难性过拟合和特征扭曲，而不仅仅是取决于预训练检查点的质量。
通用性： 不同于依赖特定数据启发式或架构约束的方法，损失平滑是一种通用的干预手段，适用于输入、信号和损失函数的偏移。

作者对局限性保持了谦逊的态度，指出该方法需要获取或估计源目标（重放数据、存储的目标值），并引入了可能需要调优的超参数（平滑时间范围），特别是在分布偏移连续且难以定义的在线 RL 中。他们将自动检测平滑边界以及处理不兼容损失规模作为未来的研究方向。