Using dynamic loss weighting to boost improvements in forecast stability

想象一下你是一名气象预报员，正试图预测下周的气温。每天早晨，你都会得到一个新的数据——来自昨天的最新气温读数。自然地，你会更新对下周二的预测。但问题在于，每次你更新时，你对下周二的预测可能会剧烈跳动或下降。有一天你说会是 70°F，第二天变成 65°F，然后又是 72°F。这种不断的摆动被称为“预测不稳定性”。对于任何试图规划野餐或供应链的人来说，这都很烦人，因为他们无法信任这些数字的稳定性。

科学家们一直试图构建不仅准确（预测对温度）而且稳定（坚持其观点）的计算机模型。最近，研究人员发现了一种方法，通过添加“稳定性惩罚”来教这些模型变得更加稳健。这就像一位老师告诉学生：“不要只顾着答对题目；也不要在看到新提示时总是改变你的答案。”然而，旧的方法教导方式有些僵化。它使用了一个固定的规则手册，规定：“关注 10% 的稳定性，关注 90% 的准确性”，而且这个比例在整个训练过程中从未改变。

这篇论文提出了一个简单而好奇的问题：如果我们让规则手册变得动态化呢？如果我们让计算机先学习如何做到准确，然后在它掌握了基础知识之后，才开始担心稳定性呢？来自鲁汶大学（KU Leuven）的研究团队测试了这个想法，他们使用了一个强大的预测模型——N-BEATS。他们尝试了几种“动态损失权重”（dynamic loss weighting）技术——这些方法可以让计算机在学习过程中调整准确性与稳定性之间的重要性权重。他们发现，通过让模型实时调整自己的优先级，我们可以得到既同样准确又比以前少许多抖动的预测。这就像是教一个学生在掌握课程后停止自我怀疑，从而产生人们可以真正信任的预测。

摇摆不定的预测故事

在时间序列预测的世界里，计算机就像是利用过去来猜测未来的水晶球。但这些水晶球有一个坏习惯：它们是反复无常的。当新数据到达时，模型可能会完全颠覆它对下周的预测。这被称为滚动起点预测不稳定性（rolling origin forecast instability）。想象一下你在筹划一个派对。如果你的朋友告诉你，“我觉得会有 10 个人来”，然后五分钟后又说，“实际上，也许有 20 人”，一小时后又说，“等等，也许只有 5 人”，你会感到非常沮丧。你需要一个足够可靠的预测，以便订购正确数量的披萨。

长期以来，目标仅仅是让预测尽可能准确。但在现实世界中，准确性并不是唯一重要的。如果预测跳动得太厉害，人们就会失去信任。他们可能会开始根据自己的“直觉”进行调整，而这往往会让预测变得更不准确。因此，研究人员希望教模型在保持“准确性”的同时实现“稳定性”。

旧的方法：静态规则手册

此前，一种名为 N-BEATS-S 的方法被引入以解决这个问题。它的工作原理是给计算机布置一份由两部分组成的家庭作业：

1. 部分 A： 把数字算对（准确性）。
2. 部分 B： 当你获得新数据时，不要把答案改动得太大（稳定性）。

计算机必须平衡这两项任务。实现这一目标的老方法是使用一个静态超参数（我们称之为 $\lambda$）。这就像是一个人类训练师在计算机开始学习前设置好的旋钮。如果你将旋钮设定为 0.025，就是在告诉计算机：“嘿，把 97.5% 的精力放在准确性上，只花 2.5% 的精力在稳定性上。”如果你将其设定为 0.275，就是在告诉它：“好吧，多关注一下稳定性。”

这个静态旋钮的问题在于，它在整个训练过程中是固定不变的。计算机无法决定何时该关注什么。这就像告诉一个学生：“整个学期里，你要花 20% 的时间学数学，80% 的时间学历史”，即使他们已经是数学天才，只需要练习一下历史一样。研究人员怀疑，这种僵化的规则手册可能限制了计算机的表现。

新的想法：动态之舞

本文的作者们想到了：如果计算机能在学习的过程中改变这个旋钮呢？这被称为动态损失权重（Dynamic Loss Weighting, DLW）。与其使用固定规则，不如让计算机自己决定：“好吧，现在我对准确性的把握很差，所以我先忽略稳定性。但一旦我对准确性掌握得很好，我就会开始担心稳定性。”

他们测试了几种现有的实现此类动态平衡的方法，并还发明了一种新的方法，称为任务感知随机权重法（Task-Aware Random Weighting, TARW）。

• GradNorm： 这种方法试图确保计算机以相同的速度学习两项任务。如果它学习准确性的速度太快，它就会放慢速度以专注于稳定性。
• 不确定性权重法（Uncertainty Weighting）： 这种方法会询问：“我对这项任务有多不确定？”如果计算机对稳定性非常不确定，它就会减少对这项任务的关注。
• 随机权重法（Random Weighting, RW）： 这有点混乱。它每当计算机学习新的一批数据时，都会在 0 到 1 之间随机挑选一个数字作为稳定性的旋钮。令人惊讶的是，这种随机性通常效果很好。
• TARW（新成员）： 作者们改进了“随机权重法”的想法。他们不是在 0 到 1 之间选取数字，而是在 0 到一个特定上限（我们称之为 $\kappa$）之间选取。这确保了计算机不会过度痴迷于稳定性而忘记了准确性。这就像是在说：“你可以随机，但不要做得太过分。”

他们的发现：完美的平衡点

团队在两个大规模月度时间序列数据集（M3 和 M4 数据集，包含数千个不同的时间序列，如销售额或天气数据）上进行了实验。他们将新的动态方法与旧的静态方法（带有固定旋钮的 N-BEATS-S）进行了对比。

以下是数据告诉他们的结果：

1. 稳定性提升： 几乎所有的动态方法都使预测变得更加稳定。预测中的“摆动”显著减少了。例如，在 M4 数据集上，一些方法将不稳定性指标（RMSSC）从大约 0.537（旧的静态方法）降低到了 0.146 或 0.224。这是在抖动程度上巨大的降幅。
2. 准确性保持稳定： 最大的担忧是，通过专注于稳定性，计算机会变得不再准确。结果显示，对于表现最好的方法，准确性几乎保持不变。事实上，在 M3 数据集上，新的 TARW high 方法产生的预测甚至比旧的 N-BEATS 模型更准确，其得分（RMSSE）为 1.082，而旧模型为 1.088。
3. 胜出者： TARW 方法（特别是 "high" 版本）脱颖而出。它在显著提高稳定性的同时，并没有损害准确性。它就像是找到了一种让预测既坚如磐石又极其精准的方法。
4. “为什么”： 当他们深入观察底层机制时，发现动态方法确实如作者所愿在起作用。在训练初期，计算机高度关注准确性。只有在掌握了准确性之后，它才开始关注稳定性。相比之下，静态方法试图从第一天起就兼顾两者，这有时会误导模型，或者迫使它进入一个“局部最优解”（即一个虽然稳定但并不够准确的停滞点）。

总结

论文表明，我们不需要用僵化、预设的规则来强迫计算机平衡准确性和稳定性。相反，让模型动态地调整其优先级——特别是先优先考虑准确性，然后再引入稳定性——会带来更好的结果。

作者提出了将 TARW 作为一种简单且有效的工具。它本质上是一个“智能随机器”，能防止计算机在过早阶段就过度痴迷于稳定性。虽然在训练期间的计算成本略高（计算机需要进行微小的数学运算来调整权重），但在实际使用（推理）阶段，其计算成本与旧方法完全相同。

最后，这项研究表明，如果你想要一个人们可以信任的预测系统，你不应该仅仅要求它准确。你应该教它保持一致，但你必须在正确的时间教它这一课。通过使用这些动态方法，我们可以得到不仅正确而且可靠的预测，从而为企业和规划者免去不断变化的数字所带来的头痛。