🤖 machine learning

Training ML Models with Predictable Failures

本文分析了从有限评估集外推机器学习模型故障率时存在的偏差，识别了此类预测低估风险的特定条件，并提出了一种“可预测性损失”微调目标，该目标在保持任务性能与安全性的同时显著降低了预测误差。

原作者： Will Schwarzer, Scott Niekum

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Will Schwarzer, Scott Niekum

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名新自动驾驶汽车的安全检查员。你有一条小型测试赛道，上面有 100 辆车，用于检查碰撞事故。但这辆车实际上将被部署在拥有 1000 万辆车的公路上。

问题在于，你所担心的“最坏情况”碰撞极其罕见，以至于在你的 100 辆车测试中甚至可能一次都不会发生。如果你在小型测试中没有看到碰撞，你可能会错误地认为这辆车在公路上是绝对安全的。

本文提出了一种巧妙的解决方法。它建议两点：

更好的推测：我们可以利用数学（具体来说是极值理论这一分支）来观察我们小型测试中的“险些碰撞”，并数学地预测在巨大的公路上最严重的碰撞会有多严重。
更好的训练：我们实际上可以教导 AI 模型以某种方式行为，使得这种数学预测变得准确，而不会降低汽车完成其实际任务（驾驶）的能力。

以下是使用简单类比对该论文思想的分解：

1. 问题：“隐形怪兽”

想象你试图预测一名冲浪者将驾驭的最高浪高。你观察他冲浪一小时（你的“评估集”）。你看到了一些大浪，但没有灾难性的巨浪。

现实：这名冲浪者将冲浪 10 年（“部署集”）。在这 10 年中的某个时刻，会出现一个 100 英尺高的“怪兽浪”。
失败：因为你只观察了一小时，你没有看到怪兽浪。如果你仅根据所见进行猜测，你可能会预测最大浪高为 10 英尺。当 100 英尺的巨浪袭来时，你就大祸临头了。

2. 旧方案：“尾部外推”

研究人员此前开发了一种方法（由 Jones 等人提出）来解决这个问题。他们观察你在这一小时测试中确实看到的最大浪高。他们假设浪高遵循特定的数学形状（如平滑曲线），并画出一条线来猜测如果你观察 10 年，浪高会达到多高。

陷阱：这种数学技巧只有在浪高实际上遵循该平滑形状时才有效。如果冲浪者突然遇到一种完全不同的浪（一种“罕见模式”），而这种浪并未出现在你的一小时测试中，那么这条数学线将指向过低的位置。它将低估危险。

3. 论文的洞见：“教导模型变得可预测”

作者们意识到，问题不仅仅在于数学，还在于模型本身。AI 模型在失败的方式上可能是“混乱”或“不可预测”的。

类比：想象 AI 是一个参加考试的学生。有时它犯小错，有时它犯一个巨大且奇怪的错误，这是老师未曾预料的。老师（安全检查员）试图猜测该学生在期末考试中会犯的最严重错误。
创新：作者们创造了一种训练学生的新方法。他们不仅仅告诉学生“不要犯错”。他们告诉学生：“让你的错误遵循一种平滑、可预测的模式，这样我就能准确猜测你的最坏情况。”

他们将这种新的训练目标称为**“可预测性损失”**。

4. 工作原理（“魔法”技巧）

论文表明，你可以调整 AI 的训练，使得：

它保持擅长本职工作：AI 在解决实际问题（如驾驶或回答问题）方面不会变差。
它变得“守规矩”：AI 的最严重失败开始看起来像一条平滑曲线，而不是一团杂乱无章、不可预测的混乱。
数学生效：因为失败现在变得平滑且可预测，所以“外推数学”可以准确预测最坏情况，即使该情况尚未发生。

5. 结果：两项实验

作者在两个截然不同的领域测试了这一想法：

密码游戏（语言模型）：
- 设置：AI 被赋予一个秘密密码，并被告知绝不要说出它。测试是看它是否会意外泄露密码。
- 问题：大多数提示是安全的，但少数“对抗性”提示旨在诱骗 AI 泄露密码。这些恶意提示极其罕见，可能不会在小型测试中出现。
- 解决：他们使用新方法训练了 AI。AI 在预测何时可能泄露密码方面变得更好，并且实际上泄露密码的频率远低于以前，同时保持了正常对话的能力。
网格世界（机器人/强化学习）：
- 设置：一个机器人在网格中导航。大多数网格是安全的，但有些隐藏着陷阱。
- 问题：机器人可能会掉进它从未见过的陷阱。
- 解决：他们训练机器人具有“可预测的失败”。机器人学会了更好地避开陷阱，安全检查员也能准确预测机器人未来表现的最坏情况。

6. 关键要点

论文认为，我们不应仅仅希望我们的安全测试足够大，以捕捉每一次灾难。相反，我们应该以特定方式训练我们的 AI 模型使其“符合安全规范”：它们应以一种易于我们测量和预测的方式失败。

通过这样做，我们可以利用小型测试集来准确预测大规模现实世界部署的安全性。这就像教导冲浪者以某种方式驾驭海浪，使得科学家能够准确预测下一个怪兽浪的大小，即使科学家只观察了几分钟。

本文不声称的内容：

它不声称这解决了所有安全问题。
它不声称这适用于每一种 AI 失败类型（尽管在两项测试中效果良好）。
它不声称这已准备好立即用于生死攸关的医疗或军事系统；它是一个“概念验证”，表明数学和方法在受控实验中是有效的。

技术摘要：训练具有可预测故障的机器学习模型

问题陈述

机器学习系统的部署前安全评估依赖于对部署规模下故障率的估算。然而，灾难性故障往往极其罕见，以至于没有任何实用的评估集包含单个示例，从而在观测性能与未来风险之间造成了差距。尽管 Jones 等人 [21] 提出利用极值理论（EVT），从评估集中观测到的最大 $k$ 个分数外推至部署规模以估算故障率，但该方法依赖于两个关键假设：（A1）故障尾部渐近呈对数线性（Gumbel 域），以及（A2）评估集能代表部署分布。

本文识别出一种特定的故障模式，其中上述假设被违反：当部署集中包含评估集中缺失的罕见高故障模式（例如对抗性提示或危险布局）时。在这种情况下，基于 EVT 的预测器会系统地低估最坏情况风险。此外，本文证明，即使假设成立，标准估计量也具有固有的高估偏差；虽然这种偏差有利于安全，但可能被上述“占用”故障模式所抵消。

方法论

作者提出了可预测性微调（forecastability fine-tuning），这是一种调整预训练模型的方法，使其故障尾部符合准确 EVT 外推所需的结构假设。

1. 理论分解

核心理论贡献是对 Gumbel 尾部估计量的预测误差进行了有限- $k$ 分解。误差 $\Delta$ 被分解为：

秩项（ $T_\theta$ ）： 估计量固有的偏差，基于前 $k$ 个计数和部署比例。该项通常为正（高估），且独立于模型的具体参数，除一个缩放因子外。
曲率项（ $C_\theta$ ）： 与尾部 - 分位数曲线的二阶导数成正比。该项依赖于模型且可训练。它反映了尾部是“表现良好”（对数线性）还是弯曲的。
占用项（ $G_\theta$ ）： 当部署集中存在罕见的高风险组件而评估集中缺失时出现的非零项。该项导致低估。
高阶余项： 与平滑性违反相关的项（例如有界支撑或重尾）。

作者表明，当风险分数可微分时，预测误差关于模型参数是可微的。这使得误差本身可以作为损失函数。

2. 可预测性损失

提出的目标可预测性损失（forecastability loss），最小化了在扩展秩上，OLS 预测的最坏情况分数与实现的最坏情况分数之间的平方差。
$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$
其中 $\mathcal{J}$ 代表比拟合集更深的秩，权重 $w_j$ 遵循部署规模上的对数均匀先验。

3. 训练优化

为防止模型仅仅通过恶化其性能（例如通过增加风险分数以匹配过度预测的线）来使尾部变得“可预测”，作者引入了仅改进梯度掩码（improving-only gradient mask）。该掩码确保仅当梯度更新能降低特定任务的风险分数时才发生更新，从而有效地将预测目标与主要安全目标耦合。

此外，为避免过拟合数据的特定划分，该方法采用了元多任务微调（meta-multi-task fine-tuning）。在每个训练步骤中，任务池被随机划分为拟合集和部署集。维护一个高分任务的划分不变缓存，使得这种重新划分在计算上可行，而无需在每一步重新评分整个数据集。

主要贡献

有限- $k$ 误差分解： 对 Gumbel 尾部预测误差的理论分解，将依赖于模型的组件（曲率、占用）与依赖于估计量的组件（秩偏差）隔离开来。这精确指出了误差中哪些部分是可训练的。
可预测性损失： 一个可微的目标，通过塑造模型的故障尾部使其表现良好（对数线性）并代表部署分布，直接最小化预测误差。
实证验证： 证明针对可预测性的微调显著降低了保留集的预测误差，同时保持（或提升）了主要任务性能，并实现了与监督基线相当的安全性。

实验结果

该方法在两种设置下进行了评估：

语言模型（密码游戏）： 模型被指示保守秘密密码，但接受旨在提取该密码的对抗性提示测试。
- 结果： 与预训练基线相比，可预测性微调将最坏情况泄露概率降低了约 40 个数量级，达到了监督微调（SFT）的安全性。关键在于，与 SFT 相比，它更好地保留了模型能力（通过 WildChat KL 漂移衡量，漂移量低两个数量级）。此外，它将预测精度提高了约 60 倍，而 SFT 和事后校准则停滞在 20 倍以下。
强化学习（网格世界）： 策略在包含罕见且密集危险布局的网格世界中导航。
- 结果： 可预测性训练将能力（回报）提高了 1.27 倍，并将最坏情况后悔值降低了 3.5 倍，优于 SFT。在预测精度方面，该方法结合事后校准实现了 52 倍的提升，显著优于 SFT（26 倍）和单独校准（6 倍）。

在这两种情况下，“仅改进”掩码确保了预测误差的降低与最坏情况风险（泄露概率或后悔值）的真实降低相关联。

意义与主张

本文声称解决了部署前安全评估中缺失的一环：不仅能够从评估外推到部署规模的风险分数，而且能够训练模型，使这种外推变得可靠。

有利于安全的偏差： 作者指出，标准估计量具有固有的高估偏差，这对安全是可取的。然而，当评估集遗漏了罕见故障模式时，这种偏差会被抵消。可预测性训练旨在消除这种特定的故障模式。
校准的补充： 结果表明，虽然事后仿射校准可以纠正系统性偏差，但它无法修复尾部形状的结构不匹配或占用差距。可预测性训练塑造了底层尾部，使后续校准更有效。
可扩展性： 作者承认其实验规模较小（0.6B 和 8B 模型，合成混合）。他们声称该方法是一个可推广到其他分布的概念验证，但指出扩展到前沿模型和自然罕见模式是必要的下一步。
与现有方法的区别： 本文将其方法与分布鲁棒训练（最小化最坏情况损失）和重要性采样（需要采样故障）区分开来。可预测性损失专门针对风险分布的形状，使其适用于 EVT 外推，而不仅仅是最小化风险本身。

作者得出结论，部署前安全评估越来越依赖于外推尾部行为，而他们的结果表明，模型本身不必是此过程的固定输入；少量的微调可以产生一个模型，其尾部能被标准预测方法更准确地描述。