🤖 machine learning

From Failure to Alignment: A Requirements Engineering Framework for Machine Learning Systems

本文提出了 REAL，一个基于模型的需求工程框架，该框架整合了数据、模型和系统需求，并利用故障分析和迭代优化，以确保机器学习系统符合利益相关者的需求并具备可信度。

原作者： Amel Bennaceur, Gopi Krishnan Rajbahadur, Prince Mercy, Bashar Nuseibeh, Faeq Alrimawi

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Amel Bennaceur, Gopi Krishnan Rajbahadur, Prince Mercy, Bashar Nuseibeh, Faeq Alrimawi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人开车。你告诉它：“永远不要撞到行人。”听起来很简单，对吧？但在现实世界中，情况会变得非常复杂。机器人可能会因为雨天而看不见一个小孩子，或者可能因为路面上飘过一个塑料袋就过度刹车。

这篇题为**《从失败到对齐》（From Failure to Alignment）**的论文介绍了一种构建这些智能系统的新方法。作者将他们的方法称为 REAL（面向学习与失败之机器的需求工程 —— Requirements Engineering for mAchines that Learn - and Fail）。

以下是该核心思想的拆解，通过简单的类比来呈现：

1. 问题所在：“完美世界”陷阱

传统的软件就像食谱：如果你严格按照步骤操作，每次都会得到同样的蛋糕。而机器学习（ML）则不同。它更像是教一只狗去捡球。你给它看一个球，它学会了去捡。但如果你扔出一个棍子、一个飞盘或一只鞋子，它可能会感到困惑。

作者认为，当我们构建这些“学习型”系统时，我们往往假设世界会看起来和训练数据一模一样。但现实世界充满了意外（雾气、奇特的衣着、小孩）。当系统失败时，工程师通常只是试图“修复这个漏洞（bug）”。作者说：不要把失败视为漏洞。要把失败视为线索。

2. 解决方案：REAL 框架

REAL 框架是一个三步循环，它将“失败”转化为“更好的指令”。把它想象成一个侦探故事：失败是犯罪现场，而目标是查明缺失了哪条规则。

第一步：寻找“如果……会怎样”（场景探索）

框架不仅仅是在晴天测试汽车，它使用一种“语法”（一套规则）来自动生成成千上万个奇怪、棘手或罕见的场景。

类比： 想象一个视频游戏关卡生成器，它能创造出数百万种不同的天气条件、行人大小和横穿角度。它专门寻找那些汽车差点撞车或漏掉行人的时刻。
目标： 找到“有效的失败”——即那些虽然真实存在，但系统出错的情况。

第二步：调查“为什么”（障碍分析）

一旦发现失败，框架就会追问：为什么会发生这种情况？ 它不会只说“传感器失效了”，而是将其映射回原始规则。

类比： 如果汽车漏掉了一个小孩，框架不会只说“修理摄像头”。它意识到原始规则是“看见所有行人”。这次失败揭示了一个隐藏的假设：“我们假设所有的行人都能被轻易看见。”
结果： 失败被重新分类为一个障碍（Obstacle）。这就像是在地图上放了一个告示牌，上面写着：“这里是我们的现有地图出错的地方。”

第三步：多层修复（缓解措施）

现在我们知道哪里出了问题，于是进行修复。但作者说，你不能只修复一处，你必须观察四个不同的层面，就像修缮房屋一样：

数据层（食材）： 也许机器人在训练期间从未见过雨中的小孩。修复方法： 给它看更多雨中小孩的照片。
模型层（大脑）： 也许机器人的“大脑”反应太慢或产生了混乱。修复方法： 改变大脑内部的数学逻辑，使其更加谨慎。
系统层（身体）： 也许大脑反应慢，所以汽车需要一个备选方案。修复方法： 添加一条规则，规定“如果你不是 100% 确定，就请缓慢减速”。
需求层（合同）： 也许原始规则本身就是不可能实现的。修复方法： 承认汽车在浓雾中无法看见，并更新规则为“不要在浓雾中驾驶”。

3. 现实世界测试：自动刹车汽车

为了证明其有效性，作者将 REAL 应用于一个自动刹车系统（一种会为行人停车的汽车）上进行测试。

设置： 他们使用模拟器（一个视频游戏世界）创建了包含儿童、成人、雾气和不同衣着的场景。
发现： 系统在恶劣天气下经常漏掉小孩。
REAL 流程：
- 他们找到了失败点（漏掉了小孩）。
- 他们识别了障碍（系统未考虑到“体型较小”和“低能见度”这两个因素）。
- 他们应用了修复措施：增加了更多关于小孩的训练数据，调整了汽车的置信度阈值，并明确了汽车何时可以驾驶的规则。
结果： 通过使用这个循环，他们将漏掉小孩的次数从最坏情况下的 100% 降低到了 8%，并使汽车的规则变得更加清晰。

核心启示

论文声称，失败不是终点，而是地图。

与其试图构建一个永不失败的完美系统（这几乎是不可能的），REAL 框架利用失败来不断更新系统与现实世界之间的“契约”。它连接了以下三点：

人类想要什么（安全性）。
世界实际是什么样的（雾、小孩）。
计算机实际在做什么（漏掉目标）。

通过将失败视为一种诊断工具，该框架帮助工程师构建出能够诚实面对自身局限性、并在现实世界中更加安全的系统。

该论文并未声称：

它并未声称解决了 AI 的所有问题。
它并未声称这适用于所有类型的 AI（如聊天机器人或医疗诊断），尽管他们计划尝试。
它并不承诺系统以后永远不会再失败；它承诺的是，系统将变得更擅长理解为什么失败，以及如何调整其规则。

技术摘要：从失效到对齐：一种面向机器学习系统的需求工程框架

问题陈述

开发机器学习系统（MLS）的组织在确保这些系统具备可信度并与利益相关者需求保持一致方面面临着重大挑战。与传统软件不同，MLS 的行为是从数据中学习而来的，而非通过显式编程实现的，这使得其性能依赖于分布情况，且由于泛化和不确定性，失效是固有现象。当前的需求工程（RE）实践难以系统地建模和推理 MLS 需求，原因在于：

欠规范性（Underspecification）： 操作领域是开放式的，预先进行完整的规范说明是不现实的。
隐性假设（Implicit Assumptions）： 领域假设（例如数据覆盖范围、感知极限）通常是隐性的，导致当失效发生时，利益相关者目标、领域假设与系统行为之间出现失配。
缺乏集成（Lack of Integration）： 虽然失效检测在 ML 测试中很常见，但在将失效发现系统地集成到 RE 流程以驱动需求细化方面仍存在空白。现有的方法通常将失效视为测试产物或调试问题，而非用于优化需求和领域假设的诊断性证据。

本文旨在解决三个研究问题（RQ）：

RQ1： 如何使关于需求的推理在 MLS 中实现操作化？
RQ2： 如何将失效发现与缓解系统地集成到 RE 流程中？
RQ3： 基于失效驱动的跨层适配在多大程度上能显著提高需求满足度？

方法论：REAL 框架

作者提出了 REAL（Requirements Engineering for mAchines that Learn - and Fail，面向学习与失效之机器的需求工程）框架，这是一个将失效视为一等公民（first-class construct）的模型驱动框架。REAL 基于三个核心原则运行：将数据、模型和系统需求交织在一起；利用失效来驱动替代方案的需求探索；以及进行迭代、可追溯的细化。

该框架建立了一个涉及三个阶段的迭代对齐环路：

1. 通过场景探索识别失效

REAL 不假设需求满足是均匀分布的，而是通过参数化的场景空间 $D(\theta)$ 来实现领域的操作化。

语法引导生成（Grammar-Guided Generation）： 它使用语法演化（GE）结合由形式化语法定义的领域特定语言（DSL），自动生成结构化场景（参与者、环境、行为）。
容许性过滤（Admissibility Filtering）： 框架区分了有效失效（发生在容许的领域假设内）和伪失效（由超出范围的场景触发）。只有当 $D(\theta), S \not\models R$ 且满足容许性约束时，有效的失效才会被传递至分析阶段。

2. 通过障碍分析分析失效

失效被重新解释为 KAOS 式目标模型中的障碍（obstacles）。

反例解释（Counterexample Interpretation）： 失效轨迹被视为对满足关系的对立面（counterexample）。
障碍推导（Obstacle Derivation）： 失效被聚类以识别重复模式，从而将经验性的反例提升为显式的障碍条件（ $O$ ），其中 $O \Rightarrow \neg R$ 。这诊断了利益相关者目标、领域假设与系统行为之间的失配。

3. 通过多层适配缓解失效

REAL 区分了四个层级的适配，以恢复满足关系（ $D, S \models R$ ）：

数据层（Data-level）： 通过增强训练分布或重新平衡类别，来解决分布差异问题。
模型层（Model-level）： 调整架构、超参数或决策阈值，以重塑学习到的决策边界。
系统层（System-level）： 在不修改已学习模型的情况下，引入具备置信度感知的控制逻辑、故障安全行为或冗余。
需求层（Requirement-level）： 细化需求（ $R$ ）或领域假设（ $D$ ）本身（例如，界定操作设计域 ODD），当失效揭示了欠规范的需求或不切实际的假设时。

此过程是迭代的；新的适配可能会暴露新的违规情况，从而要求对三元组 $(D, S, R)$ 进行进一步细化。

主要贡献

本文做出了四个主要贡献：

操作化联系： 它通过语法引导的场景探索，将利益相关者需求与可执行的领域变动性联系起来，实现了对需求相关反例的系统性发现。
基于障碍的解释： 它将经验性失效重新解释为目标模型中的障碍，提供了一种诊断失配的原则性机制。
多层缓解策略： 它定义并评估了跨数据、模型、系统和需求层的协调适配，明确展示了缓解决策如何影响需求满足度。
自动驾驶演示器： 它提供了一个公开的复现包，利用 CARLA、Scenic 和进化场景生成技术，在自动驾驶制动系统上演示该框架。

实验结果

该框架通过一个带有行人检测组件（YOLOv5）和确定性制动控制器的自动驾驶制动系统进行了评估。

实验设置：

环境： CARLA 模拟器，配合用于场景规范的 Scenic。
生成器： 用于场景生成的 GRAPE（语法演化）。
关注点： 系统性地变化行人尺寸、距离、方向、衣着以及天气（雾）。

研究发现：

失效识别： 框架成功识别了有效的需求违规，例如：由于尺寸导致的儿童行人漏检、由于视觉显著性降低（衣着对比度）导致的失效，以及在雾天环境下性能下降（可见度）的问题。
障碍分析： 失效被归纳为三类不同的障碍：行人尺寸过小（PedestrianSizeTooSmall）、视觉显著性（VisualSaliency） 以及 恶劣天气（AdverseWeather）。
缓解有效性：
- 模型层（M1）： 切换到更大的模型（YOLOv5m）提高了准确率（+17%），但引入了因延迟导致的短距离场景失效。
- 数据层（M2）： 针对儿童行人数据的定向微调消除了与尺寸相关的失效，并显著提升了在雾天下的表现（碰撞率从 100% 降至 0%）。
- 系统层（M4）： 实现具备置信度感知的制动功能，在不重新训练的情况下，将残余的儿童碰撞率从 100% 降至 8%。
- 需求层（M5）： 通过明确界定操作设计域（ODD）和设定定量阈值，明确了安全保证的界限。
总体影响： 跨层协调适配将儿童碰撞率从基准值的 100% 降低到了 8%，并消除了常态天气下的失效。研究表明，孤立的模型优化是不够的；实现对齐需要解决数据、模型、系统和需求之间的相互作用。

重要性与主张

本文声称 REAL 提供了一个将测试结果集成到 RE 构件中的系统化流程。其重要性在于：

转变失效视角： 将失效从单纯的技术缺陷转变为对需求、假设与实现之间失配的诊断性证据。
实现对齐操作化： 提供了一种具体的机制，通过障碍分析将高层利益相关者目标与底层系统行为及领域假设联系起来。
跨层协调： 证明了恢复 MLS 的对齐不仅需要孤立的修复，还需要在数据、模型、系统和需求多个层级进行协调适配。

作者保持了审慎的态度，承认评估仅限于一个简化的安全关键型示例，并且该过程并不保证在所有情况下都能收敛。他们指出，虽然框架构建了流程，但人类判断对于解释失效和选择缓解策略仍然至关重要。未来的工作建议将 REAL 扩展到大语言模型（LLM）、更深入地纳入利益相关者价值观，并研究迭代对齐环路的收敛条件。