Applying a Requirements-Focused Agile Management Approach for Machine Learning-Enabled Systems
本文介绍了 RefineML 的实际应用与评估，这是一种专为机器学习赋能系统定制的、以需求为核心的敏捷方法，通过产学研合作表明，该方法能够改善沟通、促进早期可行性评估并实现双轨治理，尽管在将机器学习关注点操作化以及估算工作量方面仍存在挑战。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试制造一辆定制汽车，但它不是使用标准的发动机，而是试图构建一个通过观察数百万张道路照片来学习如何自动驾驶的“学习型”引擎。这就是构建**机器学习（ML）**系统的感觉：它是混乱的、不可预测的，并且与构建常规软件截然不同。
这篇论文讲述了一个团队（巴西的一家大学实验室和一家名为 EXA 的网络安全公司）尝试构建一个用于阻止在线诈骗的“智能卫士”的故事。他们需要一种新的方式来管理这个项目，因为旧的规则不再奏效。他们创造了一种名为 RefineML 的方法。
以下是他们是如何实现的，用简单的语言解释如下：
问题所在：“黑盒” vs. “流水线”
通常，构建软件就像一条流水线：你知道需要哪些零件，你制造它们，然后把它们组装在一起。
但构建 AI 更像是教一只狗去捡球。你不知道它需要多久才能学会，或者它是否真的能学会，直到你开始用数据训练它。
- 冲突点： 业务人员想要一个在严格时间表内交付的成品。而 AI 专家则需要时间进行实验、失败并重新尝试。他们说着不同的语言，导致项目陷入停滞。
解决方案：RefineML（“双轨制”施工现场）
该团队发明了 RefineML，这是一种类似于拥有两条平行轨道建设现场的管理风格。
1. 蓝图阶段（初始规范）
在挖掘之前，他们使用了一个名为 PerSpecML 的特殊清单。可以把它看作是一份“总蓝图”，强制要求所有人就以下内容达成一致：
- 我们在建造什么？（目标）
- 用户需要看到什么？（体验）
- 我们是否有足够的“砖块”（数据）？
- 基础是否足够坚固？（基础设施）
- 类比： 他们不只是说“盖一栋房子”，而是达成一致要“盖一栋拥有 3 间卧室、太阳能屋顶以及能停放卡车的车库的房子”。
2. “双轨制”系统（构思与可行性）
这是他们创新的核心。他们将工作分成了两条独立但相互连接的线路：
- 轨道 A（软件团队）： 他们负责建造汽车的车身、仪表盘和车门。他们需要一个“假引擎”来测试仪表盘是否正常工作。
- 轨道 B（AI 团队）： 他们正忙于训练这个“学习型引擎”。这需要时间且具有不可预测性。
神奇的技巧：“演示 API”（虚拟引擎）
为了让轨道 A 在轨道 B 仍在训练时也能继续推进，AI 团队构建了一个虚拟引擎（称为 Demo API）。它还不是真正的学习大脑，但它假装自己是。
- 类比： 想象软件团队正在建造汽车的内部。他们插进一个看起来像引擎的纸箱。这样他们就可以在等待真实引擎完成之前，测试方向盘和踏板。这防止了整个项目的停滞。
3. “领先两个冲刺”规则
AI 团队始终比软件团队领先两步。
- 类比： AI 团队正在烤蛋糕。他们在软件团队需要把蛋糕放入包装盒（集成它）的两天前就开始制作面糊（训练模型）。这给了烘焙师足够的时间去修复烤焦的蛋糕，而不至于耽误包装盒的交付。
4. “完成度层级”（LoD）
他们并没有等待一个“完美的 AI”，而是分层交付版本：
- 第 0 层： 虚拟引擎（Demo API）。
- 第 1 层： 最简可行模型（MVM）——一个虽然不完美但足以发挥作用的模型。
- 第 2 层及以上： 持续改进。
- 类比： 他们没有等待法拉利，而是先交付了一辆好用的自行车。然后是踏板车。最后才是汽车。客户立即获得了价值，团队也在不断升级。
在现实世界中发生了什么？
他们将此应用于一个旨在阻止诈骗的网络安全项目。
- 结果： 他们成功构建了检测诈骗信息、不安全网站甚至分析诈骗截图的工具。
- 胜利： 他们早期交付的“最简可行模型”实际上优于公司原有的解决方案。他们不必等待多年才得到完美的 AI；他们立即交付了价值并持续进行改进。
什么起作用了？
- 沟通： “蓝图”（PerSpecML）阻止了业务人员和 AI 专家各说各话。每个人都知道“成功”意味着什么。
- 不再阻塞： 由于有了“虚拟引擎”，软件团队不必在 AI 团队进行实验时闲坐着等待。
- 早期现实检查： 他们在开始之前就检查了是否有足够的数据。这避免了从一开始就在不可能完成的项目上浪费时间。
仍然困难的地方是什么？
即使有了这个优秀的系统，仍有两个大问题存在：
- “翻译”差距： 将高层级的“蓝图”转化为具体的日常任务仍然很难。这需要一位经验丰富的引导者（协调员）来帮助将宏大的想法转化为细小的步骤。
- “估算”的赌博： 你仍然无法完美预测训练一个 AI 需要多长时间。有时你尝试了两周，结果模型反而变差了。论文承认，估算 AI 的工作量仍然是一个没有任何管理工具能完全解决的谜团。
核心结论
RefineML 是一种通过接受 AI 的不可预测性来管理 AI 项目的方法。它使用“双轨”系统在 AI 学习的同时保持业务推进，利用“虚拟”版本保持彼此连接，并通过小步迭代、不断提升的方式而非等待完美来交付价值。它并没有解决 AI 需要多久才能学习的谜团，但它解决了如何让团队协作而不陷入停滞的问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。