Specifying AI-SDLC Processes: A Protocol Language for Human-Agent Boundaries
本文提出了一种用于规范人工智能软件开发生命周期(AI-SDLC)流程的形式化领域特定语言,该语言通过结构化强制执行原语来定义人机边界,通过区分策略与机制来限制系统故障率,并实现多智能体软件开发中职责分离的形式化。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下你正在建造一座摩天大楼。在过去,你雇佣了一支由人类建筑师、工程师和建筑工人组成的团队。每个人都各司其职,并且有着严格的规则:浇筑混凝土的人不能同时也是签署安全检查报告的人。
现在,想象一下你用一半极其聪明、快速但有时难以预测的 AI 机器人取代了你的团队。它们可以编写代码、设计蓝图并在几秒钟内修复漏洞。但问题在于:你如何确保这些机器人不会意外地让大楼爆炸、跳过安全检查,或者对自己的错误视而不见?
目前,团队只是通过聊天信息(提示词/prompts)来“告诉”机器人该做什么。但机器人就像是学生,如果你不把指令写得完美无缺,它们就会忘记指令,或者可能会感到困惑而偏离任务。如果机器人犯了错,它甚至可能意识不到,整个项目可能会因此崩塌。
这篇论文提出了一种新的规则手册(一种“协议语言”)来管理人机协作团队。与其仅仅与机器人聊天,不如编写一份严格的、机器可读的合同,使其充当大楼的结构钢材。
以下是该论文如何使用简单的类比来拆解其内容的:
1. 问题所在:“漂移”的指令
目前,如果你想让机器人检查自己的工作后再继续下一步,你必须在提示词中告诉它。但机器人是“非确定性”的——它们今天可能会遵守规则,明天却可能忽略规则,或者对“检查一下”的理解与你的本意不符。
- 论文的观点: 依赖机器人去“表现良好”,就像是在没有洗手池的情况下要求一个孩子记得洗手一样。这是有风险的。
- 解决方案: 与其要求机器人去“记住”,不如在门上安装一把锁。除非插入“钥匙”(验证令牌),否则机器人物理上无法进入下一步。如果机器人试图跳过检查,门就会保持锁定状态。
2. 新语言:“策略 vs. 机制”
作者区分了两个概念:
- 策略(意图): “我们希望代码是安全的。”(这仅仅是一个愿望)。
- 机制(执行): “系统将物理性地阻止代码被保存,除非有三个不同的验证者签字确认。”(这是一个硬性规则)。
这就像一家银行。
- 策略: “我们希望防止欺诈。”
- 机制: “未经经理指纹验证,你无法提取超过 500 美元的现金。”
论文认为,对于 AI,我们需要的是机制(指纹扫描仪),而不仅仅是策略(墙上的告示牌)。
3. “2+N” 团队模式
论文建议了一种效果最好的特定团队结构,称为 2+N 模式。
- “2”个核心人类: 你需要两名负责人,但他们的职责不同。
- 人类 A(生产者): 监督负责编写代码的机器人。
- 人类 B(审查者): 监督负责检查代码的机器人。
- 为什么要两个人? 一个人不应该被允许既编写检查项又签署检查项。他们必须分离,以防止错误或作弊。
- “N”个机器人: 这些是专门的工人(编码员、安全检查员、测试员)。它们承担繁重的工作,但受到人类和规则的严格控制。
4. “自我检查”循环(克莱尼闭包/Kleene Closure)
想象一条工厂装配线。通常,如果零件损坏,生产线会停止。但在这种 AI 系统中,如果机器人发现了一个问题,它不仅会停止,还会自动生成一个新的、规模更小的机器人团队来专门解决该问题,并遵循完全相同的规则。
- 论文的观点: 这是自动发生的。系统设计为使“修复问题”本身就是另一个遵循相同严格检查规则的“任务”。这就像一个俄罗斯套娃,每一层都遵循同样的安全性规则。
5. “自我监管”的守护者
该设计最聪明的部分是,系统可以包含一个专门负责监视其他机器人的机器人。
- 这个“守护者机器人”并不编写代码;它只观察其他机器人是否遵守规则手册。
- 它会检查:“编码员在编辑前请求许可了吗?”“审查者签字了吗?”
- 如果守护者看到规则被违反,它会停止整个流程。这就像一名裁判,盯着球员以确保他们没有作弊。
6. 为什么这很重要(“商品化”论点)
论文指出,AI 模型(即“大脑”)正变得非常相似且廉价。很快,使用模型 A 还是模型 B 并不重要;它们都会擅长基础工作。
- 真正的价值: 价值不在于你使用哪个机器人,而在于你如何组织它们。
- 一个拥有优秀“规则手册”(协议)的团队将会生存并壮大,无论他们雇佣哪种机器人。规则手册将成为他们最宝贵的资产,就像一份秘密配方,而机器人仅仅是原材料。
总结
论文的核心观点是:不要信任 AI 去“记住”规则。 相反,要构建一个让规则被硬编码进机械构造中的系统。如果机器人试图违反规则,机器会物理性地阻止它。通过将“编写者”与“检查者”分离,并使用严格、不可破坏的过程,我们可以安全地利用 AI 来构建复杂的软件,而不至于让其崩溃。
该论文并未声称:
- 它并未声称这能让 AI 变得完美或毫无差错。机器人仍然可能犯错,但“跳过步骤”的行为被消除了。
- 它并未声称这适用于所有类型的职业;这目前是对软件开发领域的提议。
- 它并未声称已在数千家公司进行了测试;他们仅在自己的系统上进行了测试以证明其有效性。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。