Closing the Verification Loop in Generative Development: An External Transactional State Machine and a Field Evaluation of Its Economics and Convergence
本文论证了，通过实施一个外部事务状态机来强制执行可复现且双重验证的就绪标准，可以将生成式开发从一个开环的、基于意见的过程转变为一个闭环系统，从而在实现不同模型间功能等效的同时，最终降低总成本并实现人工干预的移除。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代软件创作的版图中，一种新型的工作者已经出现：即编写计算机代码的人工智能。这些系统可以根据人类对任务的描述，以惊人的速度生成可运行的程序。然而，一个根本性的问题依然存在：虽然机器可以生成代码，但它无法可靠地判断工作是否真正完成。目前的流程通常是一种“编写并相信”的过程，即由人类或机器本身去猜测结果是否有效，这导致了隐藏的错误以及后续昂贵的修正成本。这种不确定性在客户需求与软件实际功能之间制造了鸿沟。为了解决这个问题，研究人员正在探索是否可以引入一个僵化的外部系统，充当公正的裁判，将“完成”这一主观意见转化为可验证的事实。
独立学者安东·N·斯莫林（Anton N. Smolin）试图通过一项大规模实地实验来测试这一想法。他们构建了一个专门的系统，称之为“外部事务状态机”（external transactional state machine），作为软件开发的永久、不变的裁判。与那些仅存在于对话中并在聊天结束时便消失的标准工具不同，这台机器永远拥有对需求和游戏规则的所有权。它存储了一份严格的检查清单，要求软件必须通过这些检查；它在干净的环境中将每一项测试运行两次，以确保结果是真实的而非仅仅是运气好；并且它会发布一份签署过的判决，判定为“就绪”或“未就绪”。该机器不进行猜测，只进行测量。如果软件失败，机器会提供一个具体的、命名的失败原因，并重复该过程，直到满足规则为止。
为了观察这种方法是否奏效，研究人员设计了一项严谨的对比实验，涉及二十五种不同的软件任务。这些任务涵盖了从图像处理工具到网络中继器及文件生成器等多种类型，涉及五种不同的编程语言。他们使用三种不同的方法对每项任务进行了三次运行。首先，他们使用了一个由新机器引导的高性能、高成本的AI模型。其次，他们使用了一个同样由机器引导的更便宜、更快速的AI模型。第三，他们让高性能AI模型在没有机器引导的情况下独立工作，模拟标准的“编写并相信”模式。至关重要的是，他们引入了第四个独立的裁判，通过将独立尝试的结果与机器设定的严格、逐字节（byte-for-byte）的预期进行对比，来评估其表现。这位裁判没有编辑代码或寻找借口的权利；它仅仅是检查输出是否完全符合规则。
结果揭示了两种方法之间的显著差异。当AI独立工作时，其功能核心几乎总是字节级正确的，但在详细检查行的输出与严格参考标准之间存在偏差，偏差率高达78%。这些偏差并非功能性缺陷，而是关于协议、诊断信息和格式方面的差异。然而，由该系统引导的机器则确保了无论是昂贵还是廉价的AI模型，都能为它们运行的每一项任务产生经过验证的结果。在系统引导的运行中，无论使用的是哪种AI模型，该机器都成功地为全部二十五项任务交付了经过验证的软件。研究人员发现，独立尝试中的“失败”很少在于软件的核心功能是否正常运作，而是在于诸如错误消息、退出码和格式化等微小细节。这些正是合同应当定义的精确细节，但人类或独立的AI往往会对这些细节产生不同的解读。
或许最令人惊讶的发现在于该过程的成本与效率。研究人员最初指出，封闭环路的主要益处在于“可调和性（reconcilability），而非 Token 经济性”，因为独立路径在原始 Token 使用量上显得更便宜。然而，当他们计入全额成本——包括人类修复独立 AI 错误所需的时间——时，机器引导的路径被证明是更经济的选择。虽然独立 AI 在编写瞬间的速度更快，但它产生了如此多的微小错误，以至于人类必须花费数小时去修复它们，而这一成本被该机器系统完全消除。此外，研究人员发现，高质量的结果并不一定需要昂贵、强大的AI模型。在机器的引导下，较便宜的AI模型能够产生与昂贵模型完全一致的完美输出，其耗时仅略长，但成本却仅为后者的极小部分。
该研究还表明，该机器可以在极少的人为干预下运行绝大多数任务。当AI遇到指令不明的情况时，机器会应用预先记录的默认决策并进行记录，从而允许流程继续进行。在初始实验中，有74处此类分歧点是由机器通过默认决策关闭的，无需人工回答。在随后的另一波复制实验中，仅在40个单元格中有7个触发了操作员介入，其余均由机器自主解决。研究人员得出结论，该系统的价值不仅在于节省资金，更在于创造“可调和性”。它将“完成产品”这一模糊的概念转变为一个任何人都可以随时验证的、签署过的、可重现的事实。通过将规则置于对话之外并使其永久化，该系统消除了通常困扰生成式开发的歧义，证明了机器确实可以实现验证环节的闭环。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。