Separating AI-assisted authoring from governed execution through specification-driven composition A design framework and industrial experience report for explainable automation in regulated data transformation
本文提出了一种规范驱动的编排框架，通过将 AI 辅助创作与受控执行分离，实现 AI 在受监管数据工作流中的安全使用，确保只有经过验证、版本化且具有完全可追溯性的构件才能被编排和执行。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在医药和金融等受监管行业的世界里，数据并非只是简单地从一个地方流向另一个地方；它必须经过绝对精确的转换。当一家制药公司为政府审查准备数据时，每一个数字、日期和类别都必须遵循严格的规则。如果计算机程序在这个过程中犯了错，后果可能会非常严重，从申请被拒到安全风险不等。几十年来，工程师们通过逐行编写代码来构建这些程序，确保每一步都在运行前都经过了检查、测试和批准。这个过程虽然缓慢，但由于人类仍然掌控着每一个决策，因此是可靠的。
今天，人工智能为编写这些程序提供了一种新方法。这些系统可以阅读任务描述并在几秒钟内生成必要的代码。这种速度在探索想法或起草程序初始版本时非常有用。然而，在涉及高风险的环境中，速度不能以牺牲安全性为代价。计算机不能被允许仅仅是猜测一个正确答案并立即运行它。现代工程师面临的核心挑战在于，如何在利用人工智能速度的同时，又不失去解释、验证和控制最终结果的能力。他们需要一种方法，既能让机器起草工作，又能保持人类在回路中（human in the loop），以验证工作是否安全、正确并符合规则，之后才允许其执行。
这正是亚马逊网络服务（AWS）研究员罗斯蒂斯拉夫·马尔科夫（Rostislav Markov）在其最近关于受监管数据转换的研究中所解决的问题。他提出了一种新的工作方式，将编写或起草代码的行为与运行代码的行为分离开来。该框架并非让人工智能模型生成一个程序然后寄希望于它能正常工作，而是强制要求人工智能先生成一份详细的计划。这份计划被称为“规范”（specification），它准确地描述了需要做什么、将使用哪些数据以及必须遵循哪些规则。这份计划本身并不是程序，它是针对一个被称为“组合器”（composer）的、受严格控制的独立系统的指令集。
组合器充当了守门人的角色。它查看由人工智能创建的计划，并将其与一个预先批准、经过测试且经过验证的构建模块库进行比对。这些模块是工程师已经验证过可以正确工作的特定函数。组合器不会发明新的逻辑或猜测如何解决问题，它只是将计划中的步骤与库中已批准的模块进行匹配。如果计划要求的某个步骤没有对应的已批准模块，或者数据类型不符合规则，组合器就会停止并拒绝该计划。在每一部分都通过库进行验证之前，它不会运行代码。这确保了即使人工智能在起草过程中犯了错，该错误也会在触及任何真实数据之前被拦截。
马尔科夫使用了一个涉及临床数据的真实场景来测试这个想法，在这些场景中，患者信息必须被组织成符合政府提交标准的格式。在实验中，他要求人工智能在不同条件下编写这些转换代码。当人工智能仅获得简单的文本描述时，它经常生成看起来正确但无法适配整体系统或违反隐藏规则的代码。当人工智能获得带有明确规则和对已批准构建模块引用的结构化计划时，结果要好得多。关键发现不在于人工智能变得更聪明了，而在于围绕它的系统变得更加稳健。起到了确保安全作用的是“人工制品”（artifacts）——即计划、测试和已批准的模块——而不是人工智能模型本身。
该框架引入了一个被称为“通过构造实现可解释性”（explainable by construction）的概念。在许多关于人工智能的讨论中，人们担心无法理解模型为何做出特定决策，通常试图窥探算法的“黑箱”内部。这种方法采取了不同的路径。它认为，对于受监管的工作，你不需要理解人工智能的内在想法，你只需要理解导致最终结果的工程决策。因为该系统只允许使用经过批准的模块，并保留了构建最终程序的每一步完整记录，所以任何人都可以查看最终结果，并将其追溯到特定的计划、特定的已批准模块以及所遵循的特定规则。这种解释不是对人工智能想法的猜测，而是关于已批准内容及其如何组装的客观事实记录。
为了证明这一系统的有效性，研究人员构建了一个该框架的小型工作版本。他展示了如果你向系统提供相同的计划和相同的模块库两次，它每次都会产生完全相同的结果。这种一致性对于要求可重现性的受监管环境至通过至关重要。他还证明了，如果向库中添加了新版本的构建模块，系统不会意外地将该模块用于旧计划；它会坚持使用计划制定时所批准的具体版本。这防止了背景变化意外改变处理过程的结果。系统为它构建的每个程序都会生成详细的日志或追踪（trace）。该日志将最终程序链接回原始计划、每个构建模块的具体版本以及通过的验证检查。
研究表明，这种职责分离对于人工智能在受监管领域的未来至关重要。它允许组织利用人工智能的速度来起草规范和编写代码，但将执行权保留在受控的、确定性的系统中。人工智能成为了一个强大的助手，帮助人类编写更好的计划，但它不是决定运行内容的权威。运行程序的最终决定取决于有效计划的存在、已批准组件的存在以及验证过程的成功完成。这种方法并未消除对人类监督的需求，而是为人类提供了更好的管理监督的工具。通过专注于人工制品——即计划、规则和已批准的模块——该框架建立了一个边界，使得人工智能可以在保持有用性的同时不成为风险。
最终，这项工作证明了通往安全自动化的路径不在于让人工智能变得更具可解释性，而在于让构建自动化的过程变得更加透明。当步骤清晰、规则严格且组件经过验证时，产生的结果是一个可以被信任的系统。研究人员的经验表明，虽然人工智能可以生成看似合理的代码，但正是由规范、测试和已批准库构成的周边结构，确保了代码确实是正确且安全可用的。这种从关注“模型的智能”到关注“流程的治理”的转变，为那些无法承受错误的行业提供了一种切实可行的方法。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。