PROVE-RT: Generating Mechanized Theorem Prover Scripts for Real-Time Systems using LLMs
本文介绍了 PROVE-RT，这是一个利用依赖感知草图、文档检索和阶段化生成，来成功实现实时调度性分析中机械化 PROSA/ROCQ 脚本自动创建的 LLM 辅助框架，在直接提示词失败的情况下实现了 44.7% 的成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在建造一台庞大且复杂的发条机器，其中每一个齿轮都必须在完全正确的时刻转动。如果其中一个小齿轮打滑，整个机器就会停止运转；而在现实世界中，这可能意味着自动驾驶汽车错过了停止标志，或者起搏器未能正常脉动。这就是**实时系统（real-time systems）**的世界：这些计算机不仅要运行正确，而且必须“准时”完成任务。几十年来，工程师们通过在纸上写下冗长、复杂的数学证明来检查这些机器是否能够正常工作，就像侦探用笔记本和铅笔破解谜题一样。但随着这些机器变得越来越复杂，那些纸面上的证明变得混乱、难以检查且容易出错。为了解决这个问题，科学家们发明了一种“数字证明检查器”（一种被称为 PROSA/ROCQ 的工具），它就像一个极其严格的机器人法官。这个机器人可以阅读数学公式并判定：“是的，这是 100% 正确的，”或者说：“不，你在这里犯了一个错误。”问题在于，教人类如何为这个机器人编写指令是非常困难、缓慢且需要同时具备数学和计算机代码博士级理解能力的。
于是，PROVE-RT 应运而生，这是一个试图教导“智能 AI 助手”（大语言模型）如何为我们编写这些机器人指令的工具。你可以把它想象成雇佣了一位才华横溢但有点糊涂的实习生——他精通数学，但从未见过这台发条机器的具体规则手册。如果你只是要求实习生“写出证明”，他可能会编造一些听起来很有道理但实际上是错误的规则。PROVE-RT 是一个聪明的管理者，它不会只给实习生一张白纸，而是会给他们一份计划的逐步草图、一叠他们需要查阅的精确规则手册页，以及一套检查他们工作的系统。研究表明，虽然 AI 单独处理这项工作表现很差（正确率不足 1%），但在得到这个“管理者”系统的帮助下，AI 可以成功编写出约 45% 任务的正确指令。它还不是一个能解决一切问题的魔杖，但它是迈向让计算机帮助我们构建更安全、更可靠机器的一大步。
问题所在：“纸面证明”的瓶颈
长期以来，工程师一直使用“纸笔”证明来证明其实时系统的安全性。这有点像试图通过在餐巾纸上画蓝图来建造摩天大楼。对于小型建筑，这行得通；但当你建造摩天大楼时，餐巾纸会变得混乱不堪，很难找到那个会导致整个结构坍塌的微小错误。
为了解决这个问题，研究人员创建了 PROSA，这是一个计算机可以检查的规则和证明数字库。这就像是从餐巾纸升级到了 3D 模拟，计算机能立即告诉你某根梁是否过弱。但问题在于：为这个 3D 模拟编写代码极其困难。它需要人类专家将他们凌乱的餐巾纸草图转化为一种严谨的、计算机可读的语言。这种难度之大，以至于即使是对设计的微小改动也会导致代码失效，从而需要数小时枯燥乏味的重写工作。
解决方案：PROVE-RT（“智能管理者”）
论文作者意识到，虽然 AI（大语言模型）擅长编写代码和解决数学问题，但如果不在没有帮助的情况下直接要求它为这个特定的“机器人法官”（PROSA）编写代码，它就会感到困惑。AI 并不知道所需的特定词汇或严格的规则顺序。
因此，他们构建了 PROVE-RT，这是一个连接混乱的人类想法与严谨计算机代码的桥梁。他们并没有仅仅要求 AI “去做”。相反，他们将工作分解为四个不同的步骤，就像工厂的流水线一样：
- 草图（The Sketch）： 首先，系统获取原始的纸面证明，并使用 AI 将其转化为清晰的、分步骤的“非正式草图”。这就像将一份复杂的法律合同转化为一份关于需要发生什么的简单要点列表。
- 库检索（The Library Search）： 接下来，系统会在庞大的 PROSA 文档库中搜索，寻找 AI 在该特定步骤所需的精确规则和示例。这就像管理者把特定规则手册的页面交给实习生，而不是让他们去瞎猜。
- 骨架（The Skeleton）： 随后，AI 构建代码的“骨架”。这包括结构部分：变量名称、数据类型以及问题的陈述。至关重要的是，AI 会将实际的“证明”部分留白（标记为“Admitted”，意为“相信我，我稍后会填补这里”）。这确保了在 AI 尝试进行困难的数学运算之前，结构本身是正确的。
- 收尾（The Finish）： 最后，AI 填充空白的证明部分。如果计算机法官说“这无法编译”，系统会利用该错误信息告诉 AI：“请重试，但要修复这个特定的错误。”
研究发现（结果）
团队在一组包含 1,191 篇实时系统论文的庞大集合上测试了该系统，创建了一个包含超过 13,000 个“草图”的数据集，用于训练和测试该工具。他们将 PROVE-RT 与直接要求最强 AI 模型编写代码的方法进行了对比。
结果非常悬殊。当他们仅仅要求 AI 直接编写代码（即“直接提示”方法）时，AI 几乎完全失败了。其中一个模型的成功率为 0%，另一个模型仅为 0 33%。AI 在编造规则，并编写看起来符合 PROSA 但在系统中无法实际运行的代码。
然而，当他们使用 PROVE-RT “管理者”系统时，成功率跃升至 44.7%。这意味着 AI 能够为测试中的近一半复杂的调度问题生成可运行且经过计算机检查的证明。
为什么这很重要
论文指出，我们不能仅仅依赖 AI 去“了解”像实时系统这样的小众领域的所有知识。AI 需要引导。通过将问题分解、提供正确的上下文（检索），并分阶段检查其工作（先骨架，后证明），我们可以将一个困惑的 AI 变成一个得力的助手。
作者指出，虽然 44.7% 是一个很好的开始，但目前还不完美。系统在处理具有长链依赖关系的极复杂问题（例如，每一层都依赖于下一层的百层摩天大楼）时仍然感到吃力。但这项工作证明了，通过正确的工具，我们可以开始实现这些安全性关键证明的自动化，使我们的实时系统更加安全且易于认证。这是迈向未来的一步：在那时，计算机将帮助我们证明机器不会失效，而不是让我们独自苦苦挣扎于证明之中。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。