🤖 AI

Automated Proof Generation for Rust Code via Self-Evolution

本文提出了名为 SAFE 的框架，通过构建利用符号验证器区分正误证明的自进化循环，有效解决了 Rust 代码形式化验证中训练数据匮乏的难题，使开源模型在自动证明生成任务上的准确率从 GPT-4o 的 14.39% 大幅提升至 52.52%。

原作者： Tianyu Chen, Shuai Lu, Shan Lu, Yeyun Gong, Chenyuan Yang, Xuheng Li, Md Rakib Hossain Misu, Hao Yu, Nan Duan, Peng Cheng, Fan Yang, Shuvendu K Lahiri, Tao Xie, Lidong Zhou

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyu Chen, Shuai Lu, Shan Lu, Yeyun Gong, Chenyuan Yang, Xuheng Li, Md Rakib Hossain Misu, Hao Yu, Nan Duan, Peng Cheng, Fan Yang, Shuvendu K Lahiri, Tao Xie, Lidong Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SAFE 的新框架，它的目标是让计算机自动为 Rust 代码（一种以安全著称的编程语言）编写“数学证明”，以确保代码在任何情况下都不会出错。

为了让你更容易理解，我们可以把这件事想象成**“教一个不懂数学的小学生，如何成为一位严谨的数学老师”**。

1. 核心难题：没有“教科书”

在计算机世界里，写代码很容易，但要给代码写“数学证明”（证明它绝对正确）非常难。这就像让小学生做奥数题，需要极高的专业技巧。

现状：以前，只有极少数专家能写这种证明，所以世界上几乎没有现成的“证明教科书”供人工智能（AI）学习。
困境：AI 模型（像 GPT-4）虽然很聪明，能写代码，但因为缺乏“证明”这种数据，它们无法学会如何写证明。这就好比你想教学生做微积分，但手里连一本微积分课本都没有。

2. SAFE 的解决方案：自我进化的“师徒制”

SAFE 框架就像是一个聪明的“自我进化”系统，它不需要现成的教科书，而是自己“造”书，并在这个过程中不断变强。它分成了三个主要步骤：

第一步：翻译官（准备教材）

SAFE 首先找来了很多简单的 Python 或 Rust 小程序（就像小学生做的算术题）。

动作：它请了一个超级 AI（GPT-4o）当“翻译官”，把这些普通程序翻译成 Rust 语言，并确保它们能被一种叫 Verus 的“数学考官”读懂。
比喻：就像把普通的算术题，重新抄写在一张特殊的“奥数试卷”上，格式必须完全符合考官的要求。

第二步：出题人（生成题目要求）

有了试卷，还需要知道“这道题要求什么”。

动作：SAFE 让 AI 为每个程序写“题目要求”（在计算机里叫“规范”或 Specification）。比如，要求输入必须是正数，输出必须比输入大。
自我进化：一开始 AI 写的要求可能很烂。SAFE 会像老师批改作业一样，用数学工具（Verus）去测试这些要求。如果要求太简单（比如“结果大于 0"），就扔掉；如果要求太离谱（比如“结果必须等于 100"），也扔掉。只留下那些**“虽然不完美，但很有用”**的要求。
比喻：就像让 AI 自己出题，然后自己当裁判，把那些太简单或太荒谬的题目筛掉，只保留那些能真正锻炼人的好题目。

第三步：解题与纠错（核心进化）

这是最精彩的部分。SAFE 让 AI 尝试为这些程序写“证明”。

挑战：一开始，AI 写的证明全是错的。
神奇之处：Verus 这个“考官”非常严厉且诚实。一旦证明错了，它会立刻报错，告诉 AI：“这里缺了一个条件”或“那里逻辑不通”。
自我进化：
1. 生成：AI 尝试写证明。
2. 纠错：如果错了，SAFE 会把“错误的证明” + “考官的报错信息” + “最终修正后的正确证明”打包成一个新的训练数据。
3. 学习：AI 从这些“错题本”中学习，下次就知道怎么根据报错来修改自己的答案了。
比喻：这就像学生做数学题，做错了，老师不仅给个红叉，还详细写了“为什么错”以及“正确答案是什么”。学生把这些错题和解析背下来，下次再遇到类似的题，就能举一反三。SAFE 就是利用这种“错题本”机制，让 AI 从“只会乱写”进化到“能自我纠错”。

3. 成果：青出于蓝而胜于蓝

经过成千上万次的“出题 - 做题 - 纠错”循环，SAFE 训练出了一个非常厉害的模型。

对比结果：
- GPT-4o（当时最强的通用 AI）：在没有专门训练的情况下，做这种证明题的正确率只有 14.39%（就像小学生乱猜答案）。
- SAFE 模型：经过自我进化后，正确率飙升到了 52.52%（甚至在使用“自我纠错”功能后，最高能达到 70% 以上）。
意义：这意味着我们成功让一个原本不懂“形式化验证”的开源模型，学会了像专家一样为 Rust 代码写数学证明。

总结

这篇论文的核心思想就是：既然没有现成的“证明教科书”，那就让 AI 自己出题、自己做题、自己改错题，在不断的“试错 - 反馈”循环中，把自己逼成一位数学大师。

SAFE 就像是一个不知疲倦的**“超级学徒”**，它利用计算机自动检查对错的能力，把自己从“小白”训练成了“专家”，解决了代码安全领域长期以来的数据短缺难题。

论文技术总结：SAFE - 基于自进化的 Rust 代码自动化证明生成

1. 研究背景与问题 (Problem)

核心挑战：形式化验证数据的极度匮乏
尽管大语言模型（LLM）在代码生成方面表现出色，但生成代码的正确性无法保证。形式化验证（Formal Verification）能提供确定性保证，但其实施门槛极高，需要专家编写形式化规范和证明。

数据稀缺： 与代码片段相比，现有的形式化证明（Proofs）数据极少。例如，对于 Rust 语言最先进的验证工具 Verus，GitHub 上经过验证的文件少于 500 个，远不足以微调（Fine-tuning）大型语言模型。
现有方法的局限：
- 提示工程（Prompting）： 依赖复杂的提示词或静态分析，泛化能力有限。
- 微调（Fine-tuning）： 在 Lean 或 F* 等拥有大量人工证明数据的领域有效，但在缺乏数据的 Verus/Rust 领域无法直接应用。
具体难点： 缺乏适合验证的 Rust 程序、缺乏形式化规范（Specs）、缺乏证明本身。

2. 方法论：SAFE 框架 (Methodology)

论文提出了 SAFE (Self-evolving Automated prooF gEneration) 框架，通过“数据合成”与“模型微调”协同的**自进化（Self-evolving）**循环，解决数据稀缺问题。该框架利用 Verus 验证器的权威性来区分正确与错误的证明，无需人工标注。

SAFE 包含三个主要步骤：

步骤 1：生成 Verus 兼容代码

目标： 将现有的 Rust 程序（来自 MBPP 和 CodeNet 数据集）转换为 Verus 支持的语法。
方法： 利用 GPT-4o 作为代码翻译器，将不支持的 Rust 特性（如迭代器、HashMap 等）转换为 Verus 兼容的语法（如 while 循环）。
筛选： 仅保留能通过 Verus 编译器语法检查的代码。

步骤 2：自进化规范合成 (Self-Evolving Specification Synthesis)

目标： 为上述程序生成形式化规范（前置条件 requires 和后置条件 ensures）。
流程：
1. 初始化： GPT-4o 根据函数实现和文档字符串生成初始规范。
2. 迭代进化： 使用上一轮生成的规范微调开源 LLM，使其生成更高质量的规范。
3. 质量评估（关键）： 不依赖人工，而是利用 Verus 进行符号执行，结合测试用例计算两个指标：
  - 正确性 (Correctness)： 规范能接受多少比例的正确实现（目标 $\ge 80\%$ ）。
  - 完备性 (Completeness)： 规范能拒绝多少比例的错误实现（目标 $\ge 60\%$ ）。
4. 筛选： 仅保留高评分的规范用于下一轮训练。

步骤 3：自进化证明合成与自调试 (Self-Evolving Proof Synthesis & Self-Debugging)

目标： 生成能通过 Verus 验证的证明（Proofs），并赋予模型自我修复能力。
流程：
1. 引导启动 (Bootstrapping)： 使用精心设计的提示词让 GPT-4o 生成少量初始正确证明（约 1000+ 个），作为种子数据。
2. 自进化循环： 使用开源 LLM（如 DeepSeekCoder）进行多轮迭代。每轮利用上一轮生成的正确证明微调模型，生成更多证明。
3. 自调试机制 (Self-Debugging)： 这是 SAFE 的核心创新。
  - 当模型生成一个错误证明 ( $P_{\times}$ ) 时，Verus 会返回具体的错误信息。
  - 如果后续生成了正确证明 ( $P_{\checkmark}$ )，则构建训练三元组：{错误证明，Verus 错误信息，正确证明}。
  - 利用这些三元组微调模型，使其学会根据错误信息修复证明，而不仅仅是从头生成。

3. 关键贡献 (Key Contributions)

首个针对 Verus/Rust 的大规模合成数据集： 从 45,395 个 Rust 函数出发，合成了 19,017 个高质量形式化规范和 9,706 个经过验证的 Rust 函数证明。这是目前针对 Verus 最广泛的数据集。
提出自进化证明生成框架 (SAFE)： 解决了形式化验证领域“数据稀缺”的根本矛盾。通过利用验证器作为“裁判”，实现了从少量种子数据到大规模高质量训练数据的自动化积累。
引入自调试能力： 创造性地将大量“错误证明 + 错误信息”转化为训练数据，显著提升了模型修复证明的能力，这是传统生成任务中较少涉及的。
无需人工标注的自动化流程： 整个数据合成、筛选、微调过程完全自动化，仅依赖 Verus 验证器的反馈。

4. 实验结果 (Results)

实验在两个基准测试上进行：VerusBench（人工编写）和 CodeNet-Test（合成）。

性能对比：
- 直接生成 (Direct Generation)： SAFE 微调后的 DeepSeekCoder 在 VerusBench 上的 Accuracy@1 达到 43.17%，而 GPT-4o 仅为 11.51%。
- 结合自调试 (SAFE+)： 当启用自调试机制（生成初始证明后尝试修复）时，VerusBench 的 Accuracy@2 提升至 52.52%，Accuracy@100 更是高达 70.50%。相比之下，GPT-4o 在相同设置下仅为 14.39%。
- CodeNet-Test： SAFE 表现同样优异，Accuracy@1 达到 43.83%，远超 GPT-4o 的 0.28%。
消融实验：
- 规范质量的影响： 使用低质量规范训练模型会导致准确率大幅下降（甚至降至 0%），证明了 SAFE 中规范筛选机制的重要性。
- 自进化轮次： 经过 3 轮自进化后，模型性能显著提升，且边际收益趋于稳定。
- 小模型效果： 即使在 1.3B 参数的小模型上，SAFE 框架也能带来显著的性能提升。

5. 意义与影响 (Significance)

降低形式化验证门槛： SAFE 使得开源 LLM 能够自动为 Rust 代码编写形式化证明，极大地降低了使用 Verus 等工具进行软件验证的门槛，无需深厚的形式化方法专家知识。
解决数据冷启动问题： 为其他缺乏大规模标注数据的领域（如特定领域的形式化验证、复杂系统推理）提供了一种通用的“自进化 + 自动评估”的数据合成范式。
提升代码安全性： 通过自动化生成高可信度的证明，有助于在工业界（特别是 Rust 生态）推广形式化验证，从而减少软件漏洞，提升系统安全性。
开源贡献： 论文公开了生成的训练数据集（Verus_Training_Data），为后续研究提供了宝贵资源。

总结： SAFE 通过巧妙的“自进化”循环，利用验证器的反馈机制将“错误”转化为“训练数据”，成功克服了 Rust 形式化验证数据稀缺的瓶颈，实现了从“无法验证”到“自动化生成高质量证明”的跨越，显著超越了当前最强的通用大模型（GPT-4o）的表现。