💬 NLP

Decoupled Smart Contract Audits: Lightweight LLM Framework via Distillation and Aggregation

本文介绍了一种解耦且轻量级的大语言模型框架，该框架利用蒸馏、秩稳定低秩适配器（Rank-Stabilized Low-Rank Adapters）以及自定义的验证链（Chain-of-Verification）聚合策略，以显著少于现有模型的参数量，实现了最先进的智能合约安全审计性能。

原作者： Bagus Rakadyanto Oktavianto Putra, Muhamad Risqi Utama Saputra, Widyawan, Guntur Dharma Putra

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bagus Rakadyanto Oktavianto Putra, Muhamad Risqi Utama Saputra, Widyawan, Guntur Dharma Putra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个非常复杂的数字保险库（即智能合约），里面存放着人们的钱。一旦这个保险库在区块链上建成，你就无法更改锁具或后期添加新的安全防护栏。如果存在漏洞，黑客就会偷走所有东西。因此，在打开保险库之前，你需要一位安全专家来进行检查。

传统上，这种检查是由人工完成的，但要手动检查的保险库实在太多了。最近，人们尝试使用巨大的“超级智能”（大语言模型或 LLM）来进行检查。但这些巨兽就像是试图雇佣 100 位博士来做一件简单的工作：它们极其昂贵，需要庞大的计算机来运行，而且一旦被要求同时处理太多事情，就会感到困惑。

这篇论文介绍了一种更聪明、更轻量化的方法。以下是他们是如何实现的，用简单的语言解释如下：

1. “专业团队” vs. “全才”

与其雇佣一个巨大的、昂贵的 AI 来一次性完成整个工作，作者将安全审计分解为四个小的、专门的步骤，就像一场接力赛：

检测器（The Detector）： 一个微小且快速的 AI，它只负责观察代码并回答：“这里有漏洞吗？是或否？”
解释器（The Explainer）： 如果发现了漏洞，一个稍大一点的 AI 会解释如何利用这个漏洞。它就像一名侦探，正在撰写一份关于锁是如何被撬开的报告。
裁判（The Judge）： 另一个微小的 AI 会查看该解释，并决定：“这是一个轻微划痕（低风险）、一个损坏的合页（中风险），还是整体性的坍塌（高风险）？”
修复者（The Fixer）： 最后，一个聪明的 AI 会建议具体如何修补这个漏洞。

类比： 想象你在修理汽车。所谓的“统一式（Unified）”方法，就像是要求一个人同时诊断引擎、解释失效的物理原理、评定严重程度，并一口气完成焊接新零件的工作。他们可能会因为负担过重而犯错。而作者的方法则像是让一名专门的机械师、一位物理教授、一位安全检查员和一名焊工排成一列进行协作。每个人只完美地完成一件事情。

2. 带着“大老师”的“小脑袋”

作者使用了非常小的 AI 模型（仅有 0.6 到 40 亿个“神经元”，而那些巨型模型拥有 300 亿以上）。通常情况下，小脑袋并不足以胜任困难的任务。

为了解决这个问题，他们使用了两个技巧：

知识蒸馏（老师与学生）： 他们提取了一个巨大的、超级聪明的“老师” AI（Qwen3-30B），并教会了小型的“学生” AI 如何循序渐进地思考。学生不仅是记住了答案，还学习了其背后的推理过程。
“投票”系统（共识机制）： 当 AI 需要做出决策（例如“是否有漏洞？”）时，他们不是只问一次，而是以五种不同的方式询问。如果五次中有四次都说“是”，那么就按“是”来执行。这防止了 AI 进行随机猜测。

3. 用于阻止“幻觉”的“事实检查员”

AI 模型有时会产生“幻觉”——它们会编造出听起来很真实但实际上错误的事实。为了阻止这一点，作者使用了**验证链（Chain-of-Verification）**方法。

类比： 想象一名学生正在写论文。在交卷之前，他必须针对自己的论文写下三个问题（“我证明了这个观点吗？这个事实是真的吗？”）。他诚实地回答这些问题。如果答案与论文内容不符，他就修改论文。这确保了最终报告确实是真实的。

4. 重大发现：“中间孩子”偏差

研究人员发现了一个关于 AI 判断严重程度时的惊人现象。当被要求判断一个漏洞是“低”、“中”还是“高”时，AI 会因为害怕出错而变得胆怯。

发现： 如果 AI 不确定，它几乎总是默认选择**“中等（Medium）”**。这就像一名学生在考试遇到不会的题目时，直接勾选“C”，因为这看起来是最稳妥的中间选项。
作者发现，巨大的模型在识别极端情况（极低或极高风险）方面表现糟糕，因为它们总是把所有情况都塞进“中等”这个桶里。而他们较小的专业化团队在识别这些极端情况方面表现得好得多。

5. 为什么这很重要（结果）

更便宜： 他们的系统可以在标准笔记本电脑或普通的显卡上运行。而他们对比的那些巨型模型则需要价值数千美元的、数据中心级别的超级计算机。
更聪明： 尽管规模更小，他们的系统却比巨型模型更准确。他们在寻找漏洞方面的准确率达到了 98%，而巨型模型在处理复杂的推理部分时表现挣扎。
可操作性： 他们不仅找到了漏洞，还提供了清晰的解释和具体的代码修复方案，这正是开发者真正需要的。

简而言之： 这篇论文证明了，你不需要一个巨大且昂贵的 AI 来保护你的数字保险库。通过使用一支由小型、专业化且经过良好训练的 AI 助手组成的团队，并让他们互相检查工作，你可以以极低的成本获得更好的结果。

技术摘要：通过轻量级大语言模型实现解耦的智能合约审计

问题陈述

智能合约一旦部署在区块链上便具有不可篡改性，极易受到安全漏洞的影响，从而导致灾难性的财务损失（例如 DAO 黑客事件）。虽然大语言模型（LLMs）在自动化安全审计方面展现出了潜力，但现有方法面临三个关键局限性：

计算效率低下： 当前的最先进（SOTA）解决方案依赖于庞大的单体式 LLM（参数量为 7B–34B），需要大量的 GPU 显存（通常超过 12–24 GB），这使得独立开发者和使用标准消费级硬件的小型团队难以负担。
缺乏可操作的输出： 许多方法主要侧重于二元漏洞检测，忽略了对严重程度分类和具体、可操作的修复建议的迫切需求。
架构缺陷： 统一的提示策略强制要求单个模型同时执行多种不同的推理任务（检测、解释、严重程度判定、修复建议），这会导致错误传播、格式幻觉以及高延迟。

方法论

作者提出了一种高效的解耦端到端框架，利用轻量级开源 LLM（0.6B–4B 参数）来模拟人类安全专家的工作流程。该框架将审计过程分为四个专门的顺序模块：

漏洞检测器（Vulnerability Detector）： 一项分类任务，用于识别代码是否包含漏洞。
漏洞解释器（Vulnerability Explanator）： 一项生成式任务，用于解释漏洞的性质及其可能的利用方式。
严重程度判定器（Severity Determinant）： 一项分类任务，用于分配严重程度等级（低、中、高）。
推荐器（Recommender）： 一项生成式任务，用于提供用于修复的可操作代码补丁。

关键技术组件

秩稳定低秩适配器（rsLoRA）： 作者没有采用全参数微调或标准的 LoRA，而是采用了 rsLoRA。该技术通过修改缩放因子 $\gamma_r = \alpha / \sqrt{r}$ ，防止梯度崩溃，并允许在不牺牲参数效率的情况下使用更大的秩。
多提示投票机制（Multi-Prompt Voting Mechanism）： 对于分类任务（检测和严重程度判定），模型会处理五个不同的模板提示。最终输出由多数投票决定，并根据共识计算置信度分数。
改进的验证链（CoVe）聚合： 对于生成式任务（解释和推荐），框架使用“候选生成器”产生多个独立的草拟响应。随后，一个自定义的“聚合器”采用改进的 CoVe 策略进行以下操作：
1. 将上下文锚定在代码中。
2. 为每个候选响应生成验证问题。
3. 独立回答这些问题以对声明进行事实核查。
4. 合成一份单一的、经过验证的报告，丢弃幻觉内容。
知识蒸馏（Knowledge Distillation）： 为了增强学生模型（Qwen3-4B）的推理能力，作者从强大的教师模型（Qwen3-30B-A3B）中蒸馏思维链（CoT）推理。教师模型的 CoT 输出被用作训练数据的一部分，以教授学生模型逐步推理的方法。

数据集构建

本研究使用了源自可靠来源（Code4rena、Shieldify Security 以及顶级 TVL 项目）的两个不同数据集：

检测数据集： 包含 930 个漏洞代码样本和 969 个良性代码样本。良性样本使用基于图的分层采样算法进行处理，以确保其长度与漏洞片段保持一致，从而防止模型学习到表层的长度偏差。
漏洞数据集： 包含 1,000 多个样本，其中代码与审计元数据（解释、严重程度、建议）相匹配。该数据集采用项目感知分层策略进行拆分，以防止训练集和测试集之间出现数据泄露。

实验结果

该框架在零样本（Zero-Shot）和微调（Fine-Tuned）设置下，针对 SOTA 密集型代码模型（如 CodeLlama-34B、DeepSeek-Coder-33B、Qwen2.5-Coder-32B）进行了评估。

漏洞检测： 所提出的 0.6B 模型实现了 98.25% 的准确率 和 0.9824 的 F1 分数，超越了包括微调后的 34B 模型在内的所有基准模型。
严重程度分类： 该框架实现了 64.58% 的准确率 和 0.5877 的宏 F1 分数。
生成式任务（解释与推荐）： 使用 LLM-as-a-Judge 指标（LMUnit 70B），该框架在解释方面的对齐分数为 0.4375，在推荐方面的对齐分数为 0.7639，显著优于表现最好的基准模型（后者得分分别约为 ~0.22 和 ~0.37）。
资源效率： 解耦方法在分类任务中运行在 ~3.11 GB 显存 内，在生成任务中运行在 ~8.64 GB 显存 内，能够舒适地运行在消费级硬件（8–12 GB 显存）上，而 SOTA 基准模型则需要 21–24 GB。

核心贡献与发现

解耦架构： 本文证明了将复杂的审计工作流拆分为专门模块，其表现显著优于统一的单体式提示，从而减少了错误传播和幻觉。
轻量级的优越性： 研究通过实证验证，通过针对性的微调和聚合策略，高度优化的轻量级模型（0.6B–4B）可以持续超越规模大得多的密集型模型（7B–34B）在特定安全任务中的表现。
严重程度中心化偏差（SCB）： 一项新颖的实证发现揭示，当前的 LLM（无论是零样本还是微调后）都表现出“严重程度中心化偏差”，即它们倾向于默认选择“中等”严重程度以最小化损失，从而无法准确区分“低”和“高”这两个极端情况。所提出的框架缓解了这一问题，但未能完全消除它。
协同优化： 消融实验证实，rsLoRA、知识蒸馏和改进的 CoVe 聚合相结合产生了协同效应，移除其中任何一个组件都会导致性能显著下降。

意义

本文声称通过证明智能合约安全的民主化可以在标准消费级硬件上实现，为未来的研究建立了一个关键基准。通过从资源密集型的单体模型转向模块化、轻量级的流水线，作者为将持续的“左移（shift-left）”安全审计集成到日常开发工作流中提供了切实可行的路径，而无需依赖昂贵的云端 GPU 实例。对“严重程度中心化偏差”的识别进一步强调了当前自动化风险评估中一个尚未解决的具体挑战，这也是未来研究必须应对的问题。