🤖 AI

Agentic Interpretation: Lattice-Structured Evidence for LLM-Based Program Analysis

本文提出“代理式解释”，这是一种将基于格格的静态分析原理应用于大语言模型驱动的程式推理的框架，通过将分析目标分解为在有限高度格中追踪的局部断言，从而相较于脆弱的单次式方法，实现更稳健、基于证据且可迭代的程式分析。

原作者： Jacqueline L. Mitchell, Chao Wang

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jacqueline L. Mitchell, Chao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一个庞大而复杂的谜团：“这个计算机程序使用是否安全？”

在过去，你有两种主要方式来回答这个问题：

机器人侦探（静态分析器）：这是一台严格遵循规则的机器。它只查看屏幕上编写的代码。它非常擅长发现数学错误，但它无法阅读用户手册、无法查阅新闻以获取最新的安全漏洞信息，也无法理解库本应如何工作的“不成文规则”。
人类专家（大语言模型）：这是一种超级智能的 AI，能够阅读手册、查阅安全新闻并理解上下文。但如果你用一个大问题问它：“整个程序安全吗？”，它往往会给出一个不稳定的答案。它可能会因为试图一次性吞下太多信息而遗漏关键细节，或者在毫无察觉的情况下自相矛盾。

本文提出了一种新的工作方式：代理式解释（Agentic Interpretation）。

不要将此视为让 AI 一次性解决整个谜题，而应视为聘请 AI 作为一个由专业调查员组成的团队，在严格的项目经理领导下工作。

核心理念：将谜团拆解为微小线索

该框架不是让 AI 回答“程序是否安全？”，而是将这个大问题分解为成百上千个微小、具体的主张。

主张 1：“这个特定的库是否能安全地处理不良数据？”
主张 2：“安全检查是否涵盖了所有正确的字段？”
主张 3：“如果检查失败，程序是否真的会停止运行？”

AI（即“代理”）逐一调查每个微小主张。但这里的神奇之处在于：项目经理（即框架） 为每一个主张保留一份非常具体的记分卡。

记分卡：“格”（Lattice）

想象一张记分卡，它不仅仅说“是”或“否”。它追踪支持或反驳每个主张的证据强度。

支持：我们是否有证据证明这是安全的？（弱、强，还是无？）
反驳：我们是否有证据证明这是不安全的？（弱、强，还是无？）

这张记分卡被称为格（Lattice）。它就像一个网格，当你发现新信息时，你可以在其中向上或向下移动。

如果 AI 发现一条安全警报，指出某个库存在漏洞，那么“反驳”分数就会上升到强。
如果 AI 发现一份手册说明它是安全的，那么“支持”分数就会上升到强。

工作流程：“工作列表”游戏

该系统使用“工作列表”（类似于待办事项列表）来管理调查。以下是游戏如何进行的过程，使用了论文中的一个真实示例：

设置：该程序使用了一个“黑盒”库（我们只能看到它的名称，无法看到其代码）。目标是确定它是否安全。
第一轮（广泛搜索）：AI 查看该库的一般文档。
- 结果：“未发现明显漏洞，但手册含糊不清。”
- 记分卡：弱支持（可能安全），弱反驳（可能不安全）。
“啊哈！”时刻（反馈循环）：系统审视全局。它意识到：“等等，主程序依赖该库来阻止黑客，但该库的文档含糊不清。这是一个风险！”
- 项目经理向 AI 发送反馈信号：“回去专门查找该库中的‘对象形状’攻击。”
第二轮（针对性搜索）：AI 现在确切知道要寻找什么，便深入挖掘。
- 结果：“找到了！关于此版本的特定漏洞存在已知安全警报。”
- 记分卡更新：“反驳”分数跃升至强。
稳定化：系统更新全局视图。由于该库已被证明不安全，整个程序的最终结论从“可能安全”变为“不安全”。当找不到新线索时，系统停止运行。

为什么这比仅仅询问 AI 更好

没有“黑盒”答案：你不会得到一个令人困惑的单一段落。你会得到一张清晰的地图，确切显示程序的哪一部分存在风险，以及什么证据证明了这一点。
自我修正：如果 AI 犯错或遗漏线索，“反馈循环”会将其捕捉。如果全局视图无法自圆其说，系统会迫使 AI 重新检查其工作。
它会停止：因为记分卡有上限（你无法获得“比强更强”的分数），系统知道何时停止搜索。它不会陷入无限循环的思考中。

总结

本文介绍了一个框架，它将大语言模型视为证据收集代理，而非魔法答案机器。通过迫使它们将大问题分解为小主张，在结构化的记分卡上追踪证据强度，并不断根据全局视图检查其工作，我们可以利用它们的智能来安全、可靠地分析复杂的软件——即使代码涉及我们无法查看的神秘第三方部分。

它将混乱的一次性猜测转变为纪律严明、可审计的调查。

技术摘要：基于 LLM 的程序分析中的代理式解释

1. 问题陈述

大语言模型（LLM）通过访问源代码之外的信息（如文档、安全公告、特定版本的元数据和非正式的 API 契约），为程序分析提供了独特的能力。然而，依赖 LLM 进行“一次性”全程序分析在本质上是不稳定的，主要原因有三：

上下文敏感性：实证研究表明，随着上下文长度和任务复杂度的增加，模型性能会下降，且结果高度依赖于提示中信息的排序。关键证据（例如，特定的安全公告）可能被提供，但无法被可靠地利用。
缺乏持久状态：单体 LLM 响应缺乏持久状态来追踪哪些具体主张得到了支持、被反驳或仍悬而未决。这使得处理自相矛盾的推理或无法支持其自身结论的推理变得困难。
缺乏依赖结构：单次回答不提供任何反馈机制。如果后续发现表明早期问题的范围界定不当，或者上游组件需要在不同假设下重新审查，非结构化的答案无法促进这种迭代细化。

因此，需要一种框架来弥合临时性 LLM 提示与完全指定的静态分析之间的差距，特别是针对证据依赖型程序分析，其中相关事实并未完全包含在源代码或形式规范中。

2. 方法论：代理式解释

本文提出了代理式解释（Agentic Interpretation），这是一个将基于格（lattice-based）的静态分析纪律应用于 LLM 驱动推理的框架。该方法将高层分析目标分解为锚定在程序点和组件边界上的局部主张，并通过有限高度的格和工作列表算法管理其演化。

2.1 核心组件

评估图（ $G^*$ ）：程序衍生图（ $G_{prog}$ $G_{p r o g}$ ）的扩展，包含：
- 辅助节点：代表跨组件交互或无法映射到单一程序点的目标的节点。
- 上下文边：前向流动的边，确保当节点 $n$ 处的主张被评估时，它能接收来自其前驱节点的当前评估状态和证据。
- 反馈边：后向流动的边，当下游评估发生变化时触发上游节点的重评估（例如，被反驳的组合主张触发对不透明组件的针对性搜索）。
评估域（格）：一个有限高度的并半格（join-semilattice）（ $A$ $A$ ），用于总结主张的证据状态。
- 本文以AGraded格为例进行说明： $\{ \perp, w, s \} \times \{ \perp, w, s \}$ ，其中第一个坐标代表支持证据，第二个坐标代表反驳证据。取值范围从缺失（ $\perp$ ）到弱（ $w$ ）再到强（ $s$ ）。
- 该格是一个关于证据状态的**认识论（epistemic）**域，而非关于具体程序状态的抽象域。它记录了一个主张是否被支持或反驳，以及该证据的强度。
工作列表驱动器（Worklist Harness）：管理分析状态的控制循环。
- 上下文构建：对于节点 $n$ ，驱动器利用源代码、高层目标以及前驱节点的当前评估来构建提示上下文（ $\Gamma_n$ ）。
- 节点转换器：LLM 代理执行两个操作：
  1. 评估：根据上下文评估现有主张，返回更新的评估和证据记录。
  2. 生成：根据上下文提出新的相关主张。
- 传播：如果新评估与旧评估的并集（join）导致格序的严格增加，则该节点的扩展后继节点将被加入队列以待重评估。

2.2 分析过程

该过程通过一个包含不透明第三方组件（JSON 解析器和签名验证器）的程序的审查示例进行说明。

初始化：工作列表以所有程序和辅助节点为种子。
迭代细化：
- 阶段 I：对组件进行初始独立评估（例如，审查解析器和验证器的文档）。
- 阶段 II：证据组合。框架评估跨组件主张（例如，“这些组件是否共同确保安全？”）。如果组合主张被弱反驳，反馈边将触发对上游组件的重新调查。
- 阶段 III：反馈驱动的细化。被反驳组合的上下文（例如，“处理器未执行任何验证”）引导 LLM 进行针对性搜索以发现特定漏洞（例如，原型污染），而不是进行广泛审查。
- 阶段 IV：稳定化。增强的上游证据向前传播，导致对全局目标的强反驳。当不再发生评估的严格增加时，工作列表变空。

3. 主要贡献

本文做出了三项主要贡献：

框架提案：引入代理式解释作为一种用于证据依赖型程序分析的结构化方法，识别出 LLM 是必要的但直接提示不足够的合适问题域。
形式化模型：形式化了核心模型，定义了评估图、评估域、节点转换器和工作列表算法。
设计空间刻画：探索了设计空间，包括：
- 评估格：讨论了粗粒度格（例如，存在/缺失）与细粒度格（例如，强度、置信度基础）之间的权衡。引入了AStratified，这是一个分别追踪证据强度和置信度基础（例如，“仅模型”与“已检查”）的域。
- 主张管理：解决了主张的规范化、粒度和范围问题。
- 查询设计：区分评估查询（支持/反驳）和生成性查询（提出新主张）。
- 终止性：证明了对于有限高度的格和受限制的主张生成，即使存在非确定性的 LLM 响应，只要更新是单调的（通过并集），该算法就会终止。

4. 结果与局限性

结果：本文提供了一个具体示例（对包含不透明组件的处理程序进行安全审查），展示了该框架如何分解目标、利用反馈循环细化搜索，并在最终评估上稳定下来。它展示了该框架如何通过将来自多个来源的弱证据组合成强反驳，从而检测到全局安全目标被违反。
局限性：
- 本文描述的是正在进行的工作。它不包含实际实现或实验评估。
- 该框架保证终止性和有界性，但不保证传统意义上的完备性（即，它不证明 LLM 的结论是正确的）。它使 LLM 的证据角色显式化且可审计。
- 该框架无法纠正持续误判证据的代理；它仅使此类错误可见。
- 终止性证明依赖于主张从不被撤销且评估仅通过并集增加的假设。关于信念修正（降低评估）的机制被讨论为未来工作，需要受限制的替换或纪元重计算。

5. 意义

这项工作的意义在于试图为程序分析中基于 LLM 的推理带来结构性纪律。通过远离“生成 - 检查”范式（需要形式化验证器来验证 LLM 的输出）和“启发式神谕”范式（LLM 无法影响完备性），代理式解释瞄准了一个中间地带。

这对于证据依赖型分析具有重要意义，其中：

相关事实无法形式化（例如，非正式的 API 契约、安全公告）。
不存在完整的验证器。
分析需要综合来自多样化非代码来源的信息。

该框架将 LLM 从黑盒生成器转变为更大分析系统中受控且可审计的组件。它确保分析以受控、有原则的方式进行，允许关注点分离：LLM 提供证据，而基于格的驱动器确保分析是有界且可追溯的。这种方法旨在激发关于为程序分析中的代理系统设计形式化基础技术的未来讨论。