💬 NLP

Beyond Factual Knowledge: Benchmarking and Learning Step-Level Procedural Rule Reasoning in Large Language Models

本文介绍了 RuleWorld，一个用于评估步骤级程序化规则推理的大规模基准测试，并提出了 DynaRule，这是一个通过在 KV 缓存中动态注入并重新关注规则，从而显著提升大语言模型在复杂多步推理任务上性能的端到端框架。

原作者： Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bohan Yu, Pengfei Cao, Chen Han, Chenxi Zhou, Zhiheng Zhang, Zhiyang Xie, Wenhao Teng, Xiangwen Liao, Jun Zhao, Kang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是新一代人工智能背后的引擎，它们能够以惊人的流利度编写故事、解决数学问题以及翻译语言。它们通过吸收海量文本进行工作，学习单词如何组合成意义的统计模式。多年来，研究人员一直在测试这些模型回忆事实的能力，例如知道巴黎是法国的首都。但还有一种不同类型的知识对于现实世界的思考同样至关重要：程序性知识（procedural knowledge）。这不在于知道“什么是”真实的，而在于知道如何根据一套指令去行动或推理。想象一位律师必须将一套特定且复杂的法律应用于一个新案例，或者一位医生遵循详细的方案来诊断一种罕见的疾病。在这些情况下，答案并不是存储在记忆中的；它必须从一本庞大的外部规则书中被找到、选取并逐步应用。该领域面临的问题是，这些强大的模型是真的学会了这样做，还是仅仅在假装理解规则，而实际上依赖于其内部的猜测。

为了回答这个问题，一组研究人员创建了一个名为 RuleWorld 的大规模测试场。研究人员并没有给模型几个规则来解决单个谜题，而是构建了一个包含近五百万条抽象规则的库。这些规则被刻意设计得非常奇怪且与日常生活无关，例如“如果一个生物进入森林，它就会着火”，以确保模型无法利用自身的内部知识。这些规则有两种书写方式：作为形式逻辑陈述和作为纯英文句子。随后，研究人员设计了三种类型的挑战来测试模型。第一种很简单：寻找一条规则来回答一个问题。第二种更复杂：同时回答多个问题，每个问题都需要不同的规则。第三种是最难的：解决一系列连锁问题，其中第一步的答案成为下一步的起点，这要求模型在长序列的逻辑步骤中追踪其进度。

当他们在这一新基准测试上对现有模型进行测试时，结果非常悬殊。即使是最先进的模型，在可用规则数量增加时也会感到吃力。当被迫从数千条规则的池中进行选择时，它们经常抓错规则，或者在多步链条的中途迷失方向。试图通过在回答前搜索相关文本来辅助模型的标准方法被证明是脆弱的；它们能找到第一步的正确规则，但在第二步时无法更新其搜索，从而导致连锁错误。这些模型本质上是在尝试将整本规则书一次性装进脑海，这一任务压垮了它们在特定时刻专注于重要信息的能力。

为了解决这个问题，研究人员开发了一种名为 DynaRule 的新系统。DynaRule 不再将规则视为需要阅读一次的静态列表，而是教导模型将规则视为一种动态资源，它可以随着思考过程不断深入并进行更新。该系统通过将规则直接嵌入到模型的内部记忆结构中来工作，这一过程允许模型在不减慢速度的情况下访问这些规则。至关重要的是，模型被训练去识别何时需要切换状态。它学习在完成一步推理并需要寻找下一条规则时，发出一个特殊的内部信号，即一个心理上的“搜索”命令。当这个信号触发时，模型会立即重新评估整个规则库，丢弃之前使用的规则，并将注意力集中在当前步骤所需的全新规则集上。这使得寻找规则的过程从一次性的搜索转变为一个持续的、可学习的过程，并随着推理链条的变化而演进。

这种方法的成果是显著的。在 RuleWorld 基准测试中，DynaRule 的表现始终优于所有其他方法，包括那些使用强大外部搜索工具的方法。当面对一万条规则的池时，新系统保持了极高的准确度，在第一次尝试时正确识别出正确规则的概率超过了 85%，而其他方法的效果则出现了崩塌。在需要多个步骤的任务中，DynaRule 比现有的最佳替代方案在平均准确度上提升了近 20 个百分点。该系统证明，通过教导模型主动管理其对大量指令的注意力，它就可以可靠地在复杂的逻辑景观中导航。研究人员发现，模型并非仅仅记住了规则，而是学习了一种定位并应用规则的通用方法，即使在测试从未见过的规则时也是如此。这表明，只要模型能够随着任务的展开动态更新其焦点，就可以弥合模型庞大的内部知识与其遵循外部指令能力之间的差距。

技术摘要：超越事实知识——大语言模型中步进式程序化规则推理的基准测试与学习

1. 问题陈述

尽管大语言模型（LLMs）在文本理解和生成方面表现出色，但在大规模可靠地定位并应用外部提供的程序化规则（procedural rules）方面仍面临困难。现有的 LLM 知识能力评估主要侧重于事实知识，往往忽略了程序性知识（即如何行动或推理）。此外，目前的规则推理基准通常将相关的规则作为特定实例的先验条件提供，这使得可复用的规则变成了针对每个问题的提示。这种设计掩盖了模型是否能够：

从大型共享规则库中为特定查询识别出正确的、可复用的规则。
在多步推理链中可靠地应用这些规则，且目标规则在链条中会动态变化。

当前的方法面临两个主要挑战：

检索与利用的脆弱性： 注入的规则通常高度抽象，且与问题的表面形式匹配度较弱，导致在大规模应用时检索和应用极不稳定。
步进式不稳定性： 在并行聚合和多跳推理中，所需的规则会随步骤发生变化。现有的方法（如检索增强生成 RAG 或内部注入法）在多步推理过程中经常出现语义失配或规则选择不稳定的问题。

2. 方法论

2.1 RuleWorld 基准测试

为了解决缺乏严谨评估的问题，作者引入了 RuleWorld，这是一个旨在衡量 LLM 规则利用能力的大规模基准测试。

规模与性质： 它包含 494 万条 外部提供的程序化规则，这些规则是抽象的、非常识性的且与实体无关。这防止了模型依赖其内在化的知识。
结构： 规则分为四大类（属性 Attributes、环境 Environments、动作 Actions、状态 States）及七个子类型，并以一阶逻辑（FOL）和自然语言（NL）两种形式呈现。规则在全局范围内保持一致且无冲突，允许一条规则的结论作为另一条规则的先验条件。
任务类型： 该基准定义了三种问答（QA）类型，以捕捉不同的规则利用模式：
1. 单规则问答（Single-Rule QA）： 应用且仅应用一条规则（5 万个实例）。
2. 并行多规则问答（Parallel Multi-Rule QA）： 在一个实例内解决多个独立的子问题，并进行答案聚合（325 万个实例，最多涉及 8 条金标准规则）。
3. 多跳规则问答（Multi-Hop Rule QA）： 顺序推理，其中中间结论成为后续步骤的先验条件（7.77 万个实例，最多涉及 4 跳）。
总范围： 该基准包含涵盖 11 个子任务的 337 万个问答实例。

2.2 DynaRule 框架

作者提出了 DynaRule，这是一个端到端的框架，通过将规则注入模型的内部 KV 缓存（KV cache），将检索转化为一个可学习的、步进式的过程。

通过 KV 缓存进行规则注入： 外部规则使用预训练的句子编码器进行编码，并通过单层适配器（adapter）投影到 LLM 的嵌入空间中。这些规则表示（键值对）被直接插入到与上下文标记（tokens）并列的 KV 缓存中，从而扩展了注意力机制以包含规则集。
置信度层识别： 作者识别了 Transformer 内部的一个特定的“置信度层”，在该层中，注入规则的注意力熵（attention entropy）达到最小。该层表现出最尖锐的注意力分布，表明其对相关规则具有最果断的聚焦。
堆叠式步进注意力训练：
- 引入了一个特殊的 <search> 标记，用于引导注意力转向每一步推理所需的规则。
- 训练涉及 堆叠式步进注意力损失（Stacked Step-Level Attention Loss）。对于第一步，检索是以问题为条件的。对于后续步骤（ $t \ge 2$ ），在答案前插入一个 <search> 标记，该标记的隐藏状态作为查询（query）重新对规则集进行注意力分配。
- 训练目标构建了一个共享的候选池（包含所有步骤中的 Top-K 规则，并辅以各步骤的金标准规则），并应用交叉熵损失，以鼓励模型对当前步骤的正确规则保持高注意力，同时将其他步骤的规则视为硬负样本（hard negatives）。
推理过程： 在推理期间，模型完全在其内部空间内执行规则检索和更新。当解码器输出 <search> 标记时，模型会在置信度层重新计算对规则集的注意力，并将过时的规则条目替换为新选定的规则。这实现了动态的规则重注意力与更新，以支持稳定的多步推理。

3. 核心贡献

RuleWorld 基准测试： 一个包含数百万条 FOL 和 NL 格式抽象程序化规则的大规模基准，涵盖四种类型、七个子类型和 11 个问答子任务。它独特地结合了大型共享规则池与对单规则、并行多规则及多跳推理的可控评估。
DynaRule 框架： 一种端到端的规则集成方法，通过将外部规则注入 KV 缓存来实现。它利用可学习的 <search> 驱动的步进式注意力机制来动态选择和更新规则，将检索转化为一个内部的、可微的过程。

中 4. 实验结果

实验在 RuleWorld 上使用 Qwen2.5-7B-Instruct 作为基座模型进行，并与包括 Prompting、RAG（密集型、BM25、混合型）、KBLaM 和 SR-KI 在内的强基线模型进行了对比。

规则推理性能：
- 在大规模规则池（例如 1 万条规则）下，现有 LLM（包括 DeepSeek V3.2 和 GPT-5.5）面临巨大挑战，准确率大幅下降。
- DynaRule 始终优于所有基线模型。它比最强的基线模型的平均问答准确率提升了高达 19 个百分点。
- 在特定子任务上，增益高达 48 个百分点。
- 在 1 万条规则的情况下，DynaRule 实现了超过 85% 的 Recall@1 和超过 90% 的 Recall@10，超过最强基线超过 60 个百分点。
检索性能：
- DynaRule 展示了卓越的规则定位能力，在 Recall@1 指标上分别比最强基线高出 61.98 个百分点（FOL）和 53.42 个百分点（NL）。
- 不同于迭代式 RAG 方法（如 IRCoT、ReAct）无法通过多次检索步骤缩小差距，DynaRule 的内部步进式检索使规则定位与解码过程保持同步。
效率：
- DynaRule 具有良好的扩展性。KV 缓存注入的复杂度为 $O((M+N)N)$ ，这比长规则上下文下的二次方 Prompt 注入要廉价得多。
- 它在保持高 Token 吞吐量的同时，降低了首字延迟（TTFT）和总推理时间。
泛化能力：
- 在对留存规则库（未见过的规则）进行测试时，DynaRule 保持了显著的性能（在 1 万条规则下精确匹配率为 50.20%），表明模型学习到的是一种可迁移的对齐，而非记忆特定的训练规则。
消融实验：
- 从注入集合中移除正确规则会导致准确率几乎降至零，这证实了模型依赖于注入的规则而非其内在知识。

5. 重要性与主张

本文主张 DynaRule 解决了参数化知识与显式规则落地之间的关键鸿沟。通过将规则检索、更新和推理完全统一在模型的内部空间内，该框架使 LLM 能够：

在每个推理步骤中识别相关的程序化规则。
动态替换过时的规则，以支持稳定的多步推理。
即使面对大规模、抽象的规则池，也能实现可靠的程序化推理。

这项工作强调了当前 LLM 在步进式程序化规则推理方面的不足，并证明了步进式动态集成是通往更鲁棒、更可靠推理能力的有效路径。作者指出，目前存在局限性（仅限于 FOL/NL 领域）以及随着规则池扩展到数百万规模时，仅基于嵌入（embedding）的规则表示所带来的信息损失，并建议未来在层次化索引和更丰富的规则表示方面开展工作。