技术摘要：面向数学推理的知识自适应上下文工程 (KACE)

问题陈述

上下文工程已成为一种在不更新模型权重的情况下增强冻结大语言模型（LLM）性能的可行策略。然而，对于复杂的数学推理，现有方法面临一个关键瓶颈：单体式上下文累积（monolithic context accumulation）。当反馈和学到的经验被聚合到单个不断增长的提示词中时，会出现两个问题：

1. 上下文膨胀（Context Bloat）： 无关的指导最终会挤占有用的信息，导致性能下降。
2. 知识库上限（Knowledge-Store Ceiling）： 可复用的知识库严格受限于活跃提示词的大小。

当前的方法（如 ACE、GEPA）通常将存储（跨运行学习到的内容）与使用（针对特定问题包含在提示词中的内容）混为一谈。因此，每个问题都必须读取整个累积的知识库，而不管该信息是否与特定任务的难度或领域相关。此外，虽然自适应计算分配（根据难度变化推理投入）是一种已知有效的策略，但它很少与结构化的、基于难度的知识检索相结合。

方法论：KACE 框架

KACE 引入了一个框架，通过将知识组织为**认识树（Epistemic Tree）**并根据经验难度信号进行条件化检索，实现了知识存储与使用的解耦。

1. 认识树 (存储)

KACE 不使用单一提示词，而是构建了一个持久的知识库 $K$，由类型化卡片（例如：引理、不变性、分解模式、验证规则）组成。该树沿两个轴进行分层：

• 难度层级 ($T$)： 简单 (ES)、中等 (MS)、困难 (HS)。
• 认识领域 ($D$)： 数学领域（如几何、组合数学）。

该树是一个块结构对象 $K = \{K_b\}_{b \in B}$，其中每个块 $b = (t, d)$ 包含仅在该特定难度层级和领域可见的卡片。通用卡片单独存储，并在所有层级中可见。

2. 锁定分层自一致性 (分类器与求解器)

KACE 采用了一个锁定分层自一致性流水线，其具有双重目的：解决问题并对难度进行分类。该流水线按递增阶段进行：

• 简单求解器 (ES)： 2 次尝试。若达成 2/2 全致性协议则退出。不读取任何学习到的卡片。
• 中等求解器 (MS)： 3 次尝试。若达成 2/3 多数协议则退出。读取来自 $(MS, d)$ 节点的卡片。
• 困难求解器 (HS)： 5 次尝试。若达成 2/5 多数协议则退出。读取来自 $(HS, d)$ 节点的卡片。
• 回退机制 (Fallback)： 若没有任何层级退出，则使用 10 次尝试池。

系统退出的层级提供了一个经验难度信号。该信号结合粗粒度的领域分类器，将问题投影到认识树中的特定块。至关重要的是，简单问题在无卡片状态下退出，而升级后的问题则仅检索树的匹配分支，从而防止上下文膨胀。

3. 离线构建 (学习)

认识树通过训练轨迹进行两阶段离线构建：

• 阶段 1 (ADD)： 块局部学习循环。对于每个块 $(t, d)$，系统分析在对应层级退出的失败轨迹。教师模型将“残差”（缺失的知识）蒸馏为新的卡片，并将其添加到相应的块中。这遵循块坐标最小化方法，在不进行全局重新优化的前提下优化树的局部部分。
• 阶段 2 (REFINE)： 策展人评估在更新策略的诱导分布下的临时树。通过编辑、重新定位或废弃卡片，以确保这些卡片在求解器实际使用时保持有用且非冗余。这解决了迭代学习中常见的分布偏移问题。

核心贡献

1. 难度与领域分层的认识树： KACE 将可复用的数学推理知识存储在活跃提示词之外，以类型化卡片的形式组织，并按难度和领域进行分类。这实现了持久知识体与求解器读取的小型上下文切片的分离。
2. 锁定分层自一致性作为难度分类器： 该分层流水线作为计算等效的替代方案，用于替代固定的 Best-of-N 自一致性（在三个基准测试中达到或超过 Best-of-5），同时提供了一个校准的经验难度信号。该信号在 78% 的 AIME 2025 对和 80% 的 MATH-HARD 对上保留了模型的自身求解率排序，消除了对单独训练的难度分类器的需求。
3. 关于硬推理的经验证据： 论文证明，通过条件检索将存储与使用分离，其表现显著优于单体式上下文累积。

实验结果

实验在三个挑战性基准测试上进行：AIME 2025、MATH-HARD（Level 4–5）以及 OlymMATH-EN（可验证子集）。

• 性能提升： 在 AIME 2025 上，KACE 达到了 62.2% 的准确率。这比固定 Best-of-5 自一致性（51.8%）实现了 10.4 个百分点的绝对增益，比最强的学习上下文基准 Tiered + GEPA（56.6%）高出 5.6 个百分点。
• 计算效率： KACE 在与 Best-of-5 相当的求解器调用预算下实现了这些增益。分层方法自然地在较易问题上提前退出，使平均调用次数保持在 5 次左右。
• 消融研究：
  • 移除领域轴（仅扁平化为难度）使准确率从 62.2% 下降到 54.4%。
  • 移除难度轴（单体式上下文）使准确率下降至 51.6%。
  • 使用原始求解器反思代替蒸馏卡片使准确率降至 59.3%，凸显了教师蒸馏的紧凑知识的价值。
  • 使用通用检索（LLM 路由或嵌入）代替固定树投影会导致较低的性能（~56%），表明结构化难度-领域投影在处理此类任务时更具优势。

意义与主张

论文声称，对于硬数学推理，上下文工程的主要瓶颈不是知识存储的量，而是能否在正确的时间暴露正确的部分知识。

• 结构化分离： KACE 证明，将学习到的上下文视为一种结构化资源，并根据经验难度和领域进行条件化读取，比单体式剧本（playbooks）更有效。
• 无需训练的校准： 分层自一致性的退出路径提供了一个鲁棒的模型衍生难度信号，无需外部训练数据或单独的分类器，却能与经验求解率高度一致。
• 可审计性： 通过将知识存储为按难度和领域组织的自然语言卡片，系统的“学习”行为是可检查且可审计的，这是权重更新模型所不具备的属性。

作者指出了局限性，包括对重复错误模式进行学习的依赖、缺乏自动的跨基准测试迁移，以及观察到如果缺乏更强的验证器，将知识库扩展到训练轨迹之外（例如通过“想象”）会导致过拟合。这项工作将 KACE 定位为研究上下文作为一种结构化、条件化读取资源而非静态文本累积的模板。