🤖 AI

Evidence-State Rewards for Long-Context Reasoning

该论文介绍了 Maven，这是一个通过将动作级奖励分配给证据状态转换（例如添加、链接或丢弃信息）来增强长上下文推理能力的强化学习框架，从而在多个基准测试中超越了传统的仅基于结果的方法。

原作者： Ya Gao, Pekka Marttinen

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ya Gao, Pekka Marttinen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解复杂谜题的侦探，但你面对的不是桌上的几条线索，而是一个包含数千本书籍、报纸和笔记的图书馆。你的目标是找到解决案件所需的特定事实。

这正是 AI 所面临的挑战 —— MAVEN。

问题所在：迷失在图书馆中

目前的 AI 模型在阅读海量文本（长上下文）方面变得越来越出色，但它们往往难以在其中进行“推理”。

旧的方法： 想象一名侦探发现了一条看起来很有希望的线索，抓起它，然后立即写下了结论。如果第一条线索只是一个红鲱鱼（假线索），侦探就会陷入错误的结论中。
局限性： 以前的 AI 训练方法就像一位只看最终答案的老师。如果侦探得到了正确答案，老师会给一个“A”；即便侦探只是靠运气或者忽略了一半的线索也拿到了正确答案。如果侦探错了，老师会给一个“F”，但老师并不会解释为什么侦探选错了线索或错过了正确的线索。

解决方案：MAVEN（聪明的侦探）

作者提出了 MAVEN（边际价值证据导航）。MAVEN 不仅仅是对最终答案进行评分，它还教会 AI 管理一个“证据记忆”——一个它的心理草稿本，在这里它可以主动收集、连接并丢弃线索，以此来进行思考。

把 MAVEN 想象成一名接受过如下训练的侦探：

添加一条线索到他的看板上。
链接两条线索，看看它们如何契合。
丢弃一条线索，如果他意识到它是误导性的。
回答，只有当看板上的情况明朗时。

MAVEN 如何教导 AI（奖励机制）

MAVEN 的魔力在于它不仅根据最终结果，还根据 AI 如何使用其草稿本来给予奖励。它使用一个“冻结验证器”（一个智能的、预训练好的 AI 裁判）在每一步都检查证据状态。

以下是三种类型的“积分”：

“添加”奖励（寻找黄金）：
- 类比： 你发现了一条新线索。它是否能让你现在就更接近真相？或者，即使它现在看起来没用，它对于稍后解决谜题是否绝对必要？
- MAVEN 的技巧： 它会对那些能立即提供帮助的线索给予积分，但也为那些虽然起初看似无用、但对最终方案至关重要的线索提供“事后积分”。
“丢弃”奖励（清理看板）：
- 类比： 你意识到之前捡起的一条线索其实是一个假线索。与其固执地保留它，你选择把它扔掉。
- MAVEN 的技巧： 如果移除一条线索让答案变得更清晰，AI 就会获得奖励。这教会了模型承认错误并修正其推理过程，而不是死守着一条错误的路径。
“链接”奖励（连点成线）：
- 类比： 你有两条单独看并不理解的线索，但当你把它们放在一起对比时，它们揭示了整个故事。
- MAVEN 的技巧： 它奖励 AI 明确解释两条证据是如何协同工作的。这防止了 AI 仅仅是收集随机的事实；它迫使 AI 进行综合分析。

结果：更优秀的侦探

研究人员在各种困难的阅读理解测试中，针对不同的 AI 模型（如 Llama 和 Qwen）测试了 MAVEN。

更高的准确率： 经过 MAVEN 训练的模型比仅针对最终答案进行训练，或仅针对寻找“相关”文本进行训练的模型，能更正确地解决问题。
更少的内容冗余： MAVEN 模型在记忆中保留的“干扰项”（假线索）更少。它们更擅长意识到某个线索是错误的并将其丢弃。
更完整的信息： 它们收集了解决谜题所需的更多证据，而不是仅仅基于部分信息进行猜测。

核心总结

MAVEN 改变了游戏规则：从“寻找正确答案”转变为“学习如何构建正确答案”。它将长上下文推理视为不仅仅是一次性的搜索，而是一个动态的过程——即导航证据状态——通过不断地添加、链接和丢弃信息，直到整个画面变得清晰。

该论文得出结论：对于 AI 而言，若要在长文本中实现真正的推理，它需要学会如何管理和修正自己的证据，而不仅仅是提取静态的事实列表。

技术摘要：MAVEN —— 面向长文本推理的证据状态奖励机制

1. 问题陈述

先进的大型语言模型（LLMs）正日益支持超长上下文窗口，但接受长输入的能力并不保证其具备有效的推理能力。模型经常受到“迷失在中部”（lost in the middle）现象、过早依赖局部证据以及无法综合分布在不同远端上下文中的信息等问题的困扰。

现有的用于长文本推理的强化学习（RL）方法通常依赖于仅基于结果的奖励（验证最终答案）或静态证据识别奖励（奖励选择黄金片段）。作者认为这些方法是不充分的，因为它们将证据视为孤立的块或最终提取的集合。它们未能捕捉到长文本推理中动态的、依赖状态的本质，即：

一个片段可能在找到另一个片段后才变得有价值。
一个看似合理的文档可能在后续证据揭示其为干扰项时需要被舍弃。
单个不足以支撑结论的碎片可能会共同弥合推理差距。

当前的奖励机制鼓励模型过早地承诺于局部看似合理的证据路径，而非通过迭代过程来构建、修正和综合一个不断演进的证据状态。

2. 方法论：MAVEN

作者提出了 MAVEN（边际价值证据导航，Marginal-Value Evidence Navigation），这是一个将长文本推理视为状态化证据记忆导航的强化学习框架。MAVEN 并非奖励孤立的提取，而是定义了一个以答案为条件的证据状态价值，并为特定的动作级状态转换分配奖励。

2.1 框架与动作

策略模型 $\pi_\theta$ 在生成最终答案之前，与一个可编辑的证据记忆 $E_k$ 进行交互。模型生成一系列高层动作轨迹：

添加 (<add>)： 将引用的或参考的证据片段添加到记忆中。
丢弃 (<drop>)： 移除无关、冗余或具有误导性的证据片段。
链接 (<link>)： 说明两个证据片段如何共同支持答案（综合）。
回答 (<answer>)： 生成最终响应。

2.2 价值函数

MAVEN 利用一个冻结的验证器模型 $p_\psi$ 来计算证据状态价值 $V_\psi(Q, E)$ 。该价值衡量了在给定问题 $Q$ 和当前证据记忆 $E$ 的情况下，相比于没有任何证据的情况，负对数似然（NLL）相对于黄金答案 $a^*$ 的减少程度：
$V_\psi(Q, E) = \frac{\ell_\psi(Q, \emptyset) - \ell_\psi(Q, E)}{\ell_\psi(Q, \emptyset) + \epsilon}$
正值表示证据使得正确答案更具可预测性。

2.3 动作级奖励

MAVEN 在 GRPO（群体相对策略优化）框架内为特定的动作片段分配过程奖励：

添加奖励 ( $\rho_{add}$ )： 结合了在线条件答案信息增益（CAIG）和事后信用（hindsight credit）。
- CAIG： 奖励在添加新项后证据状态的即时改善。
- 事后信用： 如果某个项属于最终保留的证据集 $E_F$ ，则根据移除该项后最终价值会下降多少来给予信用（一种 Shapley 值的近似）。这确保了在多跳推理中，早期的必要证据不会被低估。
丢弃奖励 ( $\rho_{drop}$ )： 如果移除证据能够改善以答案为条件的证据状态（即移除干扰项），则给予奖励。它会惩罚丢弃有用证据的行为。
链接奖励 ( $\rho_{link}$ )： 奖励显式的证据综合。它使用成对协同得分来衡量两个片段是否在一起比单独存在时更有价值。
回答奖励 ( $\rho_{ans}$ )： 基于与标准答案的子字符串匹配的二元奖励，以确保任务成功。

2.4 训练流程

训练分为两个阶段：

冷启动 SFT： 在有效的动作轨迹上进行监督微调，以教会模型可编辑的记忆接口和动作语法。
RL 训练： 模型使用定义的动作局部奖励进行 GRPO 优化。该目标保留了过程级的信用分配，使得一个包含错误的“添加”随后紧跟一个纠正性“丢弃”的轨迹，能够分别获得适当的负向和正向优势。

3. 核心贡献

识别局限性： 作者指出，现有的长文本 RL 奖励往往监督静态证据提取，而非证据状态转换，从而导致模型过早锚定在错误的路径上。
MAVEN 框架： 提出了一个可编辑的证据记忆框架，定义了以答案为条件的证据状态价值。它通过状态化的、动作局部的过程奖励，训练 LLM 进行添加、链接、丢弃和回答。
实证验证： 在不同模型家族（Llama, Qwen）和基准测试中展示了持续的提升，提供了诊断性证据，证明 MAVEN 提高了证据充分性（黄金证据的覆盖率）并减少了干扰项保留（保留误导性证据）。

4. 实验结果

作者在 Llama-3.1-8B、Qwen2.5-14B 和 Qwen3-30B-A3B 上，针对 LongBench v2、LongReason 和 RULER 进行了评估。

性能： MAVEN 始终优于所有基线模型，包括仅基于结果的 RL 以及“结果加证据识别”的基线。在 LongBench v2 上，MAVEN 在不同模型规模上比最强的基线高出 3.5 到 4.0 个百分点。
长文本特性： 提升在长文本拆分部分（如 128K 上下文）尤为显著，表明该方法在答案依赖于分布式信息时至关重要。
诊断指标：
- 证据充分性： MAVLU 实现了 >85% 的充分性，显著高于基线。
- 干扰项保留： MAVEN 显著降低了被保留证据中属于干扰项的比例，证明了模型修正记忆的能力。
消融实验：
- 移除丢弃奖励会导致最高的干扰项保留率。
- 移除链接奖励会降低证据充分性。
- 移除添加奖励会导致总分下降最大。
- 使用仅从最终证据集计算奖励（忽略中间步骤）的变体表现明显较差，证实了动作局部过程奖励的必要性。
泛化性： 在 MMLU-Pro 上的评估表明，MAVEN 训练并未降低其通用的短文本推理能力。

5. 意义与主张

论文声称，有效的长文本 RL 需要优化的是证据状态转换，而不仅仅是优化证据提取。通过将推理视为在可编辑记忆中进行的导航过程，MAVEN 使模型能够：

通过丢弃奖励从添加误导性证据中恢复。
综合互补信息（通过链接奖励）。
识别早期证据即使其即时价值较低也具有必要性（通过事后信用）。

作者将 MAVEN 定位为检索、智能体工作流和架构上下文扩展的补充，专门针对学习如何构建和修正用于推理的证据状态这一瓶颈。

承认的局限性：

MAVEN 在训练期间依赖黄金答案来计算基于验证器的价值，这限制了其在无法验证答案的任务中的直接适用性。
该接口假设证据可以表示为有界文本片段。
诊断性标注是为受控分析而构建的，关于证据质量更广泛的人类评估仍是未来的工作。