💬 NLP

LongR: Unleashing Long-Context Reasoning via Reinforcement Learning with Dense Utility Rewards

LongR 是一个统一的框架，通过将动态的“思考与阅读”机制与基于相对信息增益的上下文密度奖励相结合，增强了大语言模型在长上下文推理方面的能力，并在多种基准测试和强化学习算法中实现了显著的性能提升。

原作者： Bowen Ping, Zijun Chen, Yiyao Yu, Tingfeng Hui, Junchi Yan, Baobao Chang

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Bowen Ping, Zijun Chen, Yiyao Yu, Tingfeng Hui, Junchi Yan, Baobao Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 LongR 论文的解释，通过简单的概念和日常类比进行了拆解。

核心问题：“大海捞针”陷阱

想象你是一名正在试图破解谜题的侦探，但线索隐藏在包含数百万本书的图书馆中（即“长上下文”）。

旧方法（标准 AI）： AI 试图一次性阅读整个图书馆。它经常会被信息淹没。当被问到一个具体问题时，它可能会根据看到的几个词进行猜测，或者因为它并没有真正找到正确的那一页而直接编造答案。这就像是通过阅读封面和第一章来试图在一本小说中寻找特定的句子。
当前 AI 的困境： 即便是使用强化学习（通过试错来学习），AI 通常也只能在最后得出正确答案时才获得“奖励”。这就像是告诉一个学生：“如果你做对了最后的数学题，你就能拿 A，”但在他们正苦苦挣扎于 50 个计算步骤的过程中，却不给予任何帮助。AI 不知道哪一步是好的或坏的，因此很难学会如何有效地阅读长文档。

解决方案：LongR（边想边读）

作者创建了一个名为 LongR 的新系统。把它想象成在教 AI 一种新的学习习惯，叫做**“边想边读”（Think-and-Read）**。

与其只是盲目地猜测或阅读所有内容，LongR 教会了 AI：

思考： “我需要找出贝卡（Becca）住在哪里。”
阅读： “好吧，让我跳转到提到贝卡的那部分文本。”
再次思考： “啊，我找到了。她住在 4 楼，不是 2 楼。”

这是一个持续的循环。AI 会暂停其推理过程去检查文档，然后回到推理，不断重复此过程，直到得出答案。

秘诀： “稠密奖励”（Dense Reward）

AI 是如何学会这种能力的？论文引入了一种特殊的奖励系统。

旧奖励（稀疏奖励）： “你答对了吗？对了？做得好。错了？再试一次。” 这对于长文档来说太模糊了。
LongR 奖励（稠密效用）： 论文使用了一个巧妙的技巧，称为相对信息增益（Relative Information Gain）。
- 类比： 想象 AI 正在玩一个“猜词游戏”。
  - 如果 AI 猜了一个已经显而易见的词（比如“天空是蓝色的”），它会得到零分，因为文档没有教给它任何新知识。
  - 如果 AI 猜了一个在阅读特定句子之前完全是谜团的词（比如“贝卡住在 4 楼”），它会得到高分。
- 为什么这很重要： 这鼓励 AI 停止在无聊、显而易见的内容上浪费时间，转而积极寻找隐藏在文本中的特定、独特的细节。它奖励的是 AI 找到那根“针”，而不仅仅是拿着那堆“干草”。

他们是如何教学的（课程学习）

你不能直接把婴儿扔进深水池。论文描述了一种**课程学习（Curriculum Learning）**的方法：

从小开始： 他们首先教 AI 阅读短篇故事（例如 16,000 字）。
逐渐变难： 一旦 AI 擅长了短篇故事，他们就慢慢增加长度到 32,000 字，以此类推。
无需特殊的训练数据： 他们不需要雇佣人类来编写特殊的“长文档”示例。AI 完全是通过玩这个游戏（强化学习）并获得正确的奖励，从而学会了“边想边读”的习惯。

结果：发生了什么？

论文在多个“长上下文”测试（如 LongBench、RULER 和 InfiniteBench）上测试了该方法。

更高的准确率： 与以往的方法相比，LongR 的表现提升了约 9%。它在海量文本中寻找特定事实的能力有了显著提高。
没有“作弊”现象： 一个很大的担忧是 AI 可能会通过复制大段文本来“作弊”以获取分数。论文显示这种情况并未发生。AI 学会了保持精准，只引用必要的句子（即“针”），而不是倾倒整本书的内容。
适用性广： 这种方法在不同类型的 AI 模型和不同的学习算法上都表现良好，证明了它是一个强大的工具。

总结

LongR 就像是给学生一把荧光笔和一份清单，而不仅仅是一个最终成绩。它教会 AI 在不确定时停下来检查源材料，并专门针对其发现解决谜题的有用信息进行奖励。这使得 AI 能够处理海量的文本，而不会迷失方向或胡编乱造。

技术摘要：LongR —— 通过密集效用奖励实现强化学习驱动的长文本推理

1. 问题定义

强化学习（RL）已在增强大语言模型（LLM）的推理能力方面被证明是有效的，特别是在数学等领域。然而，将强化学习应用于长文本场景（例如，长对话理解、结构化数据分析）时，面临着独特的挑战。在这些场景中，主要难点不仅在于 Token 的消耗，而是在广泛的内容之上进行严密的演绎推理。

现有方法面临两个主要局限性：

奖励稀疏性（Reward Sparsity）： 标准的强化学习依赖于稀疏的、仅基于结果的奖励（例如，最终答案的正确性）。在长文本任务中，这些信号往往过于粗糙，无法有效引导复杂的推理过程，从而导致上下文对齐（contextual grounding）的梯度消失。
结构性约束（Structural Constraints）： 最近试图缓解稀疏性问题的研究（如 LongRLVR）通常需要将文档预先分割成离散的块（chunks），并训练模型输出特定的块标识符。这种僵化的分割方式存在破坏信息完整性的风险，引入了人工构建数据的开销，并迫使模型采用非自然的输出格式，从而使“查找”与“推理”脱节。

本文解决的核心问题是如何在不使用僵化分割的情况下，在标准的自回归生成中增强长文本推理能力，同时提供密集的、具有信息量的反馈，以引导模型寻找相关的证据。

2. 方法论：LongR 框架

LongR 提出了一个统一的框架，该框架严格在标准的自回归生成内运行，集成了三个关键机制：

A. 动态“思考与阅读”（Think-and-Read）机制

LongR 不进行文档预分割，而是鼓励模型在思维链（Chain of Thought）中直接交替进行推理步骤与文档查阅。

过程： 模型生成的轨迹中，推理步骤（内部思考）与基于证据的提取（来自文档的引用）交替进行。
优势： 这模拟了人类的认知过程，保留了原始信息的完整性，并消除了对离散块标识符或专门输出格式的需求。

B. 基于相对信息增益的上下文密度奖励

为了解决奖励稀疏性问题，LongR 引入了一种基于**相对信息增益（Relative Information Gain）**的密集奖励信号。

概念： 该框架通过衡量上下文在多大程度上降低了提取证据的不确定性，来量化检索到的文档片段的效用。
实现：
1. 一个冻结的验证器模型（例如 Qwen3-4B）估计生成片段 $s_k$ 在有上下文（ $P(s_k|c)$ ）和无上下文（ $P(s_k)$ ）情况下的概率。
2. 效用通过负对数似然（NLL）的减少量来计算： $Score(s_k, c) = L(s_k) - L(s_k|c)$ 。
3. 归一化： 为了确保规模不变性并防止模型通过生成冗长或晦涩的文本来“刷分”，该得分通过先验不确定性进行归一化，得到相对信息增益：
  $r(s_k, c) = 1 - \frac{L(s_k|c)}{L(s_k)}$
4. 最终的轨迹奖励是所有唯一引用得分的平均值。如果没有生成任何引用，则奖励为零。

C. 渐进式课程学习

为了避免高成本的长文本特定数据工程（例如构建“先查阅后推理”的演示数据），LongR 采用了课程学习策略：

模型逐步接触长度递增的文档（例如，从 16K token 开始，逐步扩展到 32K+）。
这使得模型能够纯粹通过强化学习习得“思考与阅读”的模式，从通用数据开始，逐渐掌握更长的上下文。

3. 核心贡献

LongR 框架： 一种用于长文本推理的统一方法，它将动态的“思考与阅读”机制与上下文密集奖励相结合，完全在标准的自回归生成内运行。
密集效用监督： 提出了将相对信息增益作为奖励信号。这种白盒化的、基于信息论的方法提供了关于检索上下文效用的细粒度反馈，而无需依赖学习到的黑盒奖励模型或僵化的文档分割。
自学习推理模式： 证明了通过渐进式课程学习，可以从通用的、易于获取的数据中习得“思考与阅读”模式，从而消除了对昂贵的、长文本特定监督微调（SFT）数据的需求。

4. 实验结果

作者使用 Qwen3 系列（4B 和 8B 参数）在三个主要基准测试上评估了 LongR：LongBench v2、RULER 和 InfiniteBench。

LongBench v2： 与 SFT 基线相比，LongR 实现了 9% 的整体性能提升，并且较仅基于结果的强化学习（DAPO）有显著改进。对于 Qwen3-8B 模型，得分从 26.64 (SFT) 提升至 36.23 (LongR)。值得注意的是，在“困难（Hard）”问题和“长（Long）”上下文切分上的增益最为明显。
RULER： LongR 在 64K 和 128K 上下文长度下均持续优于基线。对于 8B 模型，它在 64K 切分下的平均得分达到 71.98，超过 DAPO 基线 +16.96。
InfiniteBench： LongR 获得了最高的平均得分（8B 为 50.18，4B 为 47.60），并在 En.MC 和 En.QA 等特定子任务上取得了实质性进步。
对 RL 算法的鲁棒性： 该框架在多种 RL 算法（包括 DAPO、CISPO 和 GSPO）中均表现出一致的改进，表明该方法具有算法无关的有效性。
消融实验：
- 奖励设计： “相对密度（Relative Density）”奖励显著优于“仅结果（Outcome-only）”、“绝对密度（Absolute Density）”和“阈值密度（Threshold Density）”基线，证实了尺度不变的相对增益对于防止奖励作弊（reward hacking）至关重要。
- 验证器规模： 使用 4B 验证器在性能提升与计算效率之间达到了最佳平衡，当扩展到 32B 时观察到收益递减。
- 效率： 对推理链长度的分析表明，LongR 不会导致“长度膨胀”或奖励作弊（盲目复制文本）。相反，它鼓励对相关证据进行“外科手术式提取”，保持的 Token 数量与仅基于结果的基线相当甚至更低。

5. 意义与主张

本文声称，LongR 在不施加以往方法中的结构性约束的情况下，解决了长文本强化学习中奖励稀疏的关键瓶颈。通过利用相对信息增益，该框架提供了一种稳健的、内在的信号，激励模型主动寻求高价值信息，而非仅仅依赖表面的查询匹配。

作者强调，LongR 使模型能够：

以稳健的效率处理大规模上下文。
无需高成本、特定领域的工程化数据即可学习复杂的推理模式。
通过避免僵化的文档分割来保持信息完整性。

最终，LongR 证明了将密集效用奖励与渐进式课程学习相结合，可以显著释放大语言模型在长文本场景下的推理潜力，为开发更强大的自主智能体和推理系统提供了一条可扩展的路径。