💬 NLP

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

GoLongRL 是一个开源框架，它通过包含 23K 个多样化 RLVR 样本的能力导向型数据集以及用于异构多任务优化的新型 TMN-Reweight 算法来增强长上下文强化学习，实现了与领先闭源模型相当的性能。

原作者： Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minxuan Lv, Tiehua Mei, Tanlong Du, Junmin Chen, Zhenpeng Su, Ziyang Chen, Ziqi Wang, Zhennan Wu, Ruotong Pan, jian Liang, Ruiming Tang, Han Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一位非常聪明但注意力短暂的學生，如何阅读并理解一座庞大的图书馆，而不仅仅是一页纸。这就是“长上下文”人工智能所面临的挑战。论文GoLongRL提出了一种训练这些人工智能模型的新方案，重点关注两个核心问题：教什么（数据）以及如何批改作业（算法）。

以下是使用简单类比进行的分解说明：

1. 问题所在：旧方法过于狭隘

以往教导人工智能阅读长书的方法，就像只训练学生做“大海捞针”的谜题。

问题：它们通过让 AI 在长文本中搜寻特定事实来生成数据。虽然这有助于 AI 找到“针”，但并未教会它如何总结整片“干草堆”、对最重要部分进行排序，或理解复杂的故事。
结果：AI 擅长寻找特定事实，但在其他技能上表现不佳，例如总结小说或整理杂乱的报告。这就像一个能查字典找到特定单词的学生，却写不出一篇作文。

2. 解决方案：以“能力为导向”的教学大纲

GoLongRL 的作者决定不再仅仅制造“捞针”游戏，而是转而构建一个基于聪明读者所需 9 种不同技能的综合教学大纲。

数据集（教科书）：他们构建了一个包含 23,000 道练习题的新数据集。
- 真实书籍，而非虚构故事：他们没有编造虚假故事，而是使用了真实的书籍、学术论文和法律文件。他们要求 AI 针对这些真实文本生成问题。这确保了 AI 能够处理人类写作中那种杂乱无章、自然真实的风格。
- 9 种技能：该数据集涵盖了多样化的任务，包括：
  - 精确检索：查找特定事实。
  - 摘要：将长章节浓缩为几句话。
  - 排序：决定多个搜索结果中哪一个最有用。
  - 推理：解决财务报告中出现的数学问题。
- 类比：想象一下，与其给学生 10,000 份完全相同的“寻找红球”测试，不如给他们 10,000 份混合测试：有些要求他们寻找红球，有些要求他们总结比赛，有些要求他们对选手进行排名，还有些要求他们解决关于分数的数学问题。

结果：即使没有使用花哨的新数学技巧，仅凭这份更好的“教学大纲”，就使 AI 的表现优于顶级的闭源竞争对手（QwenLong-L1.5）。

3. 算法：“公平评分”系统（TMN-Reweight）

一旦拥有了多样化的教学大纲，你就需要一种公平评分学生表现的方法。标准的评分方法（称为 GRPO）在处理不同类型的问题时存在缺陷。

问题：想象一场数学考试，答对一题得 100 分，而一场阅读理解考试，答对一题只得 1 分。如果将它们混合在一起，数学问题将主导学生的大脑，导致他们忽视阅读理解。此外，如果一个问题超级难，标准评分可能会感到困惑，要么给学生的幸运猜测过多的分数，要么给学生的接近正确答案的表现过少的分数。
修正方案（TMN-Reweight）：作者发明了一种包含两个步骤的新评分系统：
1. 拉平竞争环境（任务级归一化）：他们调整了分数，使得数学问题的“完美”得分与排序问题的“完美”得分感觉相同。这防止了 AI 仅仅因为数字看起来较小就忽略困难的任务。
2. 聚焦挣扎（难度自适应重加权）：
  - 如果学生答对了简单的问题，老师会说：“干得好，但这你已经掌握了”，并给予较小的奖励。
  - 如果学生答对了困难的问题（这种情况很少见），老师会说：“哇，这很难！太棒了，你居然解出来了！”并给予巨大的奖励。
  - 如果学生答错了困难的问题，老师不会生气；他们只会说：“我们再试一次”，并减少惩罚，以免学生感到气馁。

类比：这就像一位教练，他不仅仅计算分数。教练会根据动作的难度调整得分，并特别关注那些难以执行的动作给予额外的赞扬。这有助于 AI 在所有技能上更快、更均衡地学习。

4. 结果：全面发展的学生

当他们测试这种新方法时：

全面进步：AI 在所有 9 项技能上都有显著提升，而不仅仅是“捞针”类技能。
无权衡：通常，当你训练学生擅长一件事（如阅读长书）时，他们在其他方面（如通用逻辑或记忆）会变差。这种方法实际上在教导 AI 进行长上下文阅读的同时，提升了其通用推理和记忆技能。
开源：作者发布了整个“教学大纲”（数据集）、“教学计划”（代码）和“评分标准”（算法），供任何人使用。

总结

GoLongRL 就像是将人工智能的教育从枯燥、重复的 drills（寻找针）升级为一套丰富、多样的课程（阅读、总结、排序和推理），并配合一套公平、智能的评分系统，该系统知道何时该给学生施加更大压力，何时该让他们休息一下。其结果是一个不仅仅是事实查找器，而是真正的长篇思考者的人工智能。

技术摘要：GoLongRL

问题陈述

尽管大语言模型（LLMs）通过预训练和中期训练迅速扩展了上下文窗口，但在后训练阶段有效利用这些扩展的上下文仍然是一个瓶颈。现有的长上下文推理强化学习（RL）方法主要存在两个局限性：

数据覆盖狭窄：当前方法通常围绕复杂的检索路径（例如 UUID 链、基于分块的问题解答）构建数据，导致任务覆盖同质化。这使得对关键能力（如摘要、排序、聚合和结构化推理）的监督不足。
多任务设置下的优化不稳定性：标准组相对策略优化（GRPO）在应用于具有不同奖励指标（例如 EM、F1、NDCG、ROUGE-L）的异构任务时面临挑战。
- 难度偏差：按提示进行归一化（除以标准差 $\sigma_u$ ）可能会放大简单和困难提示的优势，同时抑制中等难度样本。
- 跨任务尺度不一致性：不同的奖励指标表现出不同的方差特征。如果没有适当的归一化，高方差任务可能会主导梯度更新，从而扭曲优化轨迹。

方法论

1. 面向能力的构建

作者提出了一种由 9 种核心长上下文能力分类法指导的数据构建框架，而不是简单地向提示中注入长度。

数据集构成：一个完全开源的包含 22,965 个 RLVR（可验证奖励强化学习）样本的数据集。
- 来源：约 1.4 万个来自成熟语料库（如 LongBench Pro、CLongEval）的精选开源样本，以及 9 千个合成样本，其中问答对是从真实文档（书籍、学术论文、法律文件）生成的。
- 任务分类法：该数据集涵盖 9 种任务类型（T1–T9），包括精确检索、理解、全面检索、数值推理、结构化提取、结构化匹配、分级排序、序列排序和摘要。
- 奖励对齐：每个任务都与其自然评估指标配对（例如，排序任务使用 NDCG，全面检索使用 F1，摘要使用 ROUGE-L），而不是将它们合并为单一的二元信号。
构建流程：一个四阶段过程，包括来源收集、面向任务过滤、带有质量控制（使用 Gemini-2.5-Pro 和 DeepSeek-V3.2 等模型）的样本构建，以及基于基准诊断的迭代优化。

2. TMN-Reweight 算法

为了解决异构奖励带来的优化挑战，本文引入了 TMN-Reweight（任务级均值归一化与难度自适应重加权）。

步骤 1：任务级均值归一化：该方法不再使用按提示的标准差（ $\sigma_u$ ）进行归一化（这混淆了尺度校正与难度放大），而是使用任务级聚合标准差（ $\sigma_{task}$ ）进行归一化。该值计算为特定任务内按提示标准差的均方根。这减少了跨任务的尺度差异，同时保留了每个任务内的相对优势幅度。
步骤 2：难度自适应重加权：为了纠正任务内的难度偏差，该方法使用平滑通过率（在按提示基线和任务级基线之间插值）来估计提示难度。
- 四象限梯度重分配：难度权重（ $w$ $w$ ）被非对称地应用：
  - 对于困难提示（ $w > 1$ ）：正优势被放大以强化罕见的成功 rollout；负优势被缩小（ $1/w$ ）以减少破坏性梯度。
  - 对于简单提示（ $w < 1$ ）：正优势被衰减以防止概率集中；负优势被放大以增加从意外失败中学习的机会。

主要贡献

开源面向能力的数据集：发布了一个包含 2.3 万个样本的数据集，涵盖 9 种多样化的任务类型和异构奖励函数。作者证明，仅使用此数据进行训练（使用标准 GRPO），在 4B 和 30B 规模上均优于闭源的 QwenLong-L1.5 数据集。
TMN-Reweight 算法：一种新颖的优化策略，联合缓解了跨任务奖励尺度不一致性和难度引起的优势偏差。它在无需单独价值网络的情况下，相比标准 GRPO 带来了持续的性能提升。
泛化能力保持：该框架表明，使用面向能力数据的长上下文 RL 能够保持或提升通用推理和记忆能力，包括迁移到训练期间未见的代理记忆和长期对话基准测试。

结果

基准测试性能：
- 在 Qwen3-4B-Thinking 模型上，使用面向能力的数据集和标准 GRPO 训练，将长上下文基准测试平均分从 53.0 提升至 62.2，超过了 QwenLong-L1.5（59.4）。加入 TMN-Reweight 后，平均分进一步提升至 63.0。
- 在 Qwen3-30B-A3B 模型上，该数据集将平均分从 60.1 提升至 69.8（而 QwenLong-L1.5 为 67.2）。
- 在此数据上训练的模型在长上下文基准测试中达到了与更大规模的闭源模型（如 DeepSeek-R1-0528 和 Qwen3-235B-A22B-Thinking-2507）相当的性能。
消融研究：
- 数据集本身被确定为性能提升的主要驱动力，TMN-Reweight 提供了持续但适度的额外提升（在 4B 模型上提升 0.8 分），特别是在 CorpusQA 等聚合密集型任务上。
- 超参数 $\alpha$ （控制提示级和任务级难度估计之间的平衡）在 0.8 时表现最佳。
通用能力：在 MMLU-Pro、AIME24/25 和 GPQA 上的评估显示，通用推理能力得到了保持或提升。在代理记忆（Memory-Vec、Memory-Rec_Sum）和对话记忆（LongMemEval）方面观察到了显著增益。
长度外推：在 160K 上下文上训练的模型有效地泛化到高达 100 万 token 的评估序列，在不同模型规模上均表现出持续的提升。

意义与主张

本文主张，数据覆盖范围和奖励多样性是长上下文 RL 的主要瓶颈，往往比单纯的算法改进更为关键。通过将数据构建从以检索为中心转变为以能力为导向的分类法，作者提供了更丰富的训练信号，使广泛的长上下文任务受益。

这项工作表明，更广泛的覆盖范围和更大的奖励多样性即使在使用标准 RL 算法的情况下，也能显著促进长上下文能力的提升。此外，提出的 TMN-Reweight 为异构多任务设置提供了一种稳定的优化机制，确保长上下文训练的益处不会以牺牲通用推理或导致记忆退化为代价。所有资源，包括数据集、构建流程和训练代码，均已公开发布以促进进一步研究。