💬 NLP

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

本文将“重复复制”识别为长文本推理中的一种关键失效模式，即模型会无差别地复制输入文本而非专注于关键证据，并提出了 GEAR，一种基于证据感知的强化学习方法，通过奖励对相关信息的溯源并惩罚对无关干扰项的依赖来提升性能。

原作者： Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解开一部长达100页的巨型悬疑小说，而线索都隐藏在第一章，剩下的部分则只是一堆嘈杂的噪音。你有一个超级聪明的侦探朋友（一个大语言模型），他能在不到一秒钟的时间内读完整本书。过去，这些侦探在处理短篇故事时表现出色，但当你把这本100页的长篇小说交给他们时，他们开始表现得有些异常。他们不再进行思考，而是开始陷入“恐慌性复制”。他们不再撰写侦探笔记，而是开始将原书中的大段文字原封不动地粘贴回页面上，一遍又一遍。这篇名为《少复制，多落地》（Copy Less, Ground More）的论文深入探讨了这一特定的故障。它研究了这些旨在进行逐步推理的AI“思考”模型，是如何在面对过长的文本时，陷入盲目复制文本的死循环中的。研究人员发现，这不仅仅是一个无伤大雅的小习惯；这是一个陷阱，它会让AI变得更笨、更慢，并且更难解决谜题。他们提出了一种新的训练方式，教导这些AI忽略噪音，只专注于那些真正关键的微小线索。

问题始于这些AI侦探面临“长上下文”挑战的时候。把长上下文想象成一座巨大的图书馆，而问题的答案就埋藏在数百万个单词之中。该论文确定了一种被称为“重复复制”的关键失效模式。当图书馆变得巨大时，AI停止了思考，开始表现得像一台大脑损坏的复印机。它不再去推导解决方案，而是直接将提示词（问题和故事）中的大段篇章复制到自己的推理轨迹中。研究人员发现，这种现象几乎出现在他们测试的所有顶尖AI模型中，而且随着故事长度的增加，情况会变得更加严重。这就像一个学生在参加考试时，不去解数学题，而是开始在答题纸上重写教科书的内容。这种行为是普遍存在的，出现在七种不同的前沿模型中，并且随着上下文长度从8,000个单词增加到64,000个单词，这种行为会不断加剧。

但为什么AI会这样做呢？作者进行了深入研究，意识到根源并不在于复制本身是坏事，而在于AI在“不加区分地复制一切”。他们发现，AI未能将其“落地”（ground）在关键证据之上。想象一下，你正在一个巨大的毛线球中寻找一根特定的红线。一个聪明的侦探会只把那根红线抽出来。然而，困惑的AI会抓起整个毛线球，包括所有的蓝色、绿色和黄色垃圾，并把它们一起拖走。论文表明，当AI复制大部分是“干扰项”文本（即垃圾信息）时，它会任务失败。但当它选择性地复制“关键证据”（即红线）时，它就会成功。问题不在于复制，而在于缺乏专注力。AI淹没在无关的细节中，因为它不知道如何从噪音中分辨出信号。

为了解决这个问题，团队发明了一种新的训练方法，称为GEAR（落地证据感知奖励）。把它想象成一套新的游戏规则。在旧的游戏中，AI只有在得出最终正确答案时才会获得积分。在新的GEAR游戏中，规则更加严格：如果AI的推理轨迹与特定的“关键证据”（红线）重合，它会获得加分；但关键在于，如果它的轨迹与“干扰项”文本（垃圾信息）重合，它会受到严厉的惩罚。这创造了一种拉锯战。AI学习到，想要获胜，它必须成为一名狙击手，而不是机关枪手。它必须找到正确的线索，并忽略其余的部分。为了让这种方法在现实世界的文档（而不只是虚构的数学题）上奏效，他们构建了一个自动化的流水线，充当一名聪明的编辑，将长文档切片，以识别哪些部分是“证据”，哪些部分只是“废话”，从而创建了一个包含3,200个问题的训练数据集。

当他们测试这种新方法时，结果带来了颠覆性的变化。他们使用GEAR奖励系统训练了三种不同规模的AI模型（参数量从90亿到350亿不等）。结果显示，GEAR的表现一致优于标准的训练方法。平均而言，它在各种困难基准测试中将AI的性能提升了高达4.6个点。更重要的是，它纠正了那些坏习惯：AI不再进行大量的复制，它的“思考”轨迹变得更短、更高效，并且它在解决问题方面确实变得更强了，尤其是在处理极长上下文（高达128,000个单词）时。论文指出，即使在AI向复杂推理迈进的过程中，能够稳固地立足于正确证据的能力才是最重要的技能。如果没有这种能力，AI只会迷失在自己的复制之中。有了GEAR，它学会了少复制、多落地，从而将一个混乱的复印机重新变回了一名敏锐的侦探。

技术摘要：GEAR (基于证据感知的接地式奖励)

问题：长上下文推理中的重复复制现象

本文指出，在将具备逐步推理能力的语言大模型（LLMs）应用于长上下文任务时，存在一种关键的失效模式：重复复制（repetitive copying）。虽然这些模型擅长复杂的推理，但作者观察到，随着上下文长度的增加，模型倾向于不加区别地将输入提示词中的大段文本复制到其推理轨迹中，而不是进行富有成效的解题。

通过在 GSM-Infinite 基准测试上对包括 Qwen、Claude 和 DeepSeek 系列在内的七种前沿 LLM 进行系统的实证分析，作者证明了：

普遍性： 重复复制现象广泛存在，且随上下文长度增加而加剧（例如，3-gram 重叠率从 8k token 时的约 20% 上升到 64k token 时的约 70%）。
性能退化： 高复制率与较低的任务准确率以及显著膨胀的推理长度强相关。将 Token 预算消耗在转录而非推理上的模型，会产生更长且更有冗余的推理轨迹。
根本原因： 核心问题在于证据接地（evidence grounding）不足。问题不在于“复制”本身，而在于缺乏选择性。正确回答的样本表现出与任务相关的“关键证据（key evidence）”高重叠，以及与“干扰项上下文（distractor context）”低重叠。相反，错误的样本则会不加区别地从两者中进行复制，无法区分相关信息与无关噪声。

方法论：GEAR 与自动化数据构建

为了解决接地不足的问题，作者提出了 GEAR (Grounding Evidence-Aware Reward)，这是一种针对强化学习（RL）的奖励塑造方法，它在标准准确率信号的基础上增加了两个互补的组件：

1. 奖励设计

GEAR 奖励函数 $R(x, y)$ 定义为：
$R(x, y) = R_{acc} + \alpha \cdot \text{Overlap}_n(y \| x_{key}) - \beta \cdot \text{Overlap}_n(y \| x_{dist})$
其中：

$R_{acc}$ ：二元准确率奖励。
$\text{Overlap}_n(y \| x_{key})$ ：接地奖励（Grounding Reward）。鼓励推理轨迹 $y$ 与标注的关键证据片段 $x_{key}$ 之间产生重叠。
$\text{Overlap}_n(y \| x_{dist})$ ：干扰项惩罚（Distractor Penalty）。惩罚推理轨迹与无关的干扰项上下文 $x_{dist}$ 之间的重叠。
$\alpha, \beta$ ：非负系数（优化设定为 $\alpha=0.1, \beta=0.3$ ）。
$n$ ：n-gram 大小（训练时设为 3，以提供密集的梯度信号）。

至关重要的是，作者发现仅使用接地奖励（而不使用干扰项惩罚）是有害的，因为这会激励模型从输入的所有部分（包括干扰项）进行复制。这两个组件都是必要的，旨在教会模型在忽略噪声的同时，有选择性地利用证据。

2. 自动化证据标注数据流水线

为了将 GEAR 应用于无法原生获得地面真值（ground-truth）证据片段的自然语言数据，作者开发了一个三阶段自动化流水线：

文档分析： 一个 LLM 分析文档，识别信息特征和适用的问题类型。
受限证据问答生成： 将文档切分为若干块（chunks）。随机抽取一个子集（1–3 个 chunk）作为“约束上下文（constraint context）”（即关键证据）。由一个 LLM 生成一个仅能通过该子集回答的问题，并提供精确的证据引用和答案。
答案验证： 仅使用“约束上下文”重新回答该问题。只有当重新推导出的答案与参考答案一致时，该对数据才会被保留，从而确保问题明确地基于指定的证据。

该流水线允许从任意文档语料库（如 RedPajama-v2）构建训练数据，补充了像 GSM-Infinite 和 PhantomWiki 这样的合成基准测试。

3. 训练设置

作者使用混合了 3,200 个长上下文样本（合成与自然语言）的 Group Sequence Policy Optimization (GSPO) 算法来训练三个 Qwen3.5 模型（9B, 27B, 和 35B-A3B）。模型在 16k 到 32k token 的上下文范围内进行了一轮（one epoch）训练。

关键结果

作者在 32k 和 128k 上下文长度下，通过五个留出基准测试（Ruler, LongBench-v2, BrowseComp-LC, GraphWalks, AA-LCR）验证了 GEAR 的有效性。

性能提升： GEAR 的表现始终优于仅使用准确率奖励的标准 RL。
- 在 32k 上下文下：平均提升 1.5 到 2.8 个百分点。
- 在 128k 上下文下：平均提升 2.1 到 4.6 个百分点。
- 值得注意的是，在 128k 时的增益更大（是训练分布长度的 4 倍），这表明学到的接地行为能够鲁棒地泛化到未见的上下文规模。
奖励组件消融实验：
- 仅接地 (+Rground)： 表现比仅准确率的基线更差（在 128k 时下降高达 8.3 个百分点）。它增加了复制率和思考长度，但并未提高准确率。
- 仅干扰项惩罚： 同样效果欠佳，因为它抑制了所有复制行为，却未能引导模型转向相关证据。
- 完整 GEAR： 只有结合了这两个项，才能带来持续的改进，这证实了区分相关上下文与无关上下文的必要性。
效率： GEAR 降低了重复复制率（重叠率）和思考长度。例如，在 Ruler 基准测试上，相比于 GSPO 基线，GEAR 将重叠率从 36.9% 降至 27.0%，并将思考长度从 4,290 减至 2,066 个 token。

意义与主张

论文声称，随着长上下文评估从简单的检索转向复杂的推理，对相关证据进行准确的接地仍然是一项不可或缺的能力。作者认为，长上下文环境下主要的“过度思考（overthinking）”形式并非漫无目的的阐述，而是直接、不加区别地从提示词中进行复制。

通过引入 GEAR，这项工作证明了：

重复复制是一个特定的、可解决的失效模式，与证据接地不足密切相关。
通过显式惩罚干扰项重叠并奖励关键证据参与的奖励塑造方法，可以有效缓解这种行为。
自动化流水线可以将这些优势从合成基准扩展到自然语言数据，从而实现无需人工标注的长上下文推理的可扩展训练。

研究结果表明，即使对于先进的推理模型，能够有选择地关注并将其推理锚定在特定证据片段上的能力，仍然是一个关键瓶颈，而目前的 RL 方法在仅针对准确率进行优化时，无法解决这一问题。