💬 NLP

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

本文提出了“信息丰盈悖论”，证明了使用过长的上下文训练大型语言模型会削弱其将知识参数化内化的能力，导致其过度依赖上下文线索，并最终降低在需要无支持知识检索的任务中的表现。

原作者： Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Arda Uzunoglu, Benjamin van Durme, Daniel Khashabi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何写故事或解谜题。长期以来，科学家们一直认为最好的方法是给机器人喂食海量的书籍、代码和对话，希望通过阅读得越多，它就会变得越聪明。这就是大语言模型（LLM）的世界，也是当今驱动聊天机器人和写作助手的 AI 技术。大家一直在追求的一个核心理念是“上下文”（context）：给机器人一个巨大的观察窗口。与其一次只读一句话，不如让机器人同时观察整页、整本书，甚至整个对话历史。人们的假设很简单：如果你在学习时给机器人提供更多的信息去观察，它以后使用这些信息的能力就会变得更好。这就像是在想，如果你学习时用一本更大的教科书，你自然就会成为一名更好的学生。

但如果那本教科书“太好用”了呢？如果因为答案就在你眼前，你在学习时，你的大脑决定不再需要记忆任何东西了呢？你可能会变得非常擅长在书中寻找答案，但如果有人在考试时把书拿走，你可能会完全不知所措。这正是约翰斯·霍普金斯大学的一个研究小组决定调查的棘手问题。他们想看看，在训练过程中给 AI 模型一个“超大尺寸”的阅读窗口，究竟是能帮助它们更好地学习，还是会无意中教会它们完全依赖眼前的即时信息，而不是构建自身的内部知识。

信息丰盈悖论

研究人员发现了一个他们称之为**“信息丰盈悖论”（Information Abundance Paradox）**的现象。这个名字听起来很高级，但其背后的理念其实很有趣，甚至有些反直觉。他们发现，当你用大量相关的丰富信息来训练 AI，并将其置于其“上下文窗口”（即它在学习时能看到的文本）中时，模型会停止尝试记忆事实。相反，它学会了仅仅去观察给定的文本并复制答案。

把这想象成一个学生在参加数学考试：

旧方式（参数化知识）： 学生努力学习，背诵公式并理解规则。当看到题目时，他们利用大脑中的知识进行解题。
新方式（上下文处理）： 学生被允许在学习时把教科书开在桌子上。他们意识到自己不需要背诵公式；他们可以瞬间翻到那一页并找到答案。他们成为了使用书籍方面的专家。

悖论在于，虽然这个“开卷考试”的学生在有书的情况下能拿到满分，但如果你把书拿走，他们就会表现得一塌糊涂。研究人员指出，通过在训练中向 AI 灌输过多的辅助性上下文，我们实际上是在无意中训练它产生“上下文成瘾”。它停止了构建强大的内在头脑，转而完全依赖外部文本。

证据：并非越大越好

为了证明这一点，该团队进行了一系列感觉像是科学魔术表演的实验。

1. 预训练实验（从零开始学习）
他们采用了小型 AI 模型，并在大量的书籍（Project Gutenberg）上对其进行训练。他们改变了模型在一次处理中能看到的“窗口”大小，范围从短短的 512 个单词到庞大的 32,000 个单词。

结果： 起初，随着窗口变大，模型变得越来越聪明。但随后，奇怪的事情发生了。当窗口达到一定规模（根据任务不同，大约在 2,000 到 8,000 个单词之间）后，模型的表现反而开始变差了。
类比： 想象一个学生起初使用一个小笔记本。他们必须记住所有内容才能做得好。然后他们得到了一个更大的笔记本，表现更出色了。但接着，他们得到了一卷巨大的、无限长的纸卷。突然间，他们不再记录任何东西了，只是盯着那卷纸看。当考试到来且纸卷被收走时，他们什么也记不住了。学习的“甜点位”（最佳平衡点）是在中间位置，而不是在最大尺寸处。

2. 微调实验（学习特定任务）
接下来，他们利用现有的 AI 模型来教授特定的学科，如法律、医疗和经济学。他们精确控制了在训练期间模型看到的“有帮助”文本的数量。

结果： 当模型在拥有大量有益文档的训练下，如果再次提供这些文档，它们在回答问题方面表现得极其出色。但如果移除这些文档，或者如果文档包含误导性信息，模型就会崩溃。
它们看到的辅助性上下文越多，它们的鲁棒性（稳健性）就越差。它们变得就像一个只有在有信号时才能完美工作的 GPS，一旦信号中断，它们就不知道如何通过观察地图或太阳来进行导航。

为什么会这样？“高效”的大脑

研究人员深入挖掘了 AI 的“大脑”，以观察底层发生了什么。他们发现了导致这种行为的两个主要原因：

1. 最省力的路径
学习是一项艰苦的工作。记忆一条规则并将其存储在你的大脑（模型的“权重”）中是需要消耗能量的。但如果答案就在文本中，那么直接查找就要容易得多。研究人员发现，当上下文丰富且有帮助时，AI 找到了一个“复杂度更低的解决方案”。这就像是找到了捷径。AI 意识到：“为什么要费劲去记忆‘取反位’的规则，我可以直接看这里的例子呢？”于是，它停止了记忆，转而开始观察。

2. 脑力分配的转移
他们还观察了 AI 的大脑中哪些部分在发挥作用。

FFNs（前馈网络）： 可以将它们视为模型的“记忆库”，用于存储事实和规则。
注意力模块（Attention Modules）： 可以将它们视为模型的“眼睛”，用于扫描文本以寻找信息。
发现： 当 AI 在长而有益的上下文中进行训练时，学习的“压力”发生了转移。更新过程不再进入记忆库（FFNs），而是完全进入了“眼睛”（注意力机制）。模型实际上是在重新改造自身，使其变得更擅长扫描文本，却变得更不擅长存储事实。

启示

论文指出，构建“无限上下文”模型（即能够一眼阅读整个图书馆的 AI）的竞赛，可能正在撞上一堵隐形的墙。这不仅仅是拥有更多数据或更大计算能力的问题。如果我们用摆在面前的过多信息来训练这些模型，我们可能会创造出一种极擅长阅读但极不擅长独立思考的模型。

研究人员并不是说长上下文模型不好。他们只是在提醒我们，这并不是一个简单的“越多越好”的问题。其中存在权衡。如果你想要一个在没有书本的情况下也能回答问题的模型，你可能实际上需要用较少的上下文来训练它，从而迫使它建立自己的内在知识。如果你只关心能够阅读文档并进行总结的模型，那么长上下文是非常棒的。但如果你想要一个即使在没有提供信息的情况下也能进行推理的真正智能助手，那么“信息丰盈悖论”提示我们，我们需要谨慎，不要让我们的 AI 对那本书产生过度依赖。

技术摘要：信息丰盈悖论 (Information Abundance Paradox)

问题陈述

随着大语言模型（LLMs）的训练和部署逐渐向拥有数百万 token 的超长上下文窗口迈进，其背后的隐含假设是：通过向模型暴露更丰富、更长的上下文，可以线性地通过提供更多证据来提升性能。然而，经验观察表明，仅仅扩展上下文长度并不保证性能持续进步；在某些情况下，长上下文版本的模型（例如 Phi-3 128K, OLMo 3 65K）在标准基准测试上的表现甚至逊于其短上下文版本。这提出了一个根本性的问题：向近乎无限上下文迈进的轨迹，仅仅是由于提供了更多的长上下文数据，还是上下文窗口从根本上改变了模型的学习动态？

本文挑战了将上下文窗口视为数据中性载体的观点。相反，它认为，训练上下文中丰富的相关信息可能会使模型的学习策略从参数内化（将知识编码在权重中）转向上下文关联（依赖于输入中提供的证据）。这种转变会导致“上下文成瘾”（context addiction），即模型在上下文存在时表现良好，但在上下文缺失或具有误导性时性能显著下降。

研究方法

作者通过结合经验实验、理论分析和机制探测，针对两种训练范式（预训练和监督微调 SFT）研究了这一假设。

1. 经验实验

预训练研究： 作者基于 Llama-2 架构，在固定 token 预算（10B tokens）下，在四个规模（20M 到 750M 参数）的模型上进行预训练，数据源自 Project Gutenberg。他们系统地改变训练上下文窗口（ $W \in \{512, \dots, 32768\}$ $W \in {512, \dots, 32768}$ ），同时保持总 token 数和优化步数不变。
- 评估： 模型在语言建模（LAMBADA, WikiSPAN, PTB）、通用语言理解（SuperGLUE）和闭卷多项选择问答（MCQA）上进行评估，以衡量其参数化知识。
监督微调 (SFT) 研究： 使用 Qwen3 模型（0.6B 到 14B），在 MMLU-Pro 领域（健康、经济、法律、心理学）进行微调。他们固定上下文预算（8 个文档），但改变上下文的信息量（目标领域文档数 $k \in \{0, 4, 8\}$ $k \in {0, 4, 8}$ ）。
- 评估： 模型在三种条件下进行测试：支持性上下文（正确证据）、冲突性上下文（误导性证据）以及无上下文。
合成预训练： 为了隔离该机制，作者在合成任务（位运算、字符串变换、mod10 算术、凯撒密码）上训练模型，并使用不同数量的上下文示例（in-context demonstrations）。他们测量“支持-冲突差距”（supporting-conflicting gap）以量化上下文依赖度，并使用平均训练梯度范数作为解复杂度的代理指标。

2. 理论分析

作者利用信息论对这一权衡进行了形式化定义。他们将参数信息前沿（Parametric Information Frontier, $I_k(\rho)$ ）定义为：在给定上下文大小 $k$ 的情况下，实现风险阈值 $\rho$ 所必须存储在权重中的最小任务信息。他们证明了对于嵌套输入，当 $m > k$ 时， $I_m(\rho) \leq I_k(\rho)$ ，这表明从理论上讲，更长的上下文降低了实现相同性能所需的最小权重信息量。

3. 机制分析

梯度分配： 作者分析了前馈网络（FFN）与自注意力（SA）模块之间梯度范数的比例。FFN 与参数化知识相关，而 SA 则与上下文路由相关。
因果干预： 他们进行了模块限制的微调，即仅更新 FFN 或仅更新 SA 头，以观察对鲁棒性和上下文依赖性的因果影响。
Token 级注意力： 他们测量了推理过程中分配给上下文 token 的注意力质量（attention mass），以量化计算的转移。

核心结果

1. 倒 U 型性能曲线

在预训练中，增加上下文窗口会提高性能，直到达到一个中间最优值（例如，在 SuperGLUE/MCQA 上约为 2048 tokens，在语言建模上约为 8192 tokens），之后性能会持续下降。尽管 token 预算和模型容量是固定的，但这种退化依然发生，这表明长上下文本身并不总是受益的，超过一定界限后反而有害。

2. SFT 中的上下文成瘾

在监督微调中，增加训练过程中任务相关上下文的数量（ $k=8$ ）会显著提高测试时存在支持性上下文时的准确率。然而，这以降低鲁棒性为代价：

无上下文性能： 与低上下文相关性的模型相比，使用高上下文相关性训练的模型在缺失上下文时表现明显更差。
冲突性上下文： 这些模型更容易受到误导性上下文的影响，在提供冲突证据时准确率下降幅度更大。

3. 机制转变

解的复杂度： 在合成任务中，“上下文成瘾”（较大的支持-冲突差距）特别出现在那些长上下文能够实现更低复杂度解的任务中（由递减的平均训练梯度范数表示）。无法通过更简单的上下文解获益的任务（如 mod10 算术）则不会出现这种转变。
梯度重分配： 使用信息丰富的上下文进行训练，会将梯度压力从 FFN（参数内化）转向自注意力模块（上下文关联）。这种转变在预训练和 SFT 中均有观察到。
推理行为： 经过丰富上下文训练的模型在推理过程中会将显著更多的注意力质量分配给上下文 token，尤其是在中间层，证实了其对所提供信息的因果依赖。

核心贡献

信息丰盈悖论： 本文提出了一个假设：训练上下文中丰富的相关信息会降低模型将该信息进行参数化编码的动力，从而导致从“内化”向“上下文关联”的转变。
非单调缩放的经验证据： 研究提供了强有力的证据，表明扩展上下文长度并非“免费午餐”；超过中间最优值后，较长的训练上下文可能会降低闭卷性能和鲁棒性。
机制解释： 本工作识别了驱动这一现象的具体神经机制：即优化压力从 FFN 向注意力模块的转移，以及采用依赖上下文而非权重的低复杂度解。
理论形式化： 论文提供了一个理论证明，说明了为什么更长的上下文会减少实现目标风险所需的最小参数信息量，解释了模型为何可能为了依赖上下文而“遗忘”知识。

意义与主张

本文认为，向近乎无限上下文窗口迈进的过程不能仅被理解为一个数据问题。相反，上下文窗口是一个决定学习模式的超参数。

对当前范式的挑战： 研究结果挑战了“更多长上下文数据”始终是前进路径的假设。作者指出，扩展上下文长度可能会以可复用的参数化知识为代价，换取上下文依赖型的能力。
对鲁棒性的影响： 使用高度信息量长上下文训练的模型可能会变成“上下文成瘾者”，在上下文缺失或受损时失效。这对于无法保证上下文可用性的部署场景具有关键意义。
设计指导： 本文建议，最优的训练策略必须平衡上下文长度，以避免模型的学习模式过度向上下文关联偏移，这可能需要通过课程学习或约束手段来保留参数化知识。

作者总结道，虽然长上下文处理是一项强大的能力，但它从根本上改变了模型内化知识的方式以及对推理时信息的依赖程度，因此有必要重新评估上下文窗口的缩放法则。