💬 NLP

Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning

本文介绍了 ProxyCoT，这是一种训练框架，通过监督微调将源自短代理上下文的高质量思维链轨迹迁移至完整长度序列，从而增强大语言模型的长上下文推理能力，进而以更低计算成本实现更优性能并具备强大的跨域泛化能力。

原作者： Miao Li, Irina Saparina, Alexander Gurung, Mirella Lapata

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Miao Li, Irina Saparina, Alexander Gurung, Mirella Lapata

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《基于代理的思维链微调实现长上下文推理》（ProxyCoT）的通俗解读，辅以生动的类比。

核心难题：“大海捞针”陷阱

想象你是一名侦探，正试图破解一桩谜案。你被交给了一座藏有1000 万本书的图书馆（这就是“长上下文”）。在那数百万本书的某个角落，只有两句话藏着解开案件的关键线索。

当前的 AI 模型就像那些读完了全部 1000 万本书却感到不堪重负的侦探。当它们试图寻找线索时，会被噪音淹没而迷失方向。它们或许能猜出答案的类型，但往往因为无法聚焦于这座庞大图书馆中微小却重要的部分，而胡编乱造（产生幻觉）具体的事实。

然而，如果你把同样的侦探只交给那两句话的线索（即“代理上下文”），他们就能瞬间完美地破案。

悖论在于：侦探明明知道如何用这两句话解开谜题，但当被给予整座图书馆时却失败了，尽管解决方案完全相同。

解决方案：ProxyCoT（“辅助轮”方法）

来自爱丁堡大学的 Miao Li 及其同事提出了一种名为ProxyCoT的新训练方法。不妨将其视为为 AI 侦探设立的为期两步的训练营地。

第一步：在“线索单”（代理）上练习

与其强迫 AI 通过阅读整本 1000 万字的图书馆来学习（这既缓慢、昂贵又令人困惑），不如先利用简短的相关片段（代理上下文）对其进行教学。

具体做法：他们利用一个超级聪明的“教师 AI"（或通过强化学习过程），向学生 AI 展示如何仅凭那张简短的线索单来推理解决问题。
类比：想象一位大厨正在教学生如何烤蛋糕。与其让学生在一仓库的面粉、糖和鸡蛋中翻找食谱，不如老师直接递给他们一张完美的食谱卡片。学生因为没有干扰，能完美地掌握烘焙的逻辑。

第二步：将逻辑应用于“整本图书馆”（完整上下文）

一旦 AI 利用简短线索掌握了推理步骤，研究人员就会切换训练模式。现在，他们给 AI 提供完整且庞大的图书馆，但要求它使用刚刚学到的完全相同的推理步骤。

目标：AI 学会忽略那 1000 万本书中的噪音，只专注于那两句重要的话，并应用第一步中练习过的逻辑。
类比：现在，学生厨师回到了仓库。但由于他们完美地记住了食谱卡片，他们可以直接走到正确的货架，拿起正确的食材，在没有任何干扰的情况下烤出蛋糕，不会被房间里成千上万的其他物品分心。

为何这意义重大

该论文强调了该方法带来的三大优势：

更便宜、更快速：在 1000 万个 token 上训练 AI 极其昂贵（就像试图通过阅读图书馆里的每一本书来学习一门语言）。而在简短的“代理”片段上训练则像阅读一本小册子。这节省了巨额资金和时间。
效果更好：论文表明，采用这种方式训练的模型，在处理完整长文本时，实际上比传统方法训练的模型表现更好。它们不再胡编乱造事实，而是开始寻找真正的证据。
更智能（泛化能力）：AI 不仅仅是死记硬背它被训练过的那座特定图书馆。它学到了一种技能。论文通过让 AI 处理它从未见过的完全不同类型的图书馆（如财务报告或学术论文）来测试这一点。AI 仍然能够解开谜题，证明它学会的是如何“思考”，而不仅仅是死记硬背答案。

ProxyCoT 的两种形式

论文描述了运行这个训练营地的两种方式：

ProxyCoT-ZS（零样本）：利用一个巨大的、现成的“教师 AI"在简短线索上生成完美的推理步骤，然后由学生 AI 进行模仿。
ProxyCoT-RL（强化学习）：如果没有巨大的教师可用，AI 就会在简短线索上通过试错来学习。当它答对时，它会获得“奖励”（高分），从而在没有人类或超级计算机先行指引的情况下，学会正确的思考方式。

核心结论

该论文主张，我们不需要强迫 AI“阅读”所有内容来理解一切。通过先教它们在简短、聚焦的摘要上进行推理，我们可以将这种技能迁移到庞大、复杂的文档中。这就像先让学生在游泳池里学会游泳，再送他们去大海；一旦他们掌握了游泳技能，大海就不再那么可怕了。

该论文并未声称的内容：

它并未声称这适用于医疗诊断或临床用途（论文专注于关于科学文章和维基百科的问答）。
它并未声称这能自动解决所有长上下文问题；它指出，为某些现实任务创建“简短摘要”（代理）仍然可能很困难。
它并未声称这取代了其他方法（如“检索”/搜索信息）；它专注于让 AI 的内部大脑更好地处理长输入。

技术摘要：基于代理的思维链微调实现长上下文推理

问题陈述

近期的大语言模型（LLMs）已将其上下文窗口扩展至支持高达 1000 万 token 的输入。然而，这些模型在处理需要复杂推理的长上下文任务时表现出显著的性能下降，例如从多份医疗报告中综合见解或分析财务文件。

identified 的核心问题是完整长上下文与代理上下文之间存在巨大的性能差异。代理上下文被定义为输入的一个紧凑子集，仅包含推导正确答案所需的最小证据。尽管解决任务所需的底层推理过程无论模型看到的是完整上下文还是代理上下文都保持不变，但实证结果表明，模型在代理上下文上的表现明显更好。当以完整长上下文为条件时，模型往往能生成看似合理的高层推理结构，却无法正确锚定具体事实，从而导致幻觉和准确率降低。

现有的改进推理的方法，如思维链（CoT）蒸馏和强化学习（RL），在长上下文设置下面临关键局限：

CoT 蒸馏：依赖于大型教师模型生成的高质量轨迹。在完整长上下文中查询这些教师模型计算成本高昂、速度慢，且往往为复杂任务提供不可靠的轨迹。
强化学习：由于训练期间需要在长序列上进行大量采样，将 RL 扩展到长上下文在成本上是不可行的。

方法论：ProxyCoT

作者提出了ProxyCoT，这是一种新颖的两阶段训练框架，旨在将推理能力从短代理上下文迁移到完整长上下文。该框架基于以下假设：在高效代理输入上生成的推理轨迹可以通过监督微调被“锚定”到完整长上下文中。

该框架包含两个阶段：

阶段 1：在短代理上下文中获取思维链（CoTs）

目标是在代理上下文（ $C_p$ ）而非完整上下文（ $C$ ）的条件下生成高质量的推理轨迹（ $t$ ）。此阶段提供两种获取轨迹的变体：

ProxyCoT-ZS（零样本）：查询大型现成教师模型（ $M_{ZS}$ ），使其基于代理上下文生成推理轨迹（ $t \sim p_\phi(t | q, C_p)$ ）。仅保留导致正确答案的轨迹。这避免了在完整长上下文中查询教师的成本。
ProxyCoT-RL（强化学习）：如果缺乏有能力的教师模型，则直接在代理上下文中使用可验证奖励强化学习（RLVR）优化目标模型（ $M_{init}$ ）。模型学习最大化生成导致正确答案的轨迹的概率（ $t \sim p_\theta(t | q, C_p)$ ）。

阶段 2：在完整长上下文中锚定思维链

在此阶段，将阶段 1 中学到的推理模式迁移到完整上下文中。通过监督微调（SFT）训练学生模型，使其复现阶段 1 生成的推理轨迹，但条件从代理上下文变为完整长上下文（ $C$ ）。

目标：最小化给定问题 $q$ 和完整上下文 $C$ 时轨迹 $t$ 的负对数似然：
$L_{SFT} = -E_{(q,C,C_p,t)} [\log p_\theta(t | q, C)]$
ProxyCoT-ZS：对学生模型（ $M_{init}$ ）进行微调，使其在观察完整上下文时模仿教师的轨迹。
ProxyCoT-RL：对阶段 1 中经 RL 优化的模型（ $M_{RL}$ ）进行进一步微调，使其将学到的推理模式应用于完整上下文。

主要贡献

代理上下文的形式化：本文引入并形式化了长任务推理中的代理上下文概念，实证揭示了尽管推理要求相同，短代理上下文与完整长上下文之间存在显著的性能差距。
ProxyCoT 框架：一种新颖的训练框架，利用短代理上下文获取高质量的 CoT 轨迹，随后用于增强完整长上下文中的推理。该方法规避了在长序列上进行昂贵教师推理的需求，并降低了 RL 采样成本。
实证验证：大量实验表明，ProxyCoT 在不同模型系列（Qwen3-4B, Gemma3-4B）和数据集（SciTrek, HotpotQA）上始终优于强基线（包括直接 SFT、完整上下文上的 RL 以及完整上下文上的 CoT 蒸馏）。该方法还显示出对域外任务的强大泛化能力。

实验结果

作者在SciTrek（科学文章长上下文问答）和HotpotQA（维基百科多跳问答）上评估了 ProxyCoT。

性能提升：
- 在SciTrek上，使用 Qwen3-4B 的 ProxyCoT-RL 在完整上下文上达到了 46.5% 的精确匹配率，显著优于零样本基线（30.8%）和完整上下文上的 SFT（19.5%）。其表现甚至接近规模大得多的 Qwen3-235B-Thinking 模型（48.8%）。
- 在HotpotQA上，ProxyCoT-RL 在完整上下文上达到了 52.7% 的准确率，优于所有基线。
效率：ProxyCoT-RL 不仅提高了准确率，还诱导推理时生成了显著更短的推理轨迹。在 SciTrek 上，其平均使用 617 个 CoT token，而零样本为 1,744 个，ProxyCoT-ZS 为 5,520 个，同时实现了更高的准确率。
消融研究：结果证实两个训练阶段都是必要的。仅在代理上下文中训练（阶段 1）会产生高代理准确率，但完整上下文锚定效果差。仅在完整上下文中训练（阶段 2）而没有代理衍生的轨迹则导致性能较低。两者的结合对于获得最佳结果至关重要。
域外泛化：使用 ProxyCoT-RL 在 SciTrek 上训练的模型在Loong基准（财务报告和学术论文）上表现出性能提升，表明该方法增强了通用的长上下文推理能力，而非记忆特定任务的模式。

意义与主张

本文主张，ProxyCoT 提供了一条实用且高效的途径来加强长上下文推理，而无需依赖在完整长上下文上生成的教师轨迹。通过将推理获取（在廉价、短的代理上）与推理锚定（在昂贵、长的上下文上）解耦，该框架解决了当前长上下文训练方法的计算瓶颈。

作者将 ProxyCoT 定位为一种解决方案，适用于因成本和数据限制而难以训练和监督长上下文模型的场景。他们指出，虽然该方法假设可以访问包含充分证据的代理上下文，但它为直接的长上下文强化学习或蒸馏提供了一种稳健的替代方案，有效地弥合了短输入与长输入之间的性能差距。