💬 NLP

ConPress: Learning Efficient Reasoning from Multi-Question Contextual Pressure

ConPress 是一种轻量级的自监督微调方法，它利用了“自我压缩”现象（即模型在面对多个问题时会自然地缩短推理轨迹），通过训练大型推理模型在处理单问题任务时生成简洁且准确的解法，从而在无需外部教师或强化学习的情况下，显著降低推理开销。

原作者： Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Jie Deng, Shining Liang, Jun Li, Hongzhi Li, Yutao Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢、过度热情的学生，他极其聪明，但有一个坏习惯：过度思考（overthinking）。

当你问这个学生一个简单的数学问题，比如“2 + 2 等于几？”时，他不会只回答“4”。相反，他会写出一篇长达 50 页的文章。他会从怀疑自己是否正确记得加法开始，然后开始想象苹果，接着检查自己的手指，然后辩论数字的哲学本质，最后在经历了 20 页的“等等，让我再检查一遍”之后，才得出答案。

这正是现代“大语言推理模型”（AI）的行为方式。它们会生成大量的文本（称为“思维链”，Chain-of-Thought）来解决问题。虽然这通常能带来正确的答案，但过程极其缓慢、昂贵，且充满了废话。

ConPress 这篇论文介绍了一个聪明的技巧，旨在教导这个学生如何在保持智能的同时变得简洁。以下是其工作原理的拆解：

1. 发现：“拥挤房间”效应

研究人员注意到，当他们改变游戏规则时，发生了一些有趣的事情。

旧方法（单个问题）： 如果你在一个安静的房间里问 AI 一个问题，它感觉自己有无穷无尽的时间。它会慢条斯理地通过每一种可能的思考路径，喋喋不休。
新方法（多问题压力）： 如果你在同一个提示词（prompt）中放入三个或四个不同的问题，并告诉 AI，“现在立刻回答所有这些问题”，神奇的事情发生了。AI 突然停止了闲聊。

类比： 想象你正在参加一个晚宴。

如果你是主人唯一在交谈的对象，你可能会讲一个冗长、曲折、细节繁多的故事。
但如果主人说：“好了，这里有 10 个人，我们需要在甜点上来之前，听每个人快速讲一个故事，”你突然就会切入正题。你会停止那些“嗯……”、“让我想想这个”、“等等，让我查一下那个”之类的废话。你直接给出核心内容。

研究人员将此称为**“自我压缩”（Self-Compression）**。处理多个问题的压力迫使 AI 删减掉废话，直接进入逻辑核心。

2. 解决方案：ConPress（上下文压力）

团队意识到，他们可以利用这种“拥挤房间”效应来永久性地训练 AI 变得高效。他们创建了一种名为 ConPress 的方法。

以下是他们使用的步骤：

压力测试： 他们选取了一堆数学题，并将它们分组（例如，每次 3 个问题）。他们要求 AI 一次性解决所有这些问题。
过滤器： 由于 AI 在赶时间，它有时会犯错。因此，研究人员只保留了那些完全正确的答案。他们丢弃了错误的答案。
教学： 他们将这些简短、正确的答案（即“压缩后的”推理过程）拿出来，用来教导 AI 在未来如何回答单个问题。

类比： 这就像一位教练观察一名短跑运动员背着沉重的背包跑步（多问题压力）。运动员学会了如何通过负重来高效奔跑。随后，教练让运动员脱掉背包，并说：“现在，像你背着背包时那样跑。”即使没有了重量，运动员依然保持着那种高效的步幅。

3. 结果：更快、更便宜、依然聪明

结果令人印象深刻。通过使用这种方法，AI 模型变得显著高效：

话少了： 模型在解决相同问题时，使用的单词量（token）减少了 30% 到 60%。
智力没降： 尽管说话变少了，但它们得到正确答案的频率几乎与之前一样高。
无需外部老师： 不同于其他需要“老师”AI 来重写答案或复杂的奖励机制的方法，这种方法是利用 AI 自身的行为进行自我教学。这是一种“自我监督”的学习。

他们并没有声称的事项

坚持遵循论文实际内容的表述非常重要：

他们没有声称这适用于医疗诊断或法律建议。
他们没有声称这提高了 AI 的“原始智能”；它只是让 AI 在使用现有智能时变得更快、更便宜。
他们没有暗示这可以通过在回答瞬间简单地告诉 AI“请简短一点”来实现。论文明确测试过这一点，发现效果并不好。AI 必须通过训练（ConPress）来习得这种高效的习惯，才能保持这种简洁性。

总结

论文 ConPress 发现，如果你通过同时询问多个问题来向推理型 AI 施压，它自然会停止过度思考并变得简洁。他们利用这种“挤压”来训练 AI，使其即使在稍后只被问及一个问题时也能保持高效。其结果是一个更聪明、更快、且更具成本效益的 AI，它不再浪费时间喋喋不休。

技术摘要：ConPress —— 从多问题上下文压力中学习高效推理

问题陈述

大型推理模型（LRMs），如 OpenAI-O1、DeepSeek-R1 和 Qwen3，通过生成大量的思维链（CoT）轨迹在复杂任务上取得了高性能。然而，这种冗余性往往会导致“过度思考”（overthinking），即模型产生冗余的中间步骤，从而显著增加推理延迟、Token 成本和部署开销。现有的缓解方法，例如使用教师模型的监督微调（SFT）或带有长度惩罚的强化学习（RL），存在训练成本高、依赖外部监督或对奖励设计敏感等问题。本文旨在解决一个根本性问题：LRM 是否能够自然地产生更短的推理轨迹，以及如何在没有外部教师或强化学习的情况下，将这种行为内化到单问题推理中。

方法论：ConPress

作者提出了 ConPress（从上下文压力中学习），这是一个轻量级的自监督微调框架。该方法建立在一种被称为**自我压缩（Self-Compression）**的可复现推理时现象之上。

1. 自我压缩现象

作者发现，当向 LRM 提供一个包含多个独立且可回答问题的提示词（ $N > 1$ ）时，与单问题提示（ $N=1$ ）相比，模型会自发地为每个单独的问题生成显著更短的推理轨迹。

机制： 这种压缩源于“多问题上下文压力”。模型必须在一个共享的响应中完成多个推理过程，这使得局部续写倾向于选择简洁的路径，在保留核心推理结构的同时去除冗余步骤。
特征： 该现象在不同模型（如 DeepSeek-R1-Distill-Qwen、Qwen3）和数据集上都是可复现的。压缩强度随问题数量（ $N$ ）的增加而增加，并且具有结构性特征，即使辅助问题非常简单，这种特性依然稳健。

2. ConPress 流水线

ConPress 利用这一现象，通过三个步骤将高效推理蒸馏到标准的单问题设置中：

多问题采样： 从数据集中抽取 $N$ 个独立问题并将其打包进单个提示词中。模型在这一上下文中为所有问题生成推理轨迹和答案。
压缩轨迹提取： 作者应用拒绝采样，仅保留预测答案（ $\hat{o}_i$ ）与标准答案（ $o_i$ ）一致的推理轨迹（ $r_i$ ）。这确保了所蒸馏的数据由简洁且正确的轨迹组成。
单问题迁移： 使用过滤后的简洁且正确的轨迹集，对单问题输入进行标准的监督微调（SFT）。模型学习在单问题场景下复现多问题压力下观察到的压缩推理行为，从而将其内化。

至关重要的是，这一过程不需要外部教师模型、人工剪枝启发式算法或强化学习。

核心贡献

识别自我压缩： 本文系统地表征了一种可复现的推理时现象，即在多问题上下文中，LRM 会在没有显式长度约束的情况下生成更短的单问题 CoT 轨迹。
ConPress 框架： 一种轻量级的自监督方法，用于从多问题到单问题设置中提取并迁移这种压缩的推理行为。
实证验证： 作者证明了 ConPress 在具有挑战性的基准测试上实现了推理 Token 使用量的实质性减少（30–60%），同时保持了极具竞争力的准确率，展现了良好的准确率-效率权衡。

实验结果

作者在三个推理模型（Qwen3-4B-Thinking, R1-Distill-Qwen-7B, R1-Distill-Qwen-1.5B）以及多个基准测试（MATH500, AIME25, GSM8K, Olympiad, AMC）上评估了 ConPress。

Token 减少： 对于 Qwen3-4B-Thinking 模型，ConPress 在 MATH500 上减少了 59% 的推理 Token 使用量，在 AIME25 上减少了 33%。在所有模型中，平均 Token 减少量在 33.9% 到 48.7% 之间。
准确率保持： 尽管进行了激进的压缩，准确率下降极小。对于 Qwen3-4B-Thinking，平均准确率仅下降了 0.6 个百分点；对于 R1-Distill-Qwen-7B，准确率基本得以保持。
与基准方法对比：
- RFTshortest（从多个样本中选择最短的正确响应）仅实现了边际的 Token 减少。
- DPOshortest 实现了中度的压缩，但通常以明显的准确率下降为代价。
- 基于 RL 的方法（如 LC-R1, AdaptThink）实现了较强的压缩，但需要复杂的训练流程，且准确率下降较大。
- 测试时压缩（直接在推理时使用多问题提示）虽然减少了 Token，但导致了严重的准确率下降（例如，MQ-N3 平均下降了 31.3 个百分点）。
泛化能力： 该方法推广到了分布外任务（MMLU-STEM），在准确率损失极小的情况下减少了约 33–36% 的 Token。
消融研究： 增加采样提示中的问题数量（ $N$ ）会增强压缩强度，但当 $N > 3$ 或 $4$ 时，Token 节省的收益递减。该方法对目标问题在多问题提示中的位置具有鲁棒性。

意义与主张

本文声称，ConPress 证明了在推理时诱发的自我压缩行为可以被模型自身系统地内化。通过利用多问题上下文带来的结构性压力，该方法能够在不依赖显式长度约束、外部教师、人工剪枝或强化学习的情况下，实现更具 Token 效率的推理。

作者将其定位为实现效率的一种根本性转变：与其通过外部惩罚或复杂的强化学习来强制模型保持简洁，不如利用模型固有的上下文适应性来“教导”其进行高效推理。该方法被呈现为一种简单、可扩展且具有成本效益的现有压缩策略替代方案，提供了一个在效率方面占优且性能损失极小的清晰准确率-推理长度权衡。