💬 NLP

Self-Compression of Chain-of-Thought via Multi-Agent Reinforcement Learning

本文提出了一种通过多智能体强化学习实现的自压缩（Self-Compression via Multi-Agent Reinforcement Learning, SCMA）框架，该框架利用专门的分段与评分智能体来选择性地惩罚冗余的推理块，同时保留核心逻辑，从而与传统的强化学习方法相比，显著降低了大型推理模型的推理开销并提高了准确性。

原作者： Yiqun Chen, Jinyuan Feng, Wei Yang, Meizhi Zhong, Zhengliang Shi, Rui Li, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Zhiqiang Pu, Jiaxin Mao

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiqun Chen, Jinyuan Feng, Wei Yang, Meizhi Zhong, Zhengliang Shi, Rui Li, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Zhiqiang Pu, Jiaxin Mao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但过于唠叨的学生，名叫“推理者”。当你问他一个数学问题时，他不仅仅是解决问题，他还会写一部小说。他会说：“嗯，让我想想……等等，这样对吗？让我再检查一遍。噢，也许我应该尝试另一种角度。不，那太复杂了。让我们回到起点吧。”

虽然这种“过度思考”通常能得出正确的答案，但它在计算机上运行起来极其缓慢且昂贵。这就像雇佣了一位导游，他在前往目的地的途中会停下来解释每一根草叶。你最终到达了目的地，但你已经精疲力竭，而且耗费了双倍的时间。

这篇论文介绍了一种名为 SCMA（通过多智能体强化学习进行自我压缩）的新型训练方法，旨在教导这位学生如何在保持聪明才智的同时变得言简意赅。

旧方法的缺陷

此前，研究人员试图通过简单地告诉学生：“如果你的回答太长，你就会得到差评”来解决这个问题。

缺陷： 这就像一位严厉的老师说：“无论如何，你的文章必须控制在500字以内。” 学生可能会为了符合字数限制而删掉论证中最核心的部分，从而导致错误的答案。他们牺牲了逻辑的“精华”来节省空间。

新方案：三人小组

作者提出了一种更聪明的方法，即使用由三个专门的“智能体”（AI角色）组成的团队进行协作训练。你可以把它想象成一个电影制作团队：

导演（推理智能体）： 这是主角，负责实际解决问题并编写剧本（思维链）。
剪辑师（分割智能体）： 这个智能体接过导演冗长的剧本，并将其拆解成一个个小的、逻辑连贯的场景或“块”。
影评人（评分智能体）： 这个智能体观察这些“块”，并给出1到5分的评分。
- 1分： “这只是废话。我们可以把它剪掉。”（例如：“等等，让我想想……”）
- 5分： “这至关重要！不要动它。”（例如：“因此，X等于Y。”）

他们如何协作

与其使用简单的“越短越好”的规则，该团队使用了一个智能惩罚系统：

如果导演写了一个冗长且无聊的场景（低分），剪辑师和影评人会说：“我们会因为这段长度而严厉惩罚你。”
如果导演写了一个冗长但复杂且必要的场景（高分），团队会说：“这里可以写长一点，我们不会惩罚你。”

这鼓励了导演学习到：“我需要删掉废话，但我必须保留沉重的逻辑。”

结果：一个“自我压缩”的学生

一旦训练完成，“剪辑师”和“影评人”智能体就会被关闭。导演独自工作。因为他们在训练过程中学会了如何区分“废话”与“逻辑”，他们现在能够自然地产生简短、有力且高度准确的答案。

论文的研究结果显示：

更短： 新方法将思考过程的长度减少了 11% 到 39%。
更聪明： 出人意料的是，答案变得更加准确（提升了 4% 到 10%）。
无额外成本： 因为额外的智能体仅在训练期间使用，最终的系统运行速度与普通 AI 一样快，但减少了许多“唠叨”。

简而言之，SCMA 教会了 AI 模型停止闲聊并开始高效思考，确保它们在丢弃“泥土”的同时，保留住逻辑的“金块”。

技术摘要：通过多智能体强化学习实现思维链的自我压缩

1. 问题陈述

大型推理模型（LRMs）通过采用详细的思维链（CoT）序列，展示了在复杂问题解决方面的卓越能力。然而，这些模型经常出现“过度思考”的问题，生成冗长的推理路径，其中充斥着非必要的步骤、重复的验证以及冗余的元对话（meta-talk）。这种冗余造成了显著的推理延迟，阻碍了部署效率。

现有的解决方案主要依赖于结合全局长度惩罚的基于结果奖励的强化学习（RL）。本文认为，这种方法存在**信用分配失准（misaligned credit assignment）**的问题：通过无差别地惩罚总序列长度，这些方法无法区分冗余步骤与关键推理逻辑。因此，模型可能会为了满足长度限制而牺牲必要的推理步骤，从而导致一种权衡，即以牺牲准确性为代价来换取效率提升。其识别出的核心挑战在于：如何在不引入推理时开销的情况下，进行细粒度的压缩——即在消除冗余的同时保留高价值的逻辑步骤。

2. 方法论：SCMA 框架

作者提出了**通过多智能体强化学习进行自我压缩（Self-Compression via Multi-Agent Reinforcement Learning, SCMA）**框架，该框架将研究视角从单智能体 RL 转向了多智能体强化学习（MARL）范式。该系统利用一个共享的基础大语言模型（LLM），将其实例化为三个专门的智能体，这些智能体在训练期间进行协作，但在推理阶段仅允许部署单个智能体。

2.1. 智能体角色

该框架将推理过程分解为一个涉及三个智能体的协作博弈：

推理智能体 ( $\pi^{reason}_{\theta}$ ): 在给定提示词 $x$ 的情况下，探索解空间以生成初始推理路径 $y$ 。
分割智能体 ( $\pi^{seg}_{\theta}$ ): 将生成的推理路径结构化地解析为离散的逻辑块 $\{s_1, ..., s_n\}$ 。该智能体确保无损解析，即各块的并集可以重构原始路径。
评分智能体 ( $\pi^{score}_{\theta}$ ): 评估每个逻辑块的推理性显著程度，分配一个重要性得分 $w_i \in \{1, ..., 5\}$ ，用以量化该块对最终解的必要程度。

2.2. 重要性加权长度惩罚

不同于对总长度应用统一惩罚的标准 RL，SCMA 引入了重要性加权长度惩罚。奖励函数被重新公式化为：
$R(y|x) = R_{acc}(y|x) - \alpha f\left(\sum_{i=1}^{n} \phi(w_i) \cdot |s_i|\right)$
其中：

$R_{acc}$ 是基于结果的准确性奖励。
$|s_i|$ 是第 $i$ 个片段的长度。
$\phi(w_i)$ 是一个权重函数（例如， $\phi(w_i) = 5 - w_i$ ），它将重要性反向映射为惩罚权重。
机制： 冗余片段（低分， $w_i \to 0$ ）会受到较高的惩罚权重，从而强制执行压缩。关键片段（高分， $w_i \to 5$ ）则获得微乎其微的权重，从而免受惩罚。

2.3. 优化策略

该框架采用了多智能体组相对策略优化（MARL-GRPO）。

共享参数： 所有三个智能体共享来自单一基础 LLM 的参数 $\theta$ ，仅通过特定角色的提示词进行区分。
共享奖励： 智能体使用源自重要性加权惩罚的共享全局奖励进行联合优化。这确保了推理、分割和评分智能体的协同演化，使它们的共同目标趋向于生成既准确又简洁的推理链。
训练与推理： 分割和评分智能体作为训练时的辅助工具。在部署期间，仅推理智能体处于激活状态，从而确保零额外的计算开销。

3. 核心贡献

框架提议 (SCMA)： 一种新型 MARL 框架，将 CoT 压缩重新定义为一个协作博弈，实现了细粒度的结构化建模和解耦的价值估计，弥补了单智能体范式的不足。
机制设计： 引入了由多智能体 GRPO 驱动的重要性加权长度惩罚。这取代了粗粒度的长度惩罚，转而使用一种动态信号，在保留关键逻辑的同时剔除冗余。
实证验证： 通过综合实验证明，SCMA 在多种模型规模和基准测试中同时实现了效率和准确性的提升。

4. 实验结果

作者在涵盖算术（GSM8K）到竞赛数学（MATH500, AMC23, AIME24/25）的数据集上，使用 1.5B 到 8B 参数规模的模型（DeepSeek-R1-Distill-Qwen 和 Qwen3 系列）对 SCMA 进行了评估。

性能增益： 与 vanilla 基线相比，SCMA 在提升准确率（4.33% 至 10.02%）的同时，减少了 11.1% 至 39.0% 的响应长度。
基线对比：
- 与标准 GRPO 相比，SCMA 实现了更高的准确率和显著更短的响应。
- 与长度惩罚基线（LC-R1_LP, RL+LP）相比，SCMA 避免了在激进截断序列时常见的“准确率崩溃”现象。例如，虽然 RL+LP 在 7B 模型上减少了 16% 的长度，但其准确率跌破了基线；而 SCMA 则维持甚至提升了准确率。
泛化能力： 尽管仅在 GSM8K 上进行训练，SCCA 在未见的挑战性基准测试（如 AIME24）上仍表现出强大的分布外泛化能力，显著提高了准确率和效率。
消融实验： 实验表明，冻结分割和评分智能体（使用现成模型）的变体显示出，参数联合优化至关重要。完整的 SCMA 框架优于那些辅助智能体未进行协同训练的变体，即使这些变体使用了更大的模型（如 8B 或 GPT-4o）来承担辅助角色。

5. 意义与主张

论文声称，MARL 框架内的协同优化促进了涌现行为，从而产生了比 vanilla RL 范式更强大的 LRM。具体而言：

协同共优化： 该框架使模型能够学习“语义浓缩”（Semantic Concentration），即修剪低置信度、重复性的片段，同时收敛至高密度的逻辑内核。
内容自适应分割： 分割智能体从均匀分割演变为细粒度的、内容自适应的划分，根据认知负荷而非固定规则动态分配文本长度。
稳定性： 动态惩罚机制防止了在标准长度惩罚 RL 中观察到的“训练崩溃”（即模型为了最小化长度而停止思考），确保了简洁性与逻辑完整性之间的稳定平衡。

作者总结道，SCMA 通过提供一种区分并保留高价值推理步骤的机制，解决了冗余推理的瓶颈，为开发高效、高性能的推理模型提供了一条无需推理时开销的路径。