💬 NLP

System 1&2 Synergy via Dynamic Model Interpolation

本文提出了 DAMI，这是一个无需训练的框架，它通过利用特定查询的推理强度，在直觉型的系统 1 与审慎型的系统 2 模型检查点之间进行动态插值，从而在数学推理中实现卓越的准确性与效率权衡。

原作者： Chenxu Yang, Qingyi Si, Chong Tian, Xiyu Liu, Dingyu Yao, Chuanyu Qin, Zheng Lin, Weiping Wang, Jiaqi Wang

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenxu Yang, Qingyi Si, Chong Tian, Xiyu Liu, Dingyu Yao, Chuanyu Qin, Zheng Lin, Weiping Wang, Jiaqi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有两个不同版本的卓越助手：

“快速思考者”（系统 1）： 这个助手就像一位经验丰富的咖啡师。他们能在几秒钟内冲好一杯咖啡（回答一个简单问题）。他们快速、高效，擅长处理常规任务。但如果你让他们解决一个复杂的物理问题，他们可能会直接猜测或给出一个浅显的答案，因为他们并不习惯放慢速度。
“深度思考者”（系统 2）： 这个助手就像一位图书馆里的教授。他们需要花费时间，写出长长的证明过程，反复检查自己的工作，并进行深度思考。对于难题，他们极其准确，但他们动作缓慢，且即使是处理简单问题也会消耗大量的纸张（计算资源）。

问题所在：
通常情况下，你必须二选一。如果你想要速度，就会在难题上失去准确性；如果你想要准确性，就会在简单问题上浪费时间和资源。最近一些试图解决此问题的尝试试图告诉“深度思考者”要“停止说话”或“写少一点”（输出控制）。论文作者认为，这就像是告诉一位教授为了省纸而停止思考；这会切断他们的推理过程，导致他们失败。

解决方案：“DAMI”（动态模型插值）
作者提出了一种全新的思考方式。与其告诉模型“产出什么”（说话的长短），不如改变模型的“思考方式”。

他们发现，“快速思考者”和“深度思考者”实际上是建立在同一个基础之上的。如果你将“快速思考者”和“深度思考者”的“大脑”（数学权重）混合在一起，你会得到一个连续的智能光谱。

类比： 想象一个灯泡的调光开关。
- 0%（关闭/快速）： 灯光就是“快速思考者”。
- 100%（最亮/深度）： 灯光就是“深度思考者”。
- 50%（中间）： 你会得到一个完美的融合体。

这篇论文称之为能力控制（Capability Control）。与其强行截断“深度思考者”的句子，不如直接为简单问题调低“思考旋钮”，为难题调高旋钮。

它如何知道何时切换？
这个名为 DAMI 的系统就像一个聪明的管理者，它观察每一个问题，并决定究竟需要多少“思考能力”。它使用两种方法来做出决策：

“训练员”方法（DAMI-Pref）： 如果你有练习题，你可以教一个小型辅助模型去观察一个问题，并判断：“这个问题需要 80% 的深度思考，”或者“这个问题只需要 20%。”它通过比较不同程度的思考，来学习如何在投入最少精力的情况下获得正确答案。
“直觉”方法（DAMI-Conf）： 如果你没有时间进行任何训练，系统会观察“快速思考者”和“深度思考者”的置信度。如果“快速思考者”感到困惑，而“深度思考者”很确定，系统就知道这是一个难题，从而调高“思考旋钮”。如果两者都很有信心，系统就会保持低档位以节省时间。

实验结果：
作者在从简单算术到高难度竞赛级谜题的数学问题上测试了该系统。

速度： 它比完整的“深度思考者”快得多，因为它不会在过度思考简单问题上浪费时间。
智力： 它比“快速思考者”更准确，因为它知道何时该放慢速度进行深度思考。
效率： 与尝试强迫“深度思考者”缩短篇幅相比，它使用了显著更少的计算资源（Token）。

简而言之：
论文表明，你不需要构建一个新的、超级复杂的 AI 来同时实现快速与聪明。你只需要将两个现有的 AI（一个快，一个聪明）结合起来，将它们的大脑混合在一起，并使用一个智能开关来实时调整这种混合比例。这创造了一个既能高效进行日常聊天，又能深入解决数学难题的单一系统。

技术摘要：通过动态模型插值实现系统 1 与系统 2 的协同

问题陈述

大语言模型（LLMs）在认知模式上表现出“系统 1”（直觉、快速、简洁）与“系统 2”（审慎、缓慢、重推理）的功能二分性。虽然系统 2 模型（如 o1、DeepSeek-R1）通过扩展思维链（CoT）在复杂任务上实现了卓越的准确度，但它们也面临着高昂的计算成本和冗长的输出问题。相反，系统 1 模型虽然高效，但缺乏深度推理能力。

目前的研究主要试图通过输出控制来统一这些模式或优化系统 2 的效率。这些方法通过限制 token 预算、应用早期退出机制或压缩 CoT 来约束模型的输出内容。作者认为这种范式存在错位：输出长度是认知配置的结果，而非效率低下的根本原因。此外，由于训练数据具有“零和性质”（即系统 2 的冗长风格与系统 1 的简洁性在联合优化过程中会产生相互干扰），训练一个能够无缝适应这两种模式的单一统一模型仍然具有挑战性。

方法论：DAMI（动态模型插值）

本文提出了一种从输出控制向能力控制转变的范式，即通过调节模型的思考方式而非其输出内容来进行调节。这是通过动态模型插值实现的，它利用现有的系统 1（指令型/Instruct）和系统 2（思考型/Thinking）检查点，而无需对基础模型进行额外的训练。

1. 理论基础

作者建立并证明了指令型模型 ( $\Theta^{(I)}$ ) 与思考型模型 ( $\Theta^{(T)}$ ) 之间的线性参数插值会产生可预测的行为，其理论依据基于三项实证与理论发现：

性能单调性： 随着插值系数 $\lambda$ （其中 $\lambda=0$ 为指令型， $\lambda=1$ 为思考型）的增加，模型在准确度与效率之间呈现出平滑且凸性的帕累托前沿（Pareto frontier）。中间态模型通常优于两端点，能以比思考型模型更少的 token 实现比指令型模型更高的准确度。
表示连续性： 主成分分析（PCA）表明，插值模型在表示空间中形成了一条连续的轨迹，其第一主成分与 $\lambda$ 强相关（ $r=0.974$ ）。
结构连通性： 指令型与思考型模型在所有 Transformer 层中均表现出极高的余弦相似度（>0.99），满足线性模式连通性（LMC）。这表明两个模型处于同一个优化盆地内，确保插值路径避开了高损失区域。

2. DAMI 框架

核心创新在于 DAMI，它通过动态估计针对特定查询的推理强度 $\lambda(q) \in [0, 1]$ ，为每个输入配置模型的认知深度：
$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$

文中提出了两种互补的方法来估计 $\lambda(q)$ ：

DAMI-Pref（基于训练）： 适用于拥有领域内训练数据的场景。它将 $\lambda$ 的估计构建为一个偏好学习问题，而非回归问题。通过训练一个轻量级奖励模型，根据层级标准对插值系数对进行评分：优先考虑准确度，随后将效率（token 数量）作为平局决胜项。该方法对标签噪声具有鲁棒性，且比基于回归的方法需要更少的数据。
DAMI-Conf（无需训练）： 适用于零样本部署场景。它利用基础模型的内在置信度信号来估计 $\lambda(q)$ $λ (q)$ 。它融合了两种信号：
1. 整体模糊性（Holistic Ambiguity）： 衡量系统的整体不确定性（两个模型置信度均低则意味着难度高）。
2. 认知差异（Cognitive Discrepancy）： 衡量指令型模型与思考型模型之间置信度的差异（差异越大，意味着查询需要不同的策略）。
  这些信号被融合后通过校准的 Sigmoid 函数，从而确定 $\lambda(q)$ 。

核心贡献

范式转变： 本文倡导从输出控制（限制生成）转向能力控制（通过参数插值调节认知配置）。
DAMI 框架： 一种新型框架，能够在无需从头训练统一模型的情况下，利用现有检查点实现查询自适应的推理强度。
双重估计策略： 引入了 DAMI-Pref（基于偏好）和 DAMI-Conf（基于置信度）以应对不同的部署约束（数据可用性 vs. 零样本需求）。
理论验证： 通过形式化证明和实证证据，证明了同源模型之间的线性插值满足 LMC，从而确保了性能与表示上的有效、单调且连续的过渡。

实验结果

作者在五个数学推理基准测试（GSM8K, MATH-500, AMC, AIME 2024/25）上评估了 DAMI，使用了两个模型系列（Qwen3-4B 和 DeepSeek-R1/Qwen2.5-7B）。

性能与效率： 与静态合并、早期退出（DEER）以及路由基准相比，DAMI 始终建立了更优的帕累托前沿。
- 在 Qwen3-4B 上，DAMI-Pref 实现了 91.6% 的准确度（比思考型模型高出 3.4% 的绝对增益），同时减少了 29% 的 token 消耗。
- DAMI-Conf 在保持 90.7% 准确度（比思考型模型高出 2.5%）的同时，减少了 40% 的 token 消耗。
自适应行为： “思考比例”（触发深度推理的查询百分比）随难度而变化。对于简单任务（GSM8K），DAMI 仅在约 25-41% 的查询中激活深度思考；而对于复杂任务（AIME），这一比例上升至 79-95%。
多模态泛化： 使用 Qwen3-VL-8B 在多模态任务（视频和图像-文本推理）上测试了该框架。DAMI-Conf 优于基准模型，在视频理解方面实现了 2.5% 的绝对提升，在图文推理方面实现了 1.6% 的提升。
案例研究： 在一个几何问题中，思考型模型生成了 2,846 个 token 并包含冗余的验证过程。DAMI 通过直接构建问题并进行计算，仅用 351 个 token 就生成了正确解，这证明了能力控制能产生本质上高效的推理，而非仅仅是截断输出。

意义与主张

本文声称，快思考与慢思考之间的二分性并不一定需要在训练时通过二元选择来解决。通过证明推理深度存在于可以通过参数空间内简单的线性操作获取的平滑光谱上，DAMI 提供了一种灵活的认知架构。

作者强调，其方法规避了训练统一的系统 1/2 模型的困难，并避免了与输出受限方法相关的性能下降（后者存在截断推理链的风险）。相反，DAMI 通过动态配置模型的认知深度，达到了一个“甜点区”，有效地结合了系统 1 的效率与系统 2 的推理深度。这项工作表明，推理资源的分配可以被视为一个定义良好的预测问题，其中对最优 $\lambda(q)$ 的估计直接决定了模型的行为。