🤖 AI

QA-Merging: Query-Adaptive Reasoning via Layer Selective Model Merging

该论文介绍了 QA-Merging，这是一个无需训练的框架，它通过仅针对具有高推理模式差异性的 Transformer 层进行选择性校准，来自适应地结合长思维链（Long-CoT）与短思维链（Short-CoT）模型，从而在降低推理成本的同时，保持在各类推理任务中的强劲性能。

原作者： Zhaofeng Zhong, Wei Yuan, Tong Chen, Liang Qu, Xiangyu Zhao, Quoc Viet Hung Nguyen, Hongzhi Yin

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaofeng Zhong, Wei Yuan, Tong Chen, Liang Qu, Xiangyu Zhao, Quoc Viet Hung Nguyen, Hongzhi Yin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，一类被称为“大型推理模型”的特定计算机程序已经出现，成为解决复杂问题的强大工具。这些系统旨在模仿人类的思维过程，在得出最终答案之前生成长长的、逐步的推理链。这种方法通常被称为“长思维链”，它允许模型检查自己的工作、纠正错误，并以极高的准确度处理复杂的逻辑谜题。然而，这种彻底性也带来了显著的代价。当面对只需要几个步骤的简单问题时，模型往往会继续生成冗长且不必要的解释。这种行为有时被描述为“过度思考”，它浪费了计算能力，减慢了响应时间，甚至会在原本不存在错误的地方引入新的错误。研究人员面临的挑战在于，如何创造出一个既知道何时进行深度思考，又知道何时提供快速直接回答的系统，而无需每次都从头开始重建整个模型。

来自昆士兰大学及其他机构的研究团队通过一种称为 QA-Merging 的新方法解决了这一困境。他们并没有训练单个模型去学习如何在这两种模式之间切换——这个过程需要海量的数据和昂贵的计算时间——而是将两个现有的模型组合成了一个。其中一个模型专门用于为难题生成详细的长思维链，而另一个模型则经过训练，能为简单的任务提供简洁、简短的回答。通过将这两个截然不同的“人格”合并为一个实体，研究人员创建了一个能够根据接收到的特定问题来调整自身行为的系统。其结果是，该模型既保留了解决复杂数学问题的深度推理能力，又能针对较简单的查询立即切换到简短、高效的响应，从而有效地消除了过度思考带来的浪费。

这项发现的核心在于研究人员决定如何组合这两个模型。他们并没有简单地对两个程序的数学设置取平均值，这是一种常见的技术，往往会模糊它们的独特优势。相反，他们观察到长推理与短推理之间的差异并不是均匀分布在模型的内部层中的。可以将模型想象成一个多层结构，信息通过许多阶段进行传递。研究人员发现，两种思维方式之间的分歧集中在仅仅几个特定的层中，而其余的结构则非常相似。通过识别这些关键层，他们可以专注于只校准这些部分，而让其他部分通过更简单、更快速的方法进行调整。这种选择性策略使他们能够在保留复杂模型深度推理能力的同时，整合简单模型的效率，且无需承担重新训练的沉重成本。

为了教导合并后的模型如何选择正确的路径，团队构建了一个小型且经过精心标注的数据集。他们将各种问题同时输入给长思维模型和短思维模型，并对比结果。如果一个问题很难，且只有长思维模型能正确解决，那么合并模型就会被指示遵循长思维模式。如果一个问题很简单，且两个模型都能正确解决，系统则会被引导去偏好更简短、更高效的答案。这个过程创建了一套规则，告诉合并模型针对每个特定查询应采用哪种推理风格。随后，研究人员将“特征对齐”（feature alignment）技术应用于这些关键层，确保合并模型的内部状态与该特定问题的首选风格相匹配。对于剩余的层，他们使用了一种数学修正方法，在不需要复杂计算的情况下调整输出，从而确保系统的稳定性与效率。

该方法的实验结果令人瞩目。在涵盖从小学数学题到高级研究生水平科学问题的七个不同推理基准测试中，合并后的模型表现始终优于现有方法。在一个特定的 15 亿参数模型上，与长思维模型相比，这种新方法将平均响应长度减少了 70%，同时实际上提高了整体准确度。这意味着该系统不仅运行得更快、更便宜，而且更加准确。它能以原始复杂模型相同的深度解决难题，同时避免在简单任务上进行浪费性的过度思考。相比之下，其他试图实现类似目标的方案，要么需要大规模的重新训练（这既缓慢又昂贵），要么依赖于经常无法正确引导模型的简单提示词。这种新方法实现了此前技术无法达到的平衡，证明了在单一系统中实现速度与智能并存是可能的。

该研究还强调了不要以同样的方式对待人工智能模型的每一个部分的重要性。通过展示只有一小部分层负责深度与浅层推理之间的差异，研究人员证明了针对性的方法远比一刀切的方法更有效。这一洞察表明，未来人工智能的进步可能并不总是需要构建更大或更复杂的模型，而是要寻找更聪明的方法来结合和精炼现有模型的能力。这项工作为使这些强大的工具在实际应用中更具实用性提供了一条清晰的路径，因为在实际应用中，速度和成本与准确度同样重要。通过学习在不同思维模式之间切换，合并后的模型模仿了更具人类特性的效率：既知道何时停下来深度思考，也知道何时快速行动，且无需昂贵的训练或复杂的指令。

研究人员在两种不同规模的模型上验证了他们的发现，确认了该方法无论在系统规模如何变化时均有效。他们将结果与广泛的竞争对手进行了比较，包括通过强化学习训练的模型以及受特定提示词引导的模型。在所有情况下，合并后的模型都提供了更好的准确度与效率之间的权衡。它能够在处理难题时达到最彻底模型的性能，同时生成显著减少的文字量，这直接转化为更低的能量消耗和更快的响应时间。研究结论指出，这种层选择性合并技术是替代目前用于适配大型模型的昂贵训练方法的有效且高效的选择。它为过度思考的问题提供了一个实际的解决方案，确保人工智能既强大又经济，能够以适当的投入处理从简单算术到复杂逻辑推演的一切任务。

技术摘要：QA-Merging

问题陈述
最近的大型推理模型（LRMs）通过生成长思维链（Long-CoT）在复杂任务上展现出了强大的性能。然而，这种能力往往会导致在处理简单查询时出现“过度思考”（overthinking），引入不必要的中间推理步骤，从而在不提高准确率的情况下增加了推理成本和延迟。现有的自适应推理解决方案——即根据查询难度在 Long-CoT 和 Short-CoT 之间进行动态选择——通常依赖于基于提示词引导的策略或基于训练的方法。提示词引导的方法往往对提示词的构建和指令遵循能力较为敏感；而基于训练的方法（如监督微调或强化学习）则需要大规模数据集，并面临高昂的计算成本。此外，现有的模型合并技术虽然提供了一种无需训练的替代方案，但通常是静态的（与输入无关）或需要代价高昂的全层校准，无法提供必要的查询级自适应能力。

方法论
本文提出了 QA-Merging（查询自适应层选择性合并），这是一个基于激活值的框架，旨在将一个 Long-CoT 模型 ( $\theta_L$ ) 和一个 Short-CoT 模型 ( $\theta_S$ ) 合并为一个单一的查询自适应推理器 ( $\theta_M$ )，且无需从头开始重新训练。该方法由三个核心组件组成：

模式标签数据构建：
作者通过在种子查询上采样来自 $\theta_L$ 和 $\theta_S$ 的响应，构建了一个紧凑的校准数据集 ( $\mathcal{D}_{PL}$ )。对于每个查询，根据经验正确性和响应长度来确定首选的推理模式：
- 如果其中一个模型的准确率显著更高，则倾向于该模型的模式。
- 如果两个模型都正确，则倾向于响应更短的模型。
  这一过程将数据划分为 $\mathcal{D}_{Long}$ （需要深度推理的查询）和 $\mathcal{D}_{Short}$ （可以通过简洁方式解决的查询），并为每个查询保留来自两个模型的最短正确响应。
层选择策略：
受经验分析的启发（研究表明 $\theta_L$ 与 $\theta_S$ 之间的推理模式差异（RPD）在 Transformer 层之间是非均匀分布的），QA-Merging 避免了对所有层进行校准。
- 高差异层 ( $L_{imp}$ )： 选择 RPD 最高（通过隐藏状态余弦距离识别）的前 $K$ 层进行密集校准。
- 低差异层： 其余层通过轻量级的闭式解校正进行处理。
合并机制：
- 带有对比塑造的特征对齐校准（针对 $L_{imp}$ ）： 对于重要层，通过学习逐元素的合并系数 ( $\lambda_L, \lambda_S$ )，以最小化合并模型的隐藏状态与首选模型（正向模型）隐藏状态之间的距离，同时最大化与非首选模型（负向模型）之间的距离。这是通过结合 $L_2$ 特征对齐和对比损失的联合目标实现的。
- 闭式隐藏状态校正（针对 $L \notin L_{imp}$ ）： 对于剩余层，模型通过平均参数合并进行初始化。为了纠正残余的隐藏状态失真，通过计算一个线性变换矩阵（以闭式解形式）将合并后的隐藏状态映射到专家模型的表示。随后应用一个偏好加权的校正矩阵，以平衡 Long-CoT 和 Short-CoT 的行为。

核心贡献

QA-Merging 框架： 一种新型的模型合并方法，使单个合并模型能够根据查询难度动态切换 Long-CoT 和 Short-CoT 推理模式，避免了昂贵的重新训练。
层选择性校准： 识别出推理差异集中在 Transformer 的特定子集中。所提出的策略仅校准这些高差异层，同时对其余层应用高效的闭式校正，显著提高了合并效率。
训练数据构建： 一种构建紧凑的、带有模式标签的数据集的策略，为确定每个输入的最佳推理模式提供了查询级的监督。

实验结果
作者在两个模型规模（1.5B 和 4B 参数）上，针对七个推理基准测试（包括 GSM8K, MATH500, AIME24/25 和 GPQA）对 QA-Merging 进行了评估。

性能与效率： 与提示词引导的方法、基于训练的自适应推理方法（如 Ada-R1, HAPO）以及现有的合并基线（算术合并和基于激活的合并）相比，QA-Merging 实现了更优的准确率-效率权衡。
具体增益： 在 Qwen2.5-1.5B 模型对上，QA-Merging 将平均响应长度减少了 70%（从约 8162 个 token 降至约 2404 个 token），同时比 Long-CoT 基座模型在平均准确率上提升了 0.6 个百分点。
消融实验： 移除层选择策略或特征对齐校准会显著降低性能，这证实了针对高差异层并显式对齐表示的必要性。
效率： 合并过程在单个 GPU 上使用小型校准集（128 个查询）仅需约 20 分钟，这与基于强化学习（RL）的训练方法所需的 8–24 小时以上形成了鲜明对比。

意义
本文声称 QA-Merging 为实现自适应推理提供了一种高效且有效的替代方案，可以取代成本高昂的训练方法。通过利用推理模式在各层间分布不均的观察结果，该方法成功地将 Long-CoT 模型的深度推理能力与 Short-CoT 模型的效率相结合。结果表明，查询自适应的模型合并可以达到甚至超越基于训练的方法的性能，同时大幅降低计算开销，使自适应推理在部署中更加易于实现且更具实用性。

技术摘要：QA-Merging

类似论文