💬 NLP

Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging

本文介绍了 RESM，一种新型的重加权增强型任务单一合并方法，该方法通过有效解决帮助性（Helpfulness）、诚实性（Honesty）与无害性（Harmlessness）之间的冲突，以实现大语言模型的平衡对齐，其性能优于现有的数据混合与模型合并方法。

原作者： Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinluan Yang, Dingnan Jin, Anke Tang, Li Shen, Didi Zhu, Zhengyu Chen, Ziyu Zhao, Daixin Wang, Qing Cui, Zhiqiang Zhang, Jun Zhou, Fei Wu, Kun Kuang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《混合数据还是合并模型？通过模型合并平衡大语言模型的帮助性、诚实性和无害性》的解释，采用了通俗易懂的语言和富有创意的类比。

大局观：“三头龙”难题

想象一下，你正在训练一个巨大的机器人（大语言模型，或简称 LLM）来成为完美的助手。要成为一个真正“负责任”的机器人，它需要同时掌握三项高难度的技能：

帮助性 (Helpfulness)： 它必须能够准确地回答你的问题并提供帮助。
诚实性 (Honesty)： 它绝不能撒谎或凭空捏造（幻觉）。
无害性 (Harmlessness)： 它绝不能说任何有毒、危险或不道德的话。

问题在于，这三项技能经常会互相冲突。

如果你训练机器人变得超级乐于助人，它可能会为了努力回答你的问题而不小心撒了谎（破坏了诚实性），或者建议了一些危险的行为（破坏了无害性）。
如果你训练它变得超级安全，它可能会变得过于谨慎，以至于拒绝回答简单的提问（破坏了帮助性），或者为了避免麻烦而撒谎（破坏了诚实性）。

这就是所谓的**“3H 三难困境”**。这篇论文探讨的是：我们如何构建一个能同时兼顾这三者且互不抵消的机器人？

两种主要策略：混合食材 vs. 融合超能力

论文对比了解决这一问题的两种方法。

1. “奶昔”法 (数据混合/Data Mixture)

核心思想： 你拿出一个巨大的搅拌机。你往里面倒入一桶“乐于助人”的故事，一桶“诚实”的事实，以及一桶“安全”的指令。你把它们全部搅拌成一大碗混合奶昔，然后用这碗“混合汤”来训练机器人。
问题所在： 很难掌握完美的配方。如果你放了太多的“安全”果汁，机器人就会变得枯燥乏味；如果你放了太多的“乐于助人”果汁，它就会变得鲁莽。此外，收集所有这些不同的“桶”需要大量的专家和计算资源。这就像是在试图通过猜测面粉、糖和盐的精确比例来烤出一个完美的蛋糕。

2. “弗兰肯斯坦”法 (模型合并/Model Merging)

核心思想： 你不是先混合食材，而是先训练三个独立的机器人：

机器人 A 是帮助性的大师。
机器人 B 是诚实性的大师。
机器人 C 是无害性的大师。

然后，你不需要重新训练它们，而是将它们的“大脑”（内部设置，即参数）缝合在一起，组成一个新的机器人。
优势： 这种方法更快、更便宜。你不需要从头开始重新训练整个模型，你只需要研究如何将这些大脑缝合在一起而不让它们发生冲突。

论文的研究发现

研究人员建立了一个“测试厨房”来观察哪种方法效果更好。他们尝试了 15 种不同的缝合大脑的方式，并将它们与“奶昔”法进行了对比。

重大发现：
将大脑缝合在一起（模型合并）通常比混合数据（数据混合）效果更好。

原因： 当你混合数据时，机器人会被相互矛盾的指令搞糊涂（例如：“要乐于助人！” vs. “要安全！”）。当你合并模型时，你是在结合这些机器人已经找到的“解决方案”，这通常能更自然地解决冲突。
结果： 合并后的机器人更加平衡，实现了“三赢”局面——即同时具备了帮助性、诚实性和无害性，其表现往往优于最好的数据混合方法。

新的“秘密酱汁”：RESM

虽然缝合大脑很棒，但研究人员发现人们在进行此类操作时存在两个主要的缺陷：

缺陷 1：“吵闹的邻居”问题 (偏好噪声/Preference Noise)
当你组合大脑时，有时其中一个机器人的某些设置会带有随机错误（噪声）。如果你把这些错误缝合进去，这些错误会被放大，导致新机器人变得更糟。

解决方法： 论文引入了一个名为**“异常值权重 (Outlier Weighting)”**的过滤器。想象一下一个夜店的保镖。在允许一个大脑设置进入新机器人之前，保镖会检查：“这是一个正常且重要的设置，还是一个奇怪的、带噪声的异常值？”如果它太奇怪了，保镖就会调低这个设置的音量，以免它毁了这场派对。

缺陷 2：“一刀切”问题 (层稀疏性/Layer Sparsity)
机器人的大脑有很多层。有些层非常稠密（充满了信息），而有些层则很稀疏（大部分是空的）。

问题所在： 旧的方法对每一层都一视同仁。它们会从稠密层和稀疏层中切走同样数量的信息。这就像是用同样的剪刀去剪牛排和纸张；你可能会剪掉太多牛排，或者剪得不够纸张。
解决方法： 论文引入了**“稀疏感知秩选择 (Sparsity-Aware Rank Selection)”**。这就像是一个聪明的裁缝。如果这一层很稠密，裁缝会小心切割以保持主体结构；如果这一层很稀疏，裁缝则知道要保留住那些维持整体结构的关键细线。

新的方法：RESM

通过结合“保镖”（过滤噪声）和“聪明的裁缝”（根据层级调整切割），作者创建了一种名为 RESM 的新方法。

结果：

RESM 成为了冠军。它击败了旧的“缝合”方法和“奶昔”混合方法。
与基准相比，RESM 将机器人的平衡度提升了约 15%，而最好的数据混合方法仅提升了约 10%。
它也更加稳定。其他方法有时表现出色，有时则取决于运气而失败，但 RESM 始终表现得很出色且稳定。

总结

该论文认为，要构建一个负责任的 AI，**将专门的专家缝合在一起（模型合并）通常比将所有训练数据混合在一起（数据混合）**效果更好。然而，要让缝合过程完美运行，你需要一种更聪明的方式来处理噪声和 AI 大脑中不同的结构。作者提出的新方法 RESM 正是如此，它创造了一个更加平衡、更有帮助性、更诚实且更无害的 AI。

技术摘要：混合数据还是合并模型？通过模型合并平衡大语言模型的帮助性、诚实性与无害性

问题陈述

可靠部署大语言模型（LLMs）需要对三个关键维度进行平衡优化：帮助性（准确、符合任务要求的响应）、诚实性（避免幻觉）以及无害性（防止有害输出），这些维度统称为 3H 优化。虽然现有的对齐技术（如基于人类反馈的强化学习 RLHF 和直接偏好优化 DPO）已经改进了单个维度的表现，但由于存在内在的权衡关系，实现同步平衡仍然是一个重大挑战；例如，优化帮助性可能会在无意中产生有害内容，而无害性对齐可能会导致诚实性下降。

解决这些冲突的传统方法依赖于数据混合策略，即通过组合多样化的数据集来微调单个模型。然而，这些方法面临诸多局限性，包括对专家知识进行数据策展的高度依赖、高昂的计算成本，以及在微调过程中难以管理冲突的优化信号。相比之下，模型合并（集成专门化模型的参数）提供了一种更具成本效益的参数级替代方案，用以缓解灾难性遗忘并平衡各项目标，但其在 3H 优化方面的具体有效性和局限性仍未得到充分探索。该领域的主要挑战包括偏好噪声累积（即合并多个对齐模型时引入的离群权重更新会掩盖真实的训练方向）以及层稀疏性适配问题（现有方法无法考虑到 LLM 不同层之间变化的稀疏模式）。

研究方法

基准测试与分析

作者首先建立了一个全面的基准测试，系统地比较了用于 3H 优化的数据混合与模型合并技术。这包括：

数据集： 10 个涵盖 5 个标注维度（帮助性、诚实性、无害性及其组合）的偏好数据集。
基线模型： 15 种代表性方法，包括 12 种无需训练的模型合并策略（如 Weight Average, Task Arithmetic, TIES, DARE, TSVM）和 3 种数据混合策略（Heuristic, ArmoRM, Hummer）。
模型家族： 在静态（单阶段）和持续（多阶段）优化设置下的两个指令微调 LLM 家族（Llama-3-8B 和 Mistral-7B）。

通过该基准测试，作者揭示了 3H 维度之间此前被忽视的协作与冲突关系。值得注意的是，他们发现虽然“帮助性”训练能同时提升所有 3H 维度，但“诚实性”训练与“无害性”训练往往会相互削弱。

提出的方法：RESM

为了解决多目标合并中的偏好噪声和层稀疏性特定挑战，本文提出了重加权增强任务奇异合并（Reweighting Enhanced task Singular Merging, RESM）。该方法基于任务奇异向量（TSV）合并技术，并引入了两种新颖机制：

离群值感知加权（解决偏好噪声）：
- 意识到合并多个对齐模型会累积偏好噪声，RESM 采用了一种基于 3σ 原则的统计显著性过滤机制。
- 它计算每一层权重偏差（ $\Delta$ ）的行向均值 ( $\mu$ ) 和标准差 ( $\sigma$ )。
- 通过阈值函数抑制低幅度的波动（噪声），仅保留具有统计显著性的偏差。
- 通过对这些稀疏离群量进行 L1 归一化来计算聚合权重 ( $\alpha$ )，从而确保来自不同任务的贡献保持平衡，并防止高幅度的更新主导合并过程。
稀疏自适应秩选择（解决层稀疏性）：
- 传统方法在所有层中使用统一的秩选择阈值 ( $k$ )，这无法考虑到参数重要性的异质性。
- RESM 根据每层的稀疏共识 ( $\Omega_l$ ) 动态确定秩 ( $k_l$ )。
- 稀疏度通过计算参数偏差低于微小阈值 $\epsilon$ 的比例来计算。
- 动态秩定义为 $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$ ，其中 $d_l$ 是层维度。这允许在稀疏层中保留更高的秩（保留关键的方向特征），并在稠密层中进行更强的降维（抑制噪声）。

最终的合并层通过整合这些重加权的奇异向量进行计算：
$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$

关键结果

性能比较

在 Llama-3 和 Mistral 模型上的广泛评估表明，模型合并在实现平衡 3H 优化方面通常优于数据混合方法：

静态优化： 在 Llama-3 上，表现最好的数据混合方法（Hummer）实现了 10.16% 的归一化增益。相比之下，模型合并方法始终表现更优，所提出的 RESM 实现了 14.97% 的增益。TSVM（RESM 的基线）实现了 13.00%。
Mistral 结果： 观察到了类似的趋势，RESM 比基线高出 3.36%，优于表现最好的数据混合方法（1.53%）。
稳定性： 与表现出在不同随机种子下性能不稳定的随机稀疏化方法（如 DARE, DELLA）不同，RESM 由于采用了基于 SVD 的方法和自适应策略，展现出了稳健且一致的结果。

消融实验

消融实验证实了 RESM 中两个组件的必要性：

去除离群值加权使 Llama-3 的归一化增益从 14.97% 降至 13.60%。
去除自适应秩选择使增益降至 13.71%。
两项策略的结合产生了最高的性能，验证了同时解决噪声累积和层稀疏性对于提升性能至关重要。

持续优化

在持续 DPO 训练设置（模拟带有顺序数据的真实场景）中，RESM 保持了优于最终阶段模型的性能。作者观察到，灾难性遗忘效应通过交互式优化反而在悖论式地增强了 3H 对齐，而 RESM 从基础检查点（而非中间检查点）进行合并的策略有效地减轻了对先前目标的过拟合。

重要性与主张

本文声称提供了首个系统性基准测试，用于比较 3H 优化中的数据混合与模型合并。其主要贡献在于：

经验洞察： 研究揭示了模型合并提供了一种分阶段的优化范式，能够有效地处理相互竞争的对齐目标，其表现通常优于在面对冲突信号时表现挣扎的数据混合策略。
方法论进步： 提出的 RESM 算法通过离群值加权和自适应秩选择，解决了 LLM 合并中的特定技术障碍——偏好噪声和层稀疏性，在无需额外训练数据的情况下实现了最先进的平衡对齐。
理论基础： 本研究提供了冲突概率的理论界限，证明了与固定秩方法相比，自适应秩选择降低了任务向量之间发生方向性冲突的可能性。

作者总结道，模型合并（特别是经过重加权和稀疏性感知策略增强后）为构建具有伦理约束的多目标对齐 LLM 提供了一条可行且高效的路径。他们强调，尽管 RESM 显著改善了“诚实性”和“无害性”，但由于维度内的冲突，“帮助性”维度仍然面临挑战，这表明未来需要建立层次化的冲突解决框架。