🤖 machine learning

Curvature-Guided Mixing for MLLM Adaptation

本文提出了曲率引导混合（Curvature-Guided Mixing, CGM），这是一个具有理论依据的框架，该框架利用二阶海森矩阵（Hessian）近似来解析地推导最优参数混合比例，从而在多模态大语言模型中有效平衡任务专业化与通用知识保留，并缓解灾难性遗忘。

原作者： Jinglong Yang, Jiaxuan He, Wenjian Huang, Zhan Zhuang, Jianguo Zhang

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinglong Yang, Jiaxuan He, Wenjian Huang, Zhan Zhuang, Jianguo Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：智能模型的“失忆症”

想象你有一位博学多才、通晓古今的图书管理员（预训练模型），他精通历史、科学、艺术和文学，是一位全才。

现在，你想训练这位图书管理员成为一名世界级的烹饪专家（微调任务）。于是你送他去上了烹饪学校。他非常出色地掌握了食谱、刀工和风味特征。

然而，有一个问题：当他毕业时，他竟然忘记了如何谈论历史或科学。他现在成了一名优秀的厨师，却变成了一个糟糕的图书管理员。在人工智能领域，这被称为灾难性遗忘（Catastrophic Forgetting）。模型学会了新技能，却丢失了原有的通用知识。

旧的解决方案：凭直觉与随机性

以前，科学家们尝试通过以下方式来解决这个问题：

混合（Blending）： 将“厨师”模型和“图书管理员”模型进行随机比例的混合。（就像把两种汤混合在一起，并寄希望于味道正好）。
启发式规则（Heuristics）： 使用简单的规则，例如“保留那些变化最小的权重”。（就像是在说，“不要动那些变动不大的部分”）。

论文指出，这些方法就像是在凭感觉猜测。它们没有坚实的数学依据来解释为什么要以这种方式进行混合，并且往往无法很好地维持平衡。

新的解决方案：曲率引导混合 (CGM)

作者提出了一种名为**曲率引导混合（Curvature-Guided Mixing, CGM）**的新方法。要理解这一点，请将模型的“知识”想象成一片由山丘和山谷组成的景观。

山谷： 山谷的底部是模型出错最少的地方（最低损失值）。
形状： 有些山谷宽阔平坦（在其中行走很容易，不会跌落）；而有些山谷则狭窄且陡峭（像刀刃一样；哪怕只移动一点点，也会跌入深渊）。

关于“曲率”的比喻：
想象“烹饪”知识是一个狭窄、陡峭的山谷。如果你离开中心点，你的烹饪技能会立即丧失。
想象“通用知识”是一个宽阔、平坦的山谷。你可以稍微移动一下，依然记得你的历史知识。

CGM 如何运作（“软混合”）：
CGM 不再盲目地混合两个模型，而是观察模型每一个组成部分（每一个参数）的山谷形状。

如果某个大脑部分的特定部分在“烹饪”任务中处于一个陡峭的山谷，CGM 会说：“保留这个部分的‘烹饪版’！它对变化太敏感了。”
如果某个部分在“历史”任务中处于陡峭山谷，但在“烹饪”任务中很平坦，CGM 会说：“保留这个部分的‘历史版’！这对旧技能至关重要。”
它会根据每个特定部分在地形上的“陡峭”或“平坦”程度，计算出一个完美的“混合比例”。

这创造了一种软混合（Soft Mix）：一个完美的融合体，既保留了新任务的尖锐技能，又保留了旧任务的平稳能力。

“硬混合”（CGM†）：外科医生的手段

作者意识到，有时混合所有内容（甚至是那些不需要改变的部分）是有风险的。这就像试图通过打磨每一个齿轮来修理一块手表。

因此，他们创建了 CGM†（“硬混合”）。

策略： 它不像是在做融合，而更像是一位外科医生。它观察“陡峭度”评分，并决定：“对于这些特定部分，我们将保留烹饪版本；而对于其他部分，我们将还原（回到）历史版本。”
结果： 它只改变模型中极小且关键的百分比（例如 10%）。它让模型的绝大部分保持原样，维持在“图书管理员”的状态，仅更换那些实现“厨师”技能所必需的部分。

他们的发现是什么？

论文在两个著名的 AI 模型（LLaVA 和 Qwen）上进行了测试，涵盖了不同的任务（如回答有关图像的问题或编写描述）。

更好的平衡： 他们的这种方法（CGM 和 CGM†）始终比以往的方法表现得更好。它在让模型胜任新任务的同时，有效地防止了其遗忘原有的通用知识。
高效性： “硬混合”（CGM†）非常高效。他们发现，只需改变大约 10% 的模型参数，就能获得最佳效果。剩下的 90% 与原始的智能模型完全保持一致。
结构性： 当他们观察模型改变了哪些部分时，发现这并非随机。模型改变的是特定的、具有结构的组数据（类似于电子表格中的特定列），这证明了“曲率”数学确实找到了应该保留或改变的正确结构化组件。

总结

可以将 CGM 想象成一位顶级大厨，他能根据厨房的温度（曲率）精准地知道该加多少盐。
可以将 CGM† 想象成一位顶级外科医生，他知道该触碰哪根特定的神经来解决问题，而不至于伤及身体的其他部分。

这两种方法都利用学习过程中的“形状”信息，确保 AI 在学习新事物时，不会忘记自己是谁。

技术摘要：基于曲率引导的混合方法用于 MLLM 适配

问题陈述

多模态大语言模型（MLLMs）拥有通过大规模网络预训练获得的广泛、通用的知识。然而，通过微调将这些模型适配到特定下游任务时，往往会导致灾难性遗忘，即模型为了获得新的任务特定技能而失去了其基础性的通用能力。现有的解决方案（如启发式模型合并（例如 Spider）或参数高效微调）通常无法有效地在任务适配与知识保留之间取得平衡。许多方法依赖于缺乏坚实理论基础的手工设计评分函数，或者仅针对下游性能进行优化，而忽略了对预训练知识的保护。

方法论

作者提出了曲率引导混合（Curvature-Guided Mixing, CGM），这是一个通过分析各自损失函数的几何结构来合并预训练模型（ $w_{pt}$ ）和微调模型（ $w_{ft}$ ）的有理论依据的框架。

1. 损失景观近似

该方法通过在其最优权重附近使用二阶泰勒展开，对预训练（ $\ell_{pt}$ ）和微调（ $\ell_{ft}$ ）任务的局部损失几何结构进行建模。

假设： 收敛极值点的梯度为零（ $\nabla \ell = 0$ ），且合并后的解位于联合低损失区域内，从而允许忽略高阶项。
近似： 损失被近似为一个涉及海森矩阵（Hessian matrix）（ $H$ ）的二次函数，该矩阵捕捉了局部曲率。为了确保计算的可行性，该方法利用了海森矩阵的对角线元素（ $h_{pt}$ 和 $h_{ft}$ ），将复杂度从 $O(d^2)$ 降低到 $O(d)$ 。

2. CGM：软混合（闭式解）

该框架构建了一个联合优化目标，以最小化两个任务损失的加权和。通过将合并后的权重参数化为线性插值（ $w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$ ），作者为每个参数推导出了一个闭式最优混合比例（ $\lambda_i^*$ ）：

$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$

其中：

$h_{pt,i}$ 和 $h_{ft,i}$ 分别是预训练任务和微调任务的对角线海森项（曲率）。
$\alpha$ 是平衡两个目标的超参数。
解释： 具有高预训练曲率（即通用任务的损失景观较尖锐）的参数会更接近预训练值；而具有高微调曲率的参数则会更接近微调后的值。这种“软混合”是一种对所有参数进行融合的稠密更新。

3. CGM†：硬混合（稀疏选择）

意识到稠密更新可能会带来破坏，作者引入了 CGM†，这是一种“硬混合”变体，它将问题重新定义为一个稀疏参数选择任务。

机制： 该方法不再进行权重融合，而是对每个参数做出二进制决策：要么保留微调后的权重（ $w_{ft}$ ），要么恢复为预训练权重（ $w_{pt}$ ）。
评分： 通过一个曲率感知得分 $c_i$ 对参数进行排序：
$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$
其中 $\Delta_i = w_{pt,i} - w_{ft,i}$ 。
选择： 该方法将具有最低 $c_i$ 得分（表明这些参数对于通用知识至关重要，但对于新任务的重要性较低）的前 $K\%$ 参数恢复到其预训练值。这施加了一个隐式的 $L_0$ 约束，确保进行最小化、有针对性的修改。

核心贡献

具有理论依据的框架： 本文引入了 CGM，它直接利用二阶损失景观信息，通过联合优化目标推导出最优混合规则，超越了启发式评分。
稀疏硬混合 (CGM†)： 一种鲁棒的变体，将合并视为稀疏选择问题，利用一种新型的曲率感知得分来识别并恢复对通用知识保留最为关键的参数。
实验验证： 在 LLaVA-1.5-7B 和 Qwen-2.5VL-3B 上针对多个下游任务（OKVQA, Flickr30k, LaTeX-OCR）进行的广泛实验表明，CGM 和 CGM† 在平衡任务专业化与通用知识保留方面一致优于现有的基准方法（Tailor, DARE, Grafting, Wanda）。

实验结果

性能指标： 作者使用 Hscore（目标任务性能与预训练平均性能的调和平均数）和 Avg（算术平均数）进行评估。
主要发现：
- 在 LLaVA-1.5 微调于 OKVQA 的实验中，CGM† 实现了最高的 Hscore (62.8) 并保持了较高的 Pre-Avg (65.7)，显著优于微调模型（Hscore 为 53.9）和其他合并基准。
- 在 Qwen-2.5VL 上，所提方法一致取得了卓越的权衡，通常能在保持强劲的任务特定得分的同时，恢复接近原始的预训练性能。
- 消融研究： 从评分函数中移除微调曲率或预训练曲率都会导致次优的结果（要么过拟合，要么过度遗忘），这证实了联合曲率公式的必要性。
- 超参数敏感性： 研究发现稀疏比例 $K$ 是鲁棒的；即使仅恢复 10% 的参数，也能在很大程度上保留通用知识。平衡系数 $\alpha$ 主要影响目标任务性能，在较小值（ $\approx 0.1$ ）时达到最佳平衡。
- 选择结构： 通过对选择掩码的视觉分析显示，CGM† 选择的是连贯、有结构的参数组（注意力层中的垂直带），而 Magnitude 和 Tailor 等基准方法产生的则是弥散、无结构的噪声。

重要性与主张

本文声称，曲率引导混合通过利用损失景观的几何结构，为 MLLM 中的灾难性遗忘问题提供了一个原则性的解决方案。通过基于相对曲率解析地推导混合比例，该方法避免了启发式方法的缺陷。作者断言，其工作建立了模型合并的新基准，证明了二阶信息可以被有效地利用，从而创建出既能高度专业化处理新任务，又能保持稳健的基础通用智能的模型。该研究表明，基于联合优化的“软混合”与“硬混合”稀疏选择是实现有效 MLLM 适配的互补策略。