🤖 machine learning

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

该论文提出了 SAME，一种用于多模态持续指令微调的稳定混合专家（Mixture-of-Experts）框架，该框架通过正交子空间路由、曲率感知缩放和自适应专家激活来缓解路由器和专家的漂移，并在一个新的长序列基准测试上实现了最先进的性能。

原作者： Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一位学生：他极其擅长解决数学题，但一旦被要求读一首诗，就会突然忘记如何计数。这正是现代人工智能系统——多模态大语言模型（multimodal large language models）所面临的核心挑战。这些强大的计算机能够看懂图像并阅读文本，通过学习海量数据来学习如何回答有关世界的问题。它们被训练用来遵循指令，例如“描述照片中的猫”或“解决这个物理问题”。然而在现实世界中，这些系统并不是一次性学完所有知识的。相反，它们会一个接一个地遇到不同类型的任务，就像一名学生从数学课转到历史课，然后再转到艺术课一样。问题在于，当这些模型学习新技能时，它们往往会忘记旧的技能，科学家将这种现象称为“灾难性遗忘”（catastrophic forgetting）。为了保持这些模型的实用性，研究人员需要一种方法，能在教给它们新事物的同时，不抹除它们已经掌握的知识。

在一段时间内，专家们一直试图通过给模型配备一个专门的助手团队来解决这个问题，这种结构被称为“混合专家模型”（mixture of experts）。可以将该模型想象成一个大型办公室，不同的工作人员，即“专家”，负责处理不同类型的任务。当一个问题进来时，一个被称为“路由”（router）的经理会决定哪位员工最适合回答它。如果问题是关于图表的，经理会将它发送给数据分析师；如果是关于诗歌的，它会被发送给作家。当任务相对稳定时，这套系统运作良好，但研究人员发现，当模型必须学习一系列新的任务序列时，就会出现缺陷。随着模型学习新技能，经理开始犯错，将旧类型的任务发送给了错误的员工。与此同时，员工本身也开始发生变化，失去了他们之前为早期任务所开发的特定技能。这种双重失败意味着，模型不仅会将问题发错人，而且那些人也会忘记自己原本应该胜任的工作。

一支研究团队现在提出了一种名为 SAME 的新方法来解决这些问题。他们发现，经理的困惑和员工的记忆丧失是两个需要不同解决方案的独立问题。为了防止经理感到困惑，研究人员设计了一个能够仔细追踪模型观察世界方式的系统。他们并没有让经理随着每一节新课而完全改变其想法，而是限制了其关注点的偏移程度。他们允许经理学习新的分类方式，但保护了对处理先前任务至关重要的旧有分类方式。这确保了即使在模型学习了地图阅读或化学问题之后，关于医学图像的问题仍能继续被发送给医学专家。

为了防止员工忘记他们的工作，研究人员引入了一种衡量员工的新学习可能会对旧技能造成多少伤害的方法。他们观察了员工过去接触过的数据类型，并利用这段历史来减缓那些会破坏旧有技能的变化。这就像是在告诉一名员工：“你可以学习这项新技能，但要以一种不会抹除你以前修理旧机器的方式来进行。”通过这样做，模型在保留从早期任务中获得的特定能力的同时，仍能适应新的任务。此外，研究人员发现，并非每个员工在每节课中都需要处于活跃状态。他们制定了一条规则，暂时暂停当前任务不需要的员工，这既节省了能源，也防止了他们被无关信息意外改变。

该团队在包括一组模仿现实世界复杂多样性的新任务在内的挑战性基准测试中测试了这种新方法。这个新测试包含了十种不同类型的任务，范围从阅读医学文档、分析科学图表，到理解复杂的道路场景和化学公式。结果表明，他们的 SAME 方法在记忆旧任务方面明显优于以往的方法。在涉及长达八个任务序列的一个特定测试中，与其他方法相比，该新方法在处理第一个任务时保持了更高的准确度。它还证明了更高的效率，因为只需更新必要的员工，因此在训练时所需的时间和计算机内存更少。

或许最重要的一点是，研究人员观察到，他们的方法防止了一种微妙但常见的失败情况，即模型给出了正确的答案，但格式错误。例如，如果一项任务要求用大写字母回答，在学习了使用小写字母的新任务后，模型可能会开始给出小写字母的答案。新系统保持了模型的一致性，确保它遵循每个任务特定的格式规则，而不会被下一个任务的风格所干扰。通过稳定“谁来回答问题”的决策以及“回答问题的人”的记忆，这项工作为人工智能提供了更可靠的持续学习方式，在扩展其能力的同时，不会丢失已有的基础。

技术摘要：SAME —— 用于多模态持续指令微调的稳定混合专家模型

1. 问题陈述

多模态大语言模型（MLLMs）通过指令微调展示了强大的泛化能力。然而，实际部署要求这些模型能够通过学习连续的多模态任务流来不断扩展其能力（即多模态持续指令微调，或 MCIT）。一个主要的挑战是灾难性遗忘，即学习新任务会导致先前学习任务的性能下降。

近期的研究方法利用混合专家（MoE）架构结合 LoRA（低秩自适应）来通过稀疏路由促进任务专业化。尽管这些方法具有潜力，但作者指出，现有的基于 MoE 的 MCIT 方法面临着两个截然不同但相互耦合的遗忘来源：

路由漂移（Router Drift）： 随着新任务导致数据分布的演变，路由器的决策过程变得不稳定。先前任务中原本激活特定“定位”或“接地”（grounding）专家的输入，越来越多地被重新分配给无关的专家。这导致无法一致地访问正确的的功能模块。
专家漂移（Expert Drift）： 即使路由器正确识别了相关的专家，专家的内部参数也会被新任务的更新所覆盖。这导致专家丢失了在早期训练阶段获得的原始功能（例如，格式规范或特定的推理能力）。

作者通过诊断实验证明，即使在对路由器进行重训练以匹配原始任务分布的情况下，遗忘现象依然存在，这证实了专家本身的退化是一个关键的失效模式。

2. 方法论：SAME

作者提出了 STAbilized Mixture-of-Experts (SAME)，这是一个旨在缓解路由器和专家漂移的框架，且无需数据重演（存储过去的数据）。SAME 由三个核心组件组成：

2.1 光谱感知路由（解决路由器漂移）

为了稳定专家选择，SAME 基于输入的协方差历史将路由动力学分解为正交子空间。

机制： 该方法维护一个路由器隐藏输入的未中心化协方差矩阵。通过奇异值分解（SVD），它将更新空间分离为一个信号子空间（与新任务相关的高能方向）和一个近似零空间（与历史任务相关的低能方向）。
更新策略： 路由器的梯度被投影到这些子空间上。信号子空间中的更新使用奇异值的滑动窗口平均值进行缩放，以防止对关键于旧任务的方向进行过度剧烈的改变。零空间中的更新则通过投影确保其对历史输入的影响可以忽略不计（ $V_\perp^T x_{old} \approx 0$ ）。
结果： 这确保了旧任务的路由决策保持一致，同时允许针对新任务进行适配。

2.2 曲率感知缩放（解决专家漂移）

为了防止专家被覆盖，SAME 利用历史输入的几何结构来调节专家更新。

机制： 该方法并非在重演设置中对过去的数据实施硬约束（因为过去的数据是不可用的），而是利用累积协方差矩阵（ $C_{t-1}$ ）来近似历史输入的几何结构。
优化： 作者提出了一个约束优化问题，其中功能退化（历史输入上的预期平方输出变化）被限制在一定范围内。这导出了一个 黎曼梯度更新（Riemannian gradient update），其中欧几里得梯度由历史协方差矩阵的逆（ $C_{t-1}^{-1}$ ）进行预处理。
实现： 为了处理计算成本，该逆矩阵是通过从光谱分解中保留的低秩因子的阻尼伪逆来进行近似的。这种方法会降低沿此前任务高度依赖的方向进行的更新权重，从而保护其功能。

2.3 自适应专家激活

为了进一步减少干扰和计算成本，SAME 引入了一种任务级的冻结机制。

机制： 在特定任务的训练期间，专家根据两个信号进行评估：
1. 当前利用率 ( $U$ )： 专家在当前任务中被激活的频率。
2. 历史重要性 ( $F_{pre}$ )： 通过路由加权的输入能量估计得到的平均梯度外积（AGOP）迹的代理指标。
冻结规则： 对于当前利用率低但历史重要性高的专家，在当前任务训练期间会暂时冻结（跳过前向和反向传播）。它们将在后续任务中重新激活。
结果： 这减少了冗余计算，并防止了对当前任务不需要但对过去任务至关重要的专家进行不必要的参数漂移。

3. 核心贡献

漂移诊断： 本文通过实验分离并定义了路由器漂移和专家漂移是 MoE 式 MCIT 导致遗忘的主要原因，并证明两者必须同时得到解决。
稳定框架 (SAME)： 引入了一个无需重演的框架，结合了光谱感知路由、曲率感知黎曼缩放和自适应专家激活，以稳定 MoE 的适配过程。
新基准 (TriGap)： 作者引入了 TriGap，这是一个旨在现实条件下压力测试 MCIT 模型的全新基准。与现有的 CoIN、UCIT 不同，TriGap 的特点包括：
- 扩展序列： 包含 10 个连续任务（其他基准为 6–8 个）。
- 领域跨度： 涵盖医疗、科学、遥感和文档理解等多样化领域。
- 规模差距： 每个任务的任务数据量高度不平衡（10k–40k 个样本），以模拟真实世界的数据流。
效率： 通过冻结低利用率的专家，该方法减少了训练时间并降低了 GPU 显存占用，在不牺牲准确性的情况下实现了显著的加速。

4. 实验结果

作者在三个基准测试上评估了 SAME：CoIN、UCIT 以及新的 TriGap。

性能： SAME 持续优于最先进的基准方法（包括 MoELoRA、HiDe-LLaVA、CL-MoE 和 ProgLoRA）。
- 在 TriGap 上，SAME 达到了 46.53% 的平均准确率，超过表现最好的基准 MoELoRA +2.08%。
- 在 CoIN 上，SAME 达到了 66.82% 的平均准确率，大幅超越了之前的最优水平。
- 在 UCIT 上，SAME 达到了 67.12% 的平均准确率。
遗忘分析： 与 MoELoRA（ $-19.04\%$ ）和 HiDe-LLaVA（ $-6.38\%$ ）相比，SAME 展示了最低的平均遗忘率 ( $\bar{F} = -4.23\%$ )。
格式稳定性： 对 ScienceQA 任务的专项分析显示，基准方法经常遭受“格式诱发遗忘”（例如，答案从大写变为小写）。SAME 成功地在整个序列中保留了特定任务的输出格式。
效率： 自适应专家激活使每个任务的训练时间平均减少了 32.1 分钟，并将 GPU 显存占用降低了 2.3 K MiB/GPU。

5. 意义与主张

本文声称 SAME 为多模态持续指令微调提供了一个鲁棒的解决方案，因为它解决了 MoE 架构中遗忘的根本原因。其重要性在于：

无需重演的操作： 它在无需存储或重演过去数据的情况下实现了强大的保留能力，使其适用于对隐私敏感或存储受限的环境。
可扩展性： 使用低秩协方差近似和自适应冻结，使得该方法能够在不产生高昂计算开销的情况下，扩展到长任务序列和大型模型。
泛化性： 稳定的专家选择和对历史知识的保护使模型能够保留泛化能力，这从其在 MMMU 基准测试上改进的分布外（OOD）性能中得到了证实。

作者总结道，通过稳定路由机制和专家参数，SAME 使 MLLM 能够在可靠保留先前获得知识的同时，持续学习新的视觉语言能力。