🤖 machine learning

Scalable Knowledge Editing for Mixture-of-Experts LLMs via Tensor-Structured Updates

本文提出了一种面向混合专家大语言模型的可扩展闭式知识编辑框架，该框架利用张量结构与伍德伯里矩阵恒等式实现每专家更新，在保持与稠密层基线相当的编辑质量的同时，最高可实现 6 倍的加速。

原作者： Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Roman Maksimov, Vladimir Aletov, Dmitry Bylinkin, Daniil Medyakov, Vladimir Solodkin, Aleksandr Beznosikov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过张量结构化更新实现混合专家大语言模型的可扩展知识编辑》（MoTE）的通俗解读，采用简单概念与类比进行拆解。

核心难题：更新一座巨型图书馆

想象大语言模型（LLM）是一位博学多才、近乎全知的超级图书管理员。然而，一旦管理员完成训练，其知识便处于“冻结”状态。若世界发生变化（例如新总统当选，或科学事实被修正），这位管理员仍会给出过时且错误的回答。

通常，要解决这一问题，必须让管理员重返学校，进行漫长且昂贵的再训练。这不仅耗时，耗费巨大的算力成本，还可能导致管理员遗忘其原本掌握的其他知识。

知识编辑提供了一种捷径。与其重新训练整个管理员，不如直接深入其记忆库，替换特定的文件。以往的方法在“稠密”模型（即大脑的每一部分都处于激活状态）上表现优异，但在面对现代模型时却显得力不从心。

新挑战：“专家”团队

现代人工智能模型（如 OpenAI 或 DeepSeek 所使用的模型）并非依赖单一的巨型大脑，而是采用**混合专家（MoE）**架构。

类比：想象你拥有的不是一位巨型管理员，而是一个由 100 位专业专家组成的团队（包括历史学家、程序员、厨师、医生等）。
运作方式：当你提出问题时，一位“路由器”（即管理者）会审视问题，仅唤醒 4 到 8 位相关的专家，其余专家则保持休眠。
问题所在：如果你想更新一条事实（例如“法国首都是巴黎”），旧有的编辑工具不知如何与这个特定团队沟通。它们试图将整个团队视为一个巨大的整体进行处理，既低效又混乱。现有的修复方法（称为 MoE-Edit）则像是试图按顺序逐一更新专家，排着长队逐一操作，耗时极长。

解决方案：MoTE（智能团队管理者）

作者提出了一种名为MoTE（混合专家 Tucker 编辑器）的新方法。他们通过两项主要技巧解决了上述问题：

1. “捷径”数学（Woodbury 恒等式）

以往更新专家的方法需要求解一个庞大且复杂的数学谜题，涉及对巨大矩阵（数字网格）求逆。这就像试图解一个拥有百万个方格的数独。

作者利用了一种名为Woodbury 恒等式的数学技巧。

类比：与其去解那个百万方格的谜题，他们意识到只需解一个代表“所需变更”的微小 50 方格谜题即可。
结果：这将原本需要数小时的任务缩短至几分钟。他们可以在无需“唤醒”或一次性计算每一位专家完整权重的情况下更新知识。

2. 尊重团队结构（张量分解）

第二项技巧在于认识到专家并非随机存在，而是相互关联的。它们是在共同训练中形成的，因此其知识以一种特定的三维形状相互连接（就像一块奶酪，而非一张扁平的纸）。

类比：想象专家们是一个合唱团。如果你想改变歌曲的音高，你不会只对着一个人喊叫，而是调整整个群体的和声。
方法：作者使用了Tucker 分解。这是一种将“奶酪块”（专家权重）压缩为一个更小的核心形状的方法，该形状捕捉了群体的本质。
优势：通过编辑这个更小的“核心”形状，他们能够以一种尊重专家间关系的方式自动更新所有专家。这防止了模型产生混淆或“遗忘”其他内容。

结果：快速且精准

该论文在多个现代 AI 模型（如 Qwen 和 GPT-OSS）上测试了 MoTE，并将其与之前的最佳方法（MoE-Edit）及标准再训练进行了对比。

速度：MoTE 比之前的最佳方法快达6 倍。它能在极短的时间内编辑 1,000 条事实。
质量：在修正事实的有效性（Efficacy）以及不破坏模型其他部分的能力（Specificity）方面，它与那些较慢的方法表现相当。
效率：其高效性源于仅在流程的最后阶段进行一次繁重的数学计算，然后将该结果扩散到其他层，而非为每一层重新计算。

总结

该论文介绍了MoTE，这是一种工具，使我们能够快速、准确地更新现代“基于专家”的 AI 模型。其实现方式如下：

利用数学捷径避免不必要的繁重计算。
尊重专家的团队结构，确保更新合乎逻辑。

这意味着我们可以在无需从头再训练的情况下，使 AI 模型与现实世界保持同步，从而节省大量的时间和能源。

技术摘要：基于张量结构化更新的混合专家大语言模型可扩展知识编辑

问题陈述
知识编辑（KE）为更新大语言模型（LLM）中的事实知识提供了一种轻量级的替代方案，无需进行全量微调。虽然 ROME 和 MEMIT 等成熟方法为稠密前馈网络（FFN）提供了高效、闭式的更新方案，但它们与现代混合专家（MoE）架构不兼容。在 MoE 模型中，事实关联分布在由路由器门控的专家池中，而非存储于单个稠密矩阵内。现有的 MoE 专用编辑方法（如 MoE-Edit）依赖于迭代块坐标下降（BCD）或专家的顺序处理。这种方法造成了计算瓶颈，需要重复收集激活值并进行顺序求解器迭代，其扩展性随专家数量和编辑数量急剧恶化，使其难以应用于大规模生产模型。

方法：MoTE（MoE Tucker 编辑器）
作者提出了 MoTE，这是一个通过利用 MoE 层的张量结构，将 MEMIT 的闭式、批处理编辑范式适配到 MoE 层的框架。该方法包含三个核心组件：

用于可扩展性的 Woodbury 降维：
MoE 编辑的全局优化目标涉及对规模为 $(E \cdot d_{hidden}) \times (E \cdot d_{hidden})$ 的巨大系统进行求逆，其中 $E$ 为专家数量。MoTE 利用 Woodbury 矩阵恒等式重新表述该问题。通过识别驱动求逆的 Gram 矩阵是 $T$ 个秩一项之和（其中 $T$ 为编辑批次大小），该方法将求逆复杂度从关于专家数量的立方级降低为关于批次大小的立方级（ $T \times T$ ）。这使得无需实例化或求逆完整的堆叠专家矩阵即可获得闭式解。
张量结构化重构（Tucker 分解）：
作者指出，将专家更新视为独立块（即扁平矩阵方法）忽略了预训练期间学到的专家间的结构相关性。相反，MoTE 将更新 $\Delta W$ 表示为三阶张量（ $E \times d_{model} \times d_{hidden}$ ），并将其约束在低秩 Tucker 流形上。
- 分解： 更新被分解为一个小核心张量 $G$ 和三个因子矩阵（ $U_e, U_{out}, U_{in}$ ），这些因子矩阵通过对原始权重进行高阶奇异值分解（HOSVD）得到。
- 优化： 优化问题从所有专家的高维空间坍缩至小得多的核心张量 $G$ 。这在保留 MoE 层几何结构的同时，将优化变量的维度降低了数个数量级。
MEMIT 风格的多层传播：
与 MEMIT 类似，MoTE 将编辑扩散到多个关键层以确保泛化能力。然而，不同于先前需要为每一层重新求解的 MoE 方法，MoTE 仅在最后一个关键层计算一次闭式解。随后，生成的核心张量更新以衰减系数传播至 preceding 层，从而避免了冗余计算和反向传播。

主要贡献

张量感知公式： 本文通过尊重堆叠专家权重的张量结构来构建 MoE 层的 KE 目标，避免了简单的拼接或单专家近似。
高效的闭式解： 通过结合 Woodbury 恒等式与 Tucker 分解，该方法实现了完全闭式、无需反向传播的更新。它仅需对固定低秩矩阵（大小由批次大小或核心秩决定）进行求逆，而与专家总数无关。
可扩展性： 该方法实现了类似 MEMIT 的批处理编辑，使得编辑现代稀疏 LLM 成为可能，而无需受限于先前 MoE 专用方法的顺序瓶颈。

实验结果
作者在三个现代 MoE LLM（Qwen3-30B-A3B、GPT-OSS-20B 和 Qwen3.6-35B-A3B）上，使用 COUNTERFACT 和 ZsRE 基准测试评估了 MoTE。

编辑质量： MoTE 实现了与 MoE-Edit 等强基线相当的编辑质量（有效性、泛化性和特异性）。在某些场景下（例如 GPT-OSS-20B 在 ZsRE 上），其在局部性（特异性）方面优于 MoE-Edit。
速度： 与 MoE-Edit 相比，该方法将编辑过程加速了高达 6 倍。这种加速归功于仅在最后一层收集一次激活值，且仅求解一次闭式系统，而非顺序迭代专家和层。
消融实验： 实验证实，Tucker 分解缺失的情况下，Woodbury 降维与多层传播的简单组合无法达到 MoE-Edit 的性能，验证了张量结构化先验的必要性。

意义与主张
本文主张，闭式的、参数修改型知识编辑并非固有地绑定于稠密架构。通过对层结构应用正确的代数处理，这些技术可扩展至复杂的稀疏架构。作者将 MoTE 定位为迈向现代 LLM 可扩展知识编辑的一步，证明了基于原理的、基于优化的编辑能够跟上架构演进的步伐。他们强调，该方法为高效更新生产级 MoE 模型提供了一条可行路径，但也指出了在极端大批次大小（ $>>1000$ ）下的高计算成本以及计算 HOSVD 的初始开销等局限性。