🤖 machine learning

Eigenvectors of Experts are Training-free Non-collapsing Routers

本文介绍了 SSMoE，这是一个无需训练的框架，它通过奇异值分解利用专家权重矩阵的特征向量，以有效解决稀疏混合专家模型中的专家崩溃问题，并提升其在多样化任务中的性能。

原作者： Giang Do, Hung Le, Truyen Tran

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Giang Do, Hung Le, Truyen Tran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且高度专业化的图书馆（即大型语言模型），它被设计用来回答你提出的任何问题。在这个图书馆内部，有数百位专家级图书管理员（称为“专家”）。当你提出一个问题时，一位“总图书管理员”（称为“路由/Router”）会决定哪几位专家应该来协助你。

问题：“群体思维”故障
该论文指出，这些目前的图书馆运作方式存在一个重大缺陷。尽管总图书管理员本应为每个特定问题挑选出最合适的专家，但他们经常陷入一种固定的模式。他们会不断地重复挑选同样的几位专家，从而忽略了其他人。

作者将这种现象称为**“专家崩溃”（Expert Collapse）**。这就像一家餐厅，经理总是把每一位顾客都送到那两位厨师那里，尽管厨房里还有另外50位才华横溢的厨师。其结果是，餐厅变得效率低下，食物质量下降，而那些未被使用的厨师（其他专家）只能坐在一旁无所事事。

以往的修复尝试包括从头开始重新训练总图书管理员，这就像是重新雇佣一位经理并花费数月时间教他如何经营厨房。这既昂贵又缓慢。

发现：专家的身份卡
研究人员提出了一个简单的问题：我们能否在没有总图书管理员的情况下进行路由分发？

他们观察了这些专家自身的“身份卡”（即数学权重矩阵）内部。他们发现了一些令人惊讶的事实：专家的内部结构本身就已经包含了一张关于其擅长领域的地图。具体来说，这些身份卡中的“特征向量”（eigenvectors，一个高级数学术语，指信息的主要方向）蕴含着丰富的语义信息。

可以这样理解：与其询问一位经理谁最擅长做意大利菜，不如直接查看厨师自己的简历，发现他的名字本身就写着“意大利”。专家们已经在通过自身的内部结构大声宣告：“我懂数学！”或者“我懂诗歌！”

解决方案：SSMoE（自组织图书馆）
论文提出了一种名为 SSMoE 的新系统。SSMoE 不再使用一个经过学习的、试图猜测该选谁的总图书管理员，而是利用专家自身的“身份卡”（其特征向量）来进行路由分发。

无需训练： 这是最大的优势。你不需要重新训练模型，也不需要花费资金购买新数据。你只需要观察模型内部现有的数学结构，并利用它来对 Token 进行路由。这是“无需训练”的。
不会崩溃： 因为专家的内部地图在数学上是天然不同的（即“正交”的），所以它们不会陷入“群体思维”。它们能够自然地分散工作量。
性能更好： 通过使用这种方法，模型实际上变得更聪明了。它能更频繁地调用正确的专家，从而提供更好的答案。

结果：更聪明、更快、更强大
作者在各种规模的“图书馆”（模型）上进行了测试，范围涵盖了从小规模模型到拥有 1200 亿参数的巨型模型。

更聪明的答案： 在困难的推理任务（如数学和科学问题）上，SSMoE 的表现优于原始模型。例如，在一个 200 亿参数的模型上，它的准确率平均提高了约 6%。
节省成本（内存）： 由于路由非常高效，他们实际上可以移除 25% 的专家（解雇那些不需要的专家），并且仍然能获得比完整的原始模型更好的结果。这节省了大约 23% 运行模型所需的计算机内存。
鲁棒性： 即使输入的数据很混乱或存在噪声（例如带有随机拼写错误或噪声的问题），SSMoE 的表现也比传统模型更稳健。它不太容易感到困惑。

总结
论文表明，我们不需要一个复杂且昂贵的经理来告诉专家该做什么。如果我们只需倾听专家自身的内部“氛围”（即它们的特征向量），它们就能完美地实现自我组织。这使得 AI 模型更高效、更准确，并且不易出现通常困扰它们的“群体思维”错误，而且这一切都不需要重新训练。

技术摘要：专家特征向量是无需训练且非坍缩的路由机制

问题陈述

稀疏混合专家（SMoE）架构已成为扩展大语言模型（LLMs）和视觉语言模型的核心，通过将输入标记（tokens）路由到一组专门的专家。然而，这些模型面临着一个持久的问题，即专家坍缩（或表示坍缩），即不同的专家趋于产生相似或冗余的输出，从而降低了模型的有效容量和性能。

虽然先前的研究试图通过改进路由器（即选择专家的机制）来缓解这一问题，但这些方法通常需要从头开始训练或进行微调，这会产生高昂的计算和数据处理成本。此外，本研究呈现的经验证据表明，即使是经过良好预训练的 SMoE 模型（包括 GPT-OSS、Qwen3 和 DeepSeek-MoE 等最先进系统），在各种层级和模型规模上仍表现出显著的路由器坍缩。这种持续性表明，传统的路由器改进是不够的，必须对路由机制进行根本性的重新审视。

方法论：奇异值分解 SMoE (SSMoE)

作者提出了 SSMoE，这是一个全新的、无需训练的框架，它通过利用专家权重矩阵本身的谱性质，消除了对学习型路由器的依赖。

核心洞察

通过对先进的预训练 SMoE 模型进行分析，作者观察到专家权重矩阵的特征向量编码了丰富的语义信息。与可能发生坍缩的学习型路由器嵌入不同，这些特征向量天然保持正交性，并捕捉内在的专家专业化特征。

SSMoE 框架

该方法分为四个主要步骤：

特征向量提取： 对于每个专家 $i$ ，作者计算由专家的前馈神经网络（FFN）权重（ $FFN_1$ 和 $FFN_2$ ）导出的两个 Gram 矩阵。然后，他们从这些矩阵中提取特征向量。
谱嵌入构建： 对于给定的专家，从两个 Gram 矩阵中选择与该专家路由器嵌入最相似的前 $c$ 个特征向量。通过对这些特征向量取平均值，形成代表专家语义专业化的“谱嵌入”（ $C^{(i)}$ ）。
路由： 将所有专家的谱嵌入拼接在一起，形成一个路由权重矩阵（ $W_{EV}$ ）。输入标记 $x$ 通过该矩阵进行投影，以生成基于特征向量的逻辑值（ $f_{EV}(x)$ ）。
混合路由： 为了平衡新的谱信号与原始的上下文感知路由器，SSMoE 采用了凸组合：
$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$
其中 $s(x)$ 是原始的学习型路由器逻辑值， $\alpha \in [0, 1]$ 是可调的平衡因子。经验结果表明， $\alpha$ 在 0.5 到 0.9 之间的取值能获得最佳性能。

理论保证

论文提供了一个理论引理，证明了 SSMoE 路由器降低了成对逻辑值的相关性。具体而言，如果特征向量逻辑值与学习型路由器逻辑值正交，则组合路由器的协方差相对于原始路由器会严格降低一个 $(1-\alpha)^2$ 的因子。这从数学上证明了 SSMoE 缓解了传统 SMoE 路由器固有的坍缩问题。

主要贡献

识别预训练模型中的坍缩问题： 作者通过实验证明，路由器坍缩是一个普遍存在的问题，影响了十种最先进的基于 MoE 的模型（参数量从 4B 到 120B 不等），且同时影响了推理型和非推理型架构。
特征向量中的语义编码： 本研究揭示了专家权重矩阵的特征向量天然编码了丰富的语义信息，可以作为学习型路由器嵌入的鲁棒替代方案。
SSMoE 框架： 引入了一个无需训练、高效的框架，利用这些谱性质来增强标记路由和专家表示，而无需额外的训练。
专家剪枝策略： 提出了一种基于 SSMoE 的专家丢弃方法，在提高性能的同时显著降低了内存消耗。

实验结果

作者在干净和受损（含噪声）的数据设置下，针对多种任务和模型规模对 SSMoE 进行了评估。

大型推理模型 (GPT-OSS)： 在 GPT-OSS-20B 和 GPT-OSS-120B 上，SSMoE 的表现优于原始模型和基准随机丢弃策略。
- 在推理基准测试（ARC、GSM8K 等）中，它比原始 GPT-OSS 模型平均提升了 ~6%，同时减少了 ~23% 的内存消耗。
- 在 10-shot 设置下，SSM0E 使 20B 模型的性能提升了 21%，120B 模型提升了 10%。
- 至关重要的是，消融研究表明，性能提升是由路由机制本身驱动的，而不仅仅是通过减少专家数量实现的。
大型语言模型 (MTEB)： 在 OLMoE、Qwen-MoE 和 DeepSeekMoE 上进行大规模文本嵌入基准测试（MTEB）评估时，SSMoE 的表现始终优于基准模型（Router, SMoE, MoEE）。
- 在干净设置下，它在 15/18 个任务中达到了最先进的性能；在受损设置下，在 16/18 个任务中达到了最先进的性能。
- 该方法在对抗性扰动（损坏数据）下展现出了卓越的鲁棒性，优于那些性能大幅下降的复杂表示模型。
视觉语言模型 (CLIP-MoE)： 在零样本图像-文本检索（COCO, Flickr30k）和分类任务中，SSMoE 将 Recall@1 提升了高达 +1.1%，并且相比基准 CLIP-MoE 展现出更强的对图像噪声的鲁棒性。
效率： 该框架在推理任务中减少了约 23% 的内存使用，在嵌入任务中减少了 5% 的 GFLOPs，同时保持或提高了准确率。

意义与主张

论文声称 SSMoE 代表了优化 SMoE 架构的一种范式转变。通过将重点从学习一个路由器转向分析专家的内在谱性质，作者证明了：

无需训练的优化是可行的： 无需承担重新训练或微调的计算成本，即可实现显著的性能提升和鲁棒性。
内部结构至关重要： 对模型内部结构（特别是特征向量的正交性）的深入理解可以指导开发更有效的架构。
鲁棒性： 基于特征向量的表示提供了一种更稳定且语义更丰富的信号，与传统的学习型路由器相比，它更不易发生坍缩，且对数据损坏具有更强的抵抗力。

作者总结道，他们的发现强调了利用谱见解来创建更高效、更有效且更鲁棒的 SMoE 架构的重要性，为解决长期存在的专家坍缩问题提供了一个切实可行的解决方案。