技术摘要：HodgeCover

问题陈述

稀疏专家混合（MoE）层将令牌路由至一小部分专家，产生了显著的参数冗余，可在不重新训练的情况下进行压缩。现有的无学习压缩方法（例如 REAP、REAM、STUN）依赖成对信号对专家进行排序和合并。然而，这些方法存在一个根本性的结构盲点：三个专家可能两两兼容（A-B、B-C 和 C-A 之间的合并障碍较低），但 collectively 形成一个不可约循环，其中合并所有三个专家会产生高且不可预测的障碍。

当前尝试利用三元组信息的方法（例如超图谱切割、三元组损失惩罚）通常将这些信号聚合为成对之和的代理或二元否决。它们未能隔离当两两兼容性之和不等于连贯的全局可合并性时所产生的特定拓扑残留。本文将该残留识别为从 MoE 层构建的 2-复形上单纯形拉普拉斯算子的调和核。

方法论：HodgeCover

作者提出了HodgeCover，这是一种无学习的专家选择目标，明确针对这种高阶障碍。

1. 可合并性复形

对于具有 $n$ 个专家的层，作者构建了一个抽象单纯形 2-复形 $K = (V, E, T)$：

• 顶点（$V$）： $n$ 个专家。
• 边（$E$）： 所有成对组合，携带信号 $b_{ij}$，定义为原始层与专家 $i$ 和 $j$ 合并后的层之间的 KL 散度（合并障碍）。
• 面（$T$）： 一组精选的三角形（三元组），携带信号 $b_{ijk}$，定义为合并三个专家时的类似定义。

2. 霍奇分解

成对障碍信号 $b \in C_1(K)$ 通过 1-霍奇拉普拉斯算子 $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$ 使用离散霍奇分解进行分解：
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• 梯度（$b_{\text{grad}}$）： 表示专家级势（专家 $i$ 是否广泛可合并？）。这是现有成对方法唯一捕获的组成部分。
• 旋度（$b_{\text{curl}}$）： 表示围绕三角形的相干循环（三角形边界修正）。
• 调和（$b_{\text{harm}}$）： 不可约残留。它位于 $L_1$ 的核中，表示无法通过任何顶点势或三角形边界组合解释的合并障碍。该分量捕获了“不可约循环”障碍。

3. 选择目标

HodgeCover 通过贪婪地最大化覆盖最关键拓扑特征的次模目标 $\Phi(S)$ 来选择大小为 $k$ 的幸存者集 $S$：
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• 显著性： 标准的每专家得分（源自 REAP 改编）。
• 调和边覆盖： 覆盖调和质量（$|b_{\text{harm}, e}|$）最高的前 $p\%$ 条边。
• 三元组 - 三角形覆盖： 覆盖联合合并障碍最高的前 $q_T\%$ 个三角形。
• 路由器重定向： 非幸存者被重定向到最近的幸存者，如果路径涉及携带显著调和质量的边，则施加惩罚，以防止重新引入该障碍。

4. 混合变体（HodgeCover+Wanda）

为了实现激进压缩，作者将 HodgeCover（阶段 1：专家数量减少）与Wanda（阶段 2：非结构化权重剪枝）结合应用于幸存专家。这在单个无学习流程中组合了两个正交的压缩轴。

主要贡献

1. 高阶障碍的识别： 本文正式定义了单纯形可合并性复形，并证明霍奇分解的调和分量是捕获成对方法所遗漏的不可约可合并性循环的唯一线性代数对象。
2. 非平凡性的实证验证： 对三个生产级 MoE 系列（OLMoE、Qwen 3.5-35B、Qwen 3.5-122B）的诊断显示，调和能量分数是非平凡的（占每层障碍能量的 29–62%），证实该障碍是学习到的 MoE 的重要结构属性。
3. HodgeCover 算法： 一种实用的无学习选择目标，贪婪地覆盖调和关键边和三元组关键三角形，通过次模优化实现 $(1 - 1/e)$ 近似保证。
4. 最先进的性能： 混合 HodgeCover+Wanda 方法在激进压缩范围（66% 专家减少）内，与现有基线相比，实现了最佳的困惑度和下游准确率。

实验结果

该方法在三个开源稀疏 MoE 骨干网络上进行了评估，压缩率分别为 33% 和 66%：

• OLMoE-1B-7B（每层 64 个专家）
• Qwen 3.5-35B-A3B（每层 256 个专家）
• Qwen 3.5-122B-A10B（每层 256 个专家）

主要发现：

• 激进压缩（66%）： HodgeCover+Wanda 始终优于最强的基线（STUN+Wanda）。在 66% 压缩率下的 Qwen 3.5-35B 上，它将下游任务平均（DS-Avg）提高了12.6 个百分点（74.6% 对比 62.0%），这主要由 GSM8K 的增益驱动（85.5% 对比 22.1%）。
• 困惑度： 它在每个模型/速率单元上实现了最佳的 C4 困惑度，并在 66% 压缩率下实现了最佳的 WikiText 困惑度。
• 消融研究：
  • 移除霍奇分解（替换为软三元组惩罚）导致 Qwen 3.5-35B 在 66% 压缩率下的 DS-Avg 损失**-5.74 个百分点**。
  • 完全移除三角形项导致损失**-11.5 个百分点**。
  • 使用二元三元组否决（硬约束）导致**-30.5 个百分点**的崩溃，突显了基于覆盖的软公式的必要性。
• 机制分析： 与其他在保留调和质量与旋度/三元组质量之间进行权衡（或反之）的方法不同，HodgeCover 保持了所有四个霍奇分量（调和、梯度、旋度、三元组障碍）的平衡保留，紧密匹配原始模型压缩前的分解。

意义与主张

本文声称，揭示学习到的 MoE 结构的调和核从根本上改变了压缩的格局。通过超越成对信号以解决高阶拓扑障碍，HodgeCover 开启了一个新的激进、无学习压缩前沿，在先前方法失败的地方保留了模型能力。

作者强调，这种方法：

• 无需重新训练： 它完全在小型校准语料库上运行，无需微调、知识蒸馏或 LoRA。
• 具有结构动机： 它将可合并性景观视为拓扑对象，而非简单的排序问题。
• 平衡保留： 它独特地平衡了所有霍奇分量上的质量保留，避免了仅优化成对或三元组之和的方法所引入的结构偏差。

这项工作将调和核不仅定位为诊断工具，而且定位为大规模模型中选择参数的实用工程标准。