技術的サマリー：HodgeCover

問題定義

スパースなミクスチャー・オブ・エキスパート（MoE）層は、トークンを少数のエキスパートのサブセットにルーティングするため、大幅なパラメータの冗長性を生み出します。これは再学習なしで圧縮可能です。既存の学習不要な圧縮手法（REAP、REAM、STUN など）は、エキスパートをランク付けし統合するためにペアワイズ信号に依存しています。しかし、これらの手法は根本的な構造的盲点に苦しんでいます。3 つのエキスパートがペアワイズに互換性がある（A-B、B-C、C-A の間の統合障壁が低い）場合でも、それら 3 つをすべて統合すると高くて予測不可能な障壁が生じる不可約なサイクルを形成する可能性があることです。

ハイパーグラフのスペクトル切断やトリプレット損失ペナルティなど、トリプレット情報を活用しようとする現在の手法は、通常、これらの信号をペアの和の代理変数や二値の拒否（veto）に集約します。これらは、ペアワイズ互換性が一貫したグローバルな統合可能性に集約されない場合に生じる特定の位相的残留物を分離することに失敗しています。本論文は、この残留物を、MoE 層から構築された 2-複体上のシンプリシャル・ラプラシアン（simplicial Laplacian）の**調和核（harmonic kernel）**として特定します。

手法：HodgeCover

著者らは、この高次な障害を明示的にターゲットとする学習不要なエキスパート選択目的関数HodgeCoverを提案します。

1. 統合可能性複体（Mergeability Complex）

$n$個のエキスパートを持つ層に対して、著者らは抽象的なシンプリシャル 2-複体 $K = (V, E, T)$ を構築します：

• 頂点（$V$）： $n$個のエキスパート。
• 辺（$E$）： すべてのペアワイズ組み合わせ。これらは、元の層とエキスパート $i$ と $j$ が統合された層との間の KL 分散（統合障壁）として定義される信号 $b_{ij}$ を持ちます。
• 面（$T$）： 厳選された三角形（トリプレット）の集合。これらは、3 つのエキスパートを統合する場合に同様に定義される信号 $b_{ijk}$ を持ちます。

2. ホッジ分解

ペアワイズ障壁信号 $b \in C_1(K)$ は、1-ホッジ・ラプラシアン $L_1 = \partial_1^\top \partial_1 + \partial_2 \partial_2^\top$ を通じた離散ホッジ分解を用いて分解されます：
$$b = b_{\text{grad}} + b_{\text{curl}} + b_{\text{harm}}$$

• 勾配（$b_{\text{grad}}$）： エキスパートレベルのポテンシャルを表します（エキスパート $i$ は広義に統合可能か？）。これは既存のペアワイズ手法によって捉えられる唯一の成分です。
• 回転（$b_{\text{curl}}$）： 三角形周りの一貫したサイクル（三角形境界の補正）を表します。
• 調和（$b_{\text{harm}}$）： 不可約な残留物です。これは $L_1$ の核に属し、頂点ポテンシャルや三角形境界の任意の組み合わせでは説明できない統合障壁を表します。この成分は「不可約なサイクル」という障害を捉えます。

3. 選択目的関数

HodgeCover は、最も重要な位相的特徴を網羅するように、部分モジュラ目的関数 $\Phi(S)$ を貪欲に最大化することで、サイズ $k$ の生存者集合 $S$ を選択します：
$$\Phi(S) = \sum_{i \in S} \text{sal}(i) + \lambda_e \frac{|C_E(S)|}{|E^*|} + \lambda_t \frac{|C_T(S)|}{|T^*|}$$

• サリエンシー（Saliency）： 標準的なエキスパートごとのスコア（REAP から適応）。
• 調和エッジ網羅： 調和質量（$|b_{\text{harm}, e}|$）が最も高い上位 $p\%$ のエッジを網羅します。
• トリプレット三角形網羅： 結合統合障壁が最も高い上位 $q_T\%$ の三角形を網羅します。
• ルーターリダイレクト： 生存しなかったエキスパートは、最も近い生存者へリダイレクトされます。経路が重要な調和質量を運ぶエッジを含む場合、ペナルティが適用され、障害の再導入を防ぎます。

4. ハイブリッド変種（HodgeCover+Wanda）

攻撃的な圧縮を達成するために、著者らは、生存するエキスパート上で、HodgeCover（ステージ 1：エキスパート数の削減）とWanda（ステージ 2：非構造化重みプルーニング）を組み合わせます。これにより、単一の学習不要パイプライン内で、2 つの直交する圧縮軸が構成されます。

主要な貢献

1. 高次障害の特定： 本論文はシンプリシャル統合可能性複体を形式的に定義し、ホッジ分解の調和成分が、ペアワイズ手法が見逃す不可約な統合可能性サイクルを捉える唯一の線形代数的対象であることを証明します。
2. 非自明性の実証的検証： OLMoE、Qwen 3.5-35B、Qwen 3.5-122B という 3 つの生産用 MoE ファミリー全体での診断により、調和エネルギー割合が非自明である（層ごとの障壁エネルギーの 29〜62%）ことが示され、この障害が学習された MoE の重要な構造的性質であることが確認されました。
3. HodgeCover アルゴリズム： 調和クリティカルなエッジとトリプレットクリティカルな三角形を貪欲に網羅する実用的な学習不要な選択目的関数であり、部分モジュラ最適化を通じて $(1 - 1/e)$ の近似保証を実現します。
4. 最先端のパフォーマンス： ハイブリッドな HodgeCover+Wanda 手法は、既存のベースラインと比較して、攻撃的な圧縮領域（66% のエキスパート削減）において、最も優れたパープレキシティとダウンストリーム精度を達成します。

実験結果

この手法は、33% および 66% のエキスパート削減率において、3 つのオープンウェイトスパース MoE バックボーンで評価されました：

• OLMoE-1B-7B（層あたり 64 エキスパート）
• Qwen 3.5-35B-A3B（層あたり 256 エキスパート）
• Qwen 3.5-122B-A10B（層あたり 256 エキスパート）

主要な発見：

• 攻撃的な圧縮（66%）： HodgeCover+Wanda は、最も強力なベースライン（STUN+Wanda）を一貫して上回ります。Qwen 3.5-35B において 66% 削減の場合、ダウンストリームタスク平均（DS-Avg）が**+12.6 ポイント**（74.6% 対 62.0%）向上し、これは主に GSM8K での向上（85.5% 対 22.1%）に起因しています。
• パープレキシティ： すべてのモデル/レートセルにおいて C4 パープレキシティが最良であり、66% 削減時には WikiText パープレキシティも最良です。
• アブレーション研究：
  • ホッジ分解を除去し（ソフトトリプレットペナルティに置換）、Qwen 3.5-35B の 66% 圧縮において DS-Avg が**-5.74 ポイント**低下しました。
  • 三角形項を完全に除去すると、-11.5 ポイント低下しました。
  • 二値トリプレット拒否（ハード制約）を使用すると、-30.5 ポイントの崩壊が発生し、ソフトで網羅に基づく定式化の必要性が浮き彫りになりました。
• メカニズム分析： 調和質量の保持と回転/トリプレット質量の保持をトレードオフする他の手法とは異なり、HodgeCover は 4 つのホッジ成分（調和、勾配、回転、トリプレット障壁）の保持をバランスよく維持し、元のモデルの圧縮前の分解と密接に一致します。

意義と主張

本論文は、学習された MoE 構造の調和核を露呈させることが、圧縮の風景を根本的に変えると主張しています。ペアワイズ信号を超えて高次位相的障害に対処することで、HodgeCover は、以前の手法が失敗するモデル能力を保持したままの攻撃的かつ学習不要な圧縮という新たなフロンティアを可能にします。

著者らは、このアプローチが以下の点に重点を置いていることを強調しています：

• 再学習を不要とする： 微調整、知識蒸留、LoRA なく、少量の校正コーパスのみで動作します。
• 構造的動機に基づいている： 統合可能性の風景を、単純なランク付け問題ではなく、位相的対象として扱います。
• 保持のバランス： ペアワイズまたはトリプレットの和のみを最適化する手法が導入する構造的バイアスを避け、すべてのホッジ成分にわたる質量の保持を独自にバランスさせます。

この研究は、調和核を単なる診断ツールとしてではなく、大規模モデルのパラメータ選択のための実用的な工学基準として位置づけています。