💬 NLP

From Observation to Intervention: A Causal Audit of Expert Importance in Mixture-of-Experts Models

本論文は、3つのMixture-of-Expertsモデルに対するトークンレベルの介入的監査を通じて、一般的な観測的ルーティング指標が因果的なエキスパートの重要性を予測できないことを示し、既存のプルーニング手法が、不要なエキスパートを正確に特定しているのではなく、初期レイヤーの冗長性に起因して成功していることを明らかにしている。

原著者： Leonard Engmann, Christian Medeiros Adriano, Holger Giese

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Leonard Engmann, Christian Medeiros Adriano, Holger Giese

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、64人の異なるシェフ（「エキスパート」）が協力して一つの料理（モデルの出力）を作る、巨大でハイテクなキッチンを持っています。しかし、ある特定の瞬間において、実際に調理をしているのは数人のシェフだけで、残りのシェフは待機しています。これが、Mixture-of-Experts (MoE) AIモデルの仕組みです。

これらのモデルをより速く、より安価にするために、エンジニアはしばしば「役に立たない」シェフを解雇しようと試みます。彼らは、誰を残し、誰を辞めさせるかを決める方法を必要としています。

旧来の方法：観察による推測

現在、エンジニアは観客席からスポーツの試合を観戦しているような方法を用いています。彼らは統計を見ています：

「シェフAは今日、50回呼び出された。」（利用率）
「シェフBは、非常に高いエネルギーで調理した。」（活性化ノルム）
「ヘッドシェフは通常、シェフCを選ぶ。」（ルーティング・ウェイト）

これらの観察結果に基づき、彼らはこう仮定します。「もしシェフAが呼ばれることが少なく、調理も弱々しいのであれば、彼らは重要でない仕事をしているに違いない。彼を解雇しよう。」

この論文は、これが危険な飛躍であると主張しています。それは、あるプレイヤーが試合中にボールに触れなかったからといって、そのプレイヤーが重要ではなかったと決めつけるようなものです。もしかすると、彼らは完璧な勝利の瞬間を待っていただけかもしれません。論文は問いかけます。統計を観察することは、実際に彼らを排除しようとする際に、誰が重要であるかを知る手がかりになるのだろうか？

実験：「解雇して、確かめる」テスト

研究者たちは、推測するのをやめて、テストを開始することにしました。彼らは3つの異なるAIモデルを使用して、「因果的監査（causal audit）」（科学的実験）を設定しました。

単にシェフを観察するのではなく、彼らは**制御された介入（controlled intervention）**を行いました：

調理プロセスにおける特定の瞬間（特定の「トークン」または単語）を選んだ。
現在働いているシェフを特定した。
旧来の統計に基づいて「最も重要ではない」と見なされたシェフを沈黙させた（アブレーション/除去した）。
チェックした：料理の味は悪くなったか？（モデルの予測は変化したか？）

彼らはこれを何千回も繰り返し、「統計上の重要度が低い」シェフと「高い」シェフを比較しました。

結果：統計は間違っていた

結果は驚くべきものであり、明確でした。統計は失敗したのです。

無関係： ほとんどすべてのケースにおいて、「低統計」のシェフを解雇しても影響はありませんでした。モデルは気にしていませんでした。
「無効」の結果： 「低統計」のシェフを解雇することと、「高統計」のシェフを解雇することの差は極めて小さく、実質的にゼロでした。旧来の手法は「役に立たない」シェフを見つけていたのではなく、単にランダムにシェフを選んで解雇していただけでした。
なぜそれでも機能するのか（冗長性の秘密）： 論文は、これらのモデルが膨大な冗長性を持って構築されていることを説明しています。モデルの初期レイヤーでは、非常に多くのシェフが似たような作業を行っているため、誰を解雇してもキッチンは問題なく回り続けます。プルーニング（枝刈り）の手法が機能するのは、それが「正しい人」を特定する賢い方法だからではなく、キッチンがあまりにも過剰な人員配置であるため、ほぼどんな解雇戦略でも偶然うまくいってしまうからなのです。

たった一つの例外：「ライブ」のシグナル

一つの小さな例外がありました。特定のモデル（OLMoE）の、非常に最後のレイヤーにおいてのみ、研究者たちは一つのシグナルを発見しました。

落とし穴： このシグナルは、シェフが実際に働いているまさにその瞬間を見ている場合にのみ機能しました。
問題点： このシグナルは現実世界では役に立ちません。なぜなら、モデルを事前にプルーニング（削減）するために、誰を解雇すべきかを事前に知ることはできないからです。どのシェフが重要かを知るには、まず特定の材料（トークン）を見る必要があります。未来を見ることができない以上、この「完璧な」指標を事前にモデルを削るために使うことはできません。

大きな視点：観察 vs 介入

論文は、哲学者ジュデア・パールによる有名な概念を用いて、この間違いを説明しています：

第1段階（観察）： 「シェフAが調理することが少ないのを、私は見ている。」
第2段階（介入）： 「もし私がシェフAを解雇したら、料理は大丈夫だろう。」

論文は、この文脈において第1段階から第2段階へ飛び越えることは無効であることを示しています。単にパターンを「見た」からといって、それが「行動」に直結するわけではありません。

まとめ

主張： どのAIエキスパートを削除するかを決めるために「使用統計」を用いる一般的な手法は、科学的に証明されておらず、おそらく間違っている。
現実： これらのモデルがプルーニング後も機能するのは、統計が「役に立たない部分」を見つけるのが上手かったからではなく、モデルが非常に冗長であるため、ランダムに人を解雇しても壊れないようになっているからである。
教訓： モデルの中で起きていること（統計）を見ても、モデルを「変えた（介入した）」ときに何が起きるかを予測することはできない。私たちは、数字に基づいて推測するのではなく、変更を直接テストする必要がある。

技術要約：観察から介入へ

問題提起
機械学習における解釈可能性の手法は、頻繁に論理的な飛躍に依存している。すなわち、観測されたモデルの振る舞いに関する集団レベルの要約統計量を、標的を絞った介入の結果に対する有効な予測因子として扱うことである。Mixture-of-Experts（MoE）モデルの文脈において、これはプルーニング・パイプラインにおける現象として現れる。そこでは、エキスパートの利用率、活性化ノルム、ルーティング重みの分布といった観測的指標が、エキスパートを削除するためのランキングに使用される。ここには、「観測スコアが高いエキスパートはより重要な役割を果たしており、したがって、スコアの低いエキスパートを削除してもモデルの機能は低下しない」という暗黙の仮定が存在する。しかし、アテンションの重み（Jain & Wallace, 2019）やサリエンシーマップ（Adebayo et al., 2020）に関する先行研究で指摘されている通り、連合的な証拠（パールによる「第1段階」）は、必ずしも介入による結論（「第2段階」）を支持するものではない。本論文は、MoEモデルにおける観測的なルーティング統計が、実際にトークンレベルでの因果的なエキスパートの重要性を予測するかどうかを調査する。

手法
著者らは、3つの高冗長性MoEアーキテクチャ（OLMoE-1B-7B-0924、Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite）に対して「因果的監査（causal audit）」を実施した。これらのモデルは、異なるロードバランシング戦略、top-k活性化比率（6.7%–12.5%）、および学習パラダイム（スクラッチ学習 vs アップサイクル）を含む、多様な設計次元を網羅している。

監査プロトコルは以下の手順で行われる：

指標の選択: 4つの標準的な観測指標をテストする：利用率、活性化ノルム、活性化時の平均ルーティング重み、および活性化標準偏差。
介入による真値（Ground Truth）: 各指標について、トークンごとのアブレーション実験を行う。各レイヤーのサンプリングされた200個のトークン位置において、活性化しているエキスパートの集合を特定し、対象となる指標によってそれらをランク付けし、最も高いランクと最も低いランクのエキスパートをアブレーション（ゼロにする）する。
因果的測定: エキスパートの「機能的重要度」は、アブレーションによる損失の変化（ $\Delta L$ ）および残差ストリームの変位（ギャップノルム）によって測定される。
統計検定: ターゲットとなる高ランクのエキスパートをアブレーションすることが、低ランクのエキスパートをアブレーションする場合よりも有意に大きな損失変化を引き起こすかどうかを判断するために、対応のあるt検定およびウィルコクソンの符号付順位検定を用いる。効果量はCohen's $d$ を通じて測定される。
コントロール:
- 多重比較補正: テストされた60の指標-レイヤーの組み合わせ（4つの指標 $\times$ 5つのレイヤー $\times$ 3つのモデル）に対して、ボンフェローニ補正を適用する。
- ルーティング重みのコントロール: 並行して、トークンごとのルーティング重み（ $g_i(x_t)$ ）を直接ランキング基準として用いる実験を行う。これは、集団平均ではなくトークン条件付きであるため、予測信号の上限値として機能する。
- 漸進的アブレーション: OLMoEにおける実験では、 $k$ 個の最高重みエキスパートを削除し、初期レイヤーにおける冗長性のバッファを評価する。

主な結果
本研究は、観測的指標に関して「クリーンな3モデル・ヌル（null）」をもたらした：

予測力の欠如: 4つの観測指標のいずれも、60の指標-レイヤーのセルにおいて、ボンフェローニ補正後の有意水準（ $p < 0.0025$ ）に達しなかった。効果量はすべての組み合わせにおいてCohen's $d = 0.17$ を下回っていた。
不一致な符号: 効果の方向（正または負）は、同一の指標内であってもレイヤー間で一貫していなかった。これは、真の効果が弱いのではなく、ヌル分布に特徴的なパターンである。
ルーティング重みのコントロール: 直接的なトークンごとのルーティング重みを用いたコントロール実験では、OLMoEの最終MoEレイヤー（レイヤー15）において、単一のボンフェローニ有意な信号を回収した（ $d = +0.231, p = 0.0013$ ）。これは、実験セットアップ自体には信号を検出する十分な統計的検定力があるものの、集団レベルの統計においてはそのような信号が存在しないことを示している。
冗長性レジーム: OLMoEにおける漸進的アブレーションにより、初期レイヤー（0–9）では、活性化している8つのエキスパートのうち最大7つを削除しても、損失の変化は無視できる程度であることが明らかになった。これは、初期レイヤーの冗長性により、ほとんどの選択基準が互換性を持つことを裏付けている。つまり、プルーニングが成功するのは、指標が除去可能なエキスパートを特定しているからではなく、これらのレイヤーにおけるほぼすべてのエキスパートが除去可能であるためである。
OLMoEの後期レイヤーのアノマリー: OLMoLレイヤー15で見られた唯一の有意な信号は、初期レイヤーと比較して残差ストリームの変位が41倍増加していることと一致している。しかし、この信号はOLMoEに特有であり、QwenやDeepSeekには現れないため、高冗長性MoEの一般的な特性ではないことが示唆される。

意義と主張
本論文は、控えめながらも厳密な主張を行っている。すなわち、集団レベルの観測的要約からトークンレベルの介入的主張への一般的な推論ステップに対する、明示的な反例を提示していることである。

推論の失敗: 結果は、観測的なルーティング統計が、トークンレベルの介入的予測を許容しないことを示している。既存のプルーニング手法の成功は、指標がエキスパートを選択する妥当性によるものではなく、初期レイヤーの構造的冗長性に起因している。
因果の階層: 本研究は、パールの第1段階（連合）と第2段階（介入）の境界における失敗を例証している。アテンションの重みやサリエンシーマップが介入の結果を予測できなかったのと同様に、MoEのルーティング統計もまた、有効なプロキシ（代理指標）として機能しない。
範囲の制限: 著者らは、この監査がトークンレベルかつ単一のアブレーションに焦限于されていることを明確にしている。これは、展開されているプルーニング・パイプライン（多くの場合、ファインチューニングを伴う）を否定するものではないが、そのようなパイプラインが想定している「パー・トークン（トークンごと）」のメカニズム的根拠を取り除いている。知見は高冗長性アーキテクチャに特有のものであり、低冗長性モデル（例：Switch、Mixtral）における指標の妥当性は未解決の課題である。

結論として、本論文は、一般化を必要とする解釈可能性の主張は、介入的な証拠によって支持されなければならないと論じている。そして、MoEプルーニングの特定のケースにおいては、標準的な観測的プロキシはこのテストに失敗する。