想像してみてください。あなたは、パズルを解き、コードを書き、言語を翻訳するために作られた、巨大で超スマートなロボットの脳を持っています。この脳は、一つの巨大で重い金属の塊でできているのではなく、何百もの専門化されたワークステーションを備えた巨大な工場のようです。これが、チャットボットからコーディングアシスタントまで、あらゆるものを動かしているAIエンジン、**大規模言語モデル（LLM）の世界です。これらの脳を高速かつ効率的にするために、エンジニアは混合エキスパート（Mixture-of-Experts: MoE）**と呼ばれるトリックを使います。これは、工場のあらゆる部屋に256種類の異なる「エキスパート」がいる巨大なチームのようなものです。質問が入ってくると、スマートなマネージャー（「ルーター」と呼ばれます）が、その特定の問題を解決するために必要な数少ないエキスパートを決定し、残りのチームはコーヒーブレイクを取ります。これにより、実際に必要な作業員だけを呼び起こすため、ロボットは高速に動作します。

しかし、ここで大きな疑問が生じます。それらの作業員はすべて等しく重要なのでしょうか？もしスペースと電力を節約するために工場を縮小するとしたら、すべての部屋の作業員をランダムに30%解雇してもよいのでしょうか？それとも、何か秘密のパターンがあるのでしょうか？科学者たちは推測してきましたが、脳のどの部分が脆弱で、どの部分が頑丈であるかという明確な地図を持っていませんでした。これを理解することは重要です。なぜなら、これらのモデルは巨大化しており、もし不要な部分を安全に「プルーニング（剪定・除去）」できるなら、賢さを失うことなく、より安価なコンピュータでより速く実行でき、エネルギーと費用を節明できるからです。

---

大規模工場監査：誰を解雇できるのか？

この論文では、Persistent Systemsのチームが、Qwen3.6-35B-A3Bと呼ばれる特定の巨大なAIモデルに対して、「コードを切断する」というハイリスクなゲームを行うことにしました。このモデルは怪物です。40のレイヤー（工場のビルのフロアのようなもの）があり、各フロアには256のエキスパートがいます。モデルが単語を処理するたびに、作業を行うために上位8つのエキスパートを選びます。

研究者たちは、ある問いを探求しました。特定のレイヤーにおいて、モデルに「最も弱い」エキスパート（脳内の数値が最も小さいもの）を無視させるように強制した場合、モデルはクラッシュするのか、それとも動き続けるのか？彼らは、XLCoSTと呼ばれるベンチマークを用い、ある難しいタスク、つまりあるプログラミング言語から別の言語へ（例えばC++からPythonへ）コードを翻訳するというタスクでこれをテストしました。

発見：どこを切るかがすべてである

チームは、外科医が切開部位をテストするように、異なるパターンでエキスパートをカットする試みを行いました。彼らには主に3つの理論がありました。

1. 「フラット・カット（一律切断）」理論： すべてのフロアのあらゆる場所から、最も弱いエキスパートを30%カットする。
2. 「アーリー・カット（早期切断）」理論： 下層のフロアの方が重要なのだろうか？
3. 「レイト・カット（後期切断）」理論： 上層のフロアは、下層のフロアが既に行ったことを繰り返しているだけなのだろうか？

結果は、「フラット・カット」の考え方にとって完全な衝撃でした。
彼らがフラット・カット（40フロアすべてからエキスパートを30%削除）を試みたところ、モデルは基本的に仕事をすることを忘れました。300のコーディングパズルの中で、正解（または「良好/類似」）できたのはわずか150でした。モデルは幻覚（ハルシネーション）を起こし始め、内部の思考プロセスを最終的なコードの中に漏らし、構文エラーを引き起こしました。それは、基礎、中層オフィス、そして最上階のスタッフを一度に30%解雇したようなものでした。建物全体が揺らぎ始めたのです。

しかし、彼らは「魔法のゾーン」を見つけました。
研究者たちは、どのフロアにいるかによって、モデルの感受性が劇的に変化することを発見しました。

• フロア 0–9（基礎）： これらは非常に脆弱です。ここでエキスパートをカットすると、モデルは即座に壊れます。
• フロア 10–29（中間層）： これも非常に脆弱です。
• フロア 30–39（ペントハウス）： これらの最上層は驚くほどタフです！ここでのエキスパートは、多くの重複した仕事をしているようです。「ルーター（マネージャー）」はここではすでに混乱しており、信頼度の低いエキスパートを選択しています。これは、エキスパートが互いに置き換え可能であることを意味します。

勝利の戦略：「トップダウン・トリム」

チームは、完璧なトリミング・スケジュールを見つけるために、300のプロンプトを用いた大規模な実験を行いました。彼らは、カットを「上層フロア」にのみ集中させれば、モデルは健全に保たれることを発見しました。

• 「レイト・ランプ（後期漸増）」戦略： 彼らはフロア30–34でエキスパートを**35%カットし、最上層のフロア（35–39）では55%**をカットしました。
• 結果： 300のプロンプトのうち、この戦略によって255の出力が正しく機能し続けました！これはフラット・カットよりもはるかに優れており、1,100以上のエキスパートを削除しました。

しかし、彼らはそこで止まりませんでした。これが単なる幸運な偶然ではないことを確認するため、彼らは新しい未学習の500のプロンプトを用いて、自分たちのベストなアイデアをテストしました。ここから物語はさらに面白くなりました。

より大きなテストにおいて、「レイト・ランプ」も良好でしたが、より限定的な戦略が勝利を手にしました。

• 「ベリー・レイト・オンリー（極めて後期の限定）」戦略： 彼らは**最上層の5フロア（35–39）だけに手を付け、そこでエキスパートの50%**をカットしました。
• 結果： この小さな外科的打撃により、500の出力のうち419が完璧に機能し続けました！さらに素晴らしいことに、これによって削除されたエキスパートは、モデル全体の10,240個のうち、わずか640でした。

これは、研究者がモデルの「筋肉」のかなりの部分を最上部から取り除く方法を見つけ、モデルはそれにほとんど気づかなかったことを意味します。それは、スカイスクレイパーの最上層がほとんど装飾的なバルコニーであることに気づき、手すりの半分を取り除いても、建物は変わらずそびえ立っているようなものです。

サイドクエスト：「思考」対「回答」の謎

チームはまた、モデルが「考えている（問題を推論している）」時と、「答えている（最終的なコードを書いている）」時で、異なるエキスパートを使用しているかどうかを調べようとしました。彼らは、違いを見つけられるかどうかを確認するために、少し古いバージョンのモデル（Qwen3.5）を調査しました。
彼らは、「思考」フェーズの間、モデルは広く乱雑なエキスパートの群れを使用していることを発見しました。しかし、いざ「回答」する時になると、モデルはより集中し、より少ないエキスパートを使用します。これは、将来モデルをプルーニングしたい場合、たとえ見た目が弱そうに見えても、「思考」のエキスパートを削らないように注意する必要があることを示唆しています。ただし、著者らは、これは将来へのヒントに過ぎず、まだ証明されたルールではないという点に注意を促しています。

スピードについてはどうなのか？

彼らは別のトリックも試しました。エキスパートをカットする代わりに、通常の8つではなく、すべての単語に対して6つのエキスパートだけを選ぶようにモデルに指示しました。100のプロンプトを用いた小規模なテストでは、これにより品質を損なうことなく、モデルの実行時間（ウォークロック・タイム）が大幅に短縮されました。しかし、このスピードアップと、先ほどの積極的なエキスパート・カットを組み合わせようとしたところ、モデルは混乱してしまいました。これらのショートカットを、注意深くテストすることなく、単に積み重ねることはできないようです。

まとめ

この論文の主な教訓は、一様なプルーニングに対する明確な「やってはいけない」と、スマートなプルーニングに対する「すべきこと」です。

• やってはいけない： すべてのレイヤーから一律に30%のエキスパートをカットすること。これはモデルの思考能力を破壊します。
• すべきこと： カットを最上層のレイヤー（フロア35–39）に集中させること。モデルは、そこで半分程度のエキスパートを失うことに対して、驚くほど寛容です。

著者らは、彼らがまだコンピューターのメモリから重みを実際に削除したわけではない（単にルーターにそれらを無視するように指示しただけである）という点に注意しています。したがって、モデルはより小さく、より効率的に「振る舞い」ますが、ハードドライブ上の占有スペースは同じままです。彼らが将来の課題として提案している次のステップは、それらの使用されていないエキスパートを永久に削除して、実際のストレージ容量を節約するための「物理的な重みの外科手術」を実際に実行することです。

要約すると、研究者たちは、このAIモデルの「脳」には非常に特定の弱点があることを見つけました。すなわち、最上層は下層よりもはるかに冗長であるということです。最上部をトリミングすることで、モデルを壊すことなく、より小さく、より速く、より安価なAIモデルを構築できる可能性があります。