MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs
MoE-Prismは、モノリシックなエキスパートを細粒度なサブエキスパートへと分解し、を意識したランタイムを実装することで、Mixture-of-Experts（MoE）サービングにおけるリクエストレベルの計算弾力性を可能にする、モデルとシステムの共同設計フレームワークであり、それによってヘテロジニアスなワークロードに対するスループットを大幅に向上させ、レイテンシを低減します。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、巨大なデジタル脳である「大規模言語モデル（LLM）」によって書かれた本が集まる、巨大で超スマートな図書館を運営しています。これらの脳は日々大きくなり、賢くなっていますが、同時に電気とコンピューターのパワーを猛烈に欲しがります。これらをより速く、より安価に動かすために、科学者たちは「Mixture-of-Experts（混合専門家、MoE）」という巧妙なトリックを発明しました。MoEモデルを、一つの巨大な脳ではなく、多くの小さな専門家（エキスパート）のチームとして考えてみてください。質問を受けると、システムはチーム全員を呼び起こすのではなく、そのトピックに最も適した少数の専門家だけを呼び出します。これは、図書館全体をあなたのデスクまで引きずるのではなく、司書に「SFセクション」から本だけを持ってくるよう頼むようなものです。
しかし、一つ問題があります。現在、これらのシステムは少し硬直的です。あなたが「今日の天気は？」という単純な質問をしていようが、「この50ページの法的契約書を分析して」という複雑な質問をしていようが、システムはしばしば全く同じ数の専門家を呼び起こしてしまいます。これは、たった一枚の絵を飾るために建設作業員全員を雇ったり、超高層ビルを建てるのにインターン一人を派遣したりするようなものです。簡単なタスクにはエネルギーを使いすぎ、難しいタスクにはパワーが足りなくなる。ここで研究者たちが投げかけている大きな疑問は、「AIのチームをもっと柔軟にし、仕事の難易度に応じて呼び出す専門家の数を増減させることが、スピードと効率性を維持したまま実現できるか？」ということです。
これこそが、MOE-PRISMの開発者たちが解決しようとした課題です。彼らは、専門家の数を「ダイヤルで調整する」というアイデアは素晴らしいものの、現在の技術ではそれをスムーズに行うにはあまりに無骨であることを理解していました。既存のシステムは、各専門家を巨大で分割不可能な「レンガ」のように扱っており、半分だけのレンガを使うことはできません。もし少しだけパワーを減らしたいと思っても、専門家を丸ごと一人分取り除く必要があり、それが回答の質を大きく損なってしまうのです。さらに、システムが一度に多くのリクエストを処理しようとする際（忙しい図書館のような場合）、それらを一つの塊として扱い、全員に対して「最大設定」を使用してしまうため、簡単なリクエストに対してもエネルギーを浪費してしまいます。
この問題を解決するために、彼らはMOE-PRISMという新しいフレームワークを構築しました。彼らは、「モデル（脳そのもの）」と「システム（図書館の管理者）」という二つの側面からアプローチしました。
まず、モデル側において、彼らはあの巨大な「専門家のレンガ」を、より小さく細かい破片へと分解する方法を編み出しました。巨大なチーズのブロックを、たくさんの小さなキューブにスライスすることを想像してみてください。彼らは、AIの内部にあるニューロン（エキスパート内部の微細な処理ユニット）が、作業中にどのように「点灯」するかを観察することでこれを行いました。彼らは、特定のタスクに対しては、これらのニューロンの特定のサブセットだけが実際に重要になることに気づきました。そこで、彼らは専門家をより小さな「サブ・エキスパート」へとスライスし、これらの重要なニューロンをグループ化しました。これにより、システムは12個か13個の丸ごとの専門家を選ぶことを強制されるのではなく、例えば「12.5個のサブ・エキスパート」を選択できるようになりました。これにより、AI全体をゼロから再学習させることなく、計算パワーの使用量を制御するための、より滑らかな「ダイヤル」を手に入れたのです。
次に、システム側において、彼らはよりスマートな「図書館のマネージャー」を作成しました。すべてのリクエストを単一の大きな山として投げ込み、全員に最高設定を適用するのではなく、この新しいマネージャーは、必要なパワー量が似ているリクエスト同士をグループ化します。簡単な質問がたくさん来た場合は、それらを低電力設定でまとめて処理します。難しい質問がたくさん来た場合は、それら専用の高電力グループを作ります。これにより、バッチサイズを維持するために簡単なタスクに過剰なサービスを提供してエネルギーを無駄にすることを防ぎます。また、彼らはコンピューターグラフィックス（CUDAグラフ）を効率的に扱うための特別な「交通管制官」も構築し、多様な設定が存在してもメモリの問題でシステムが停滞しないようにしました。
彼らが3つの有名なAIモデルでMOE-PRISMをテストしたところ、結果は有望なものでした。より細かい粒度のエキスパートとスマートなスケジューリングを使用することで、利用可能な「パワー設定」の数を4倍に増やせることを発見しました。テストの結果、オフラインタスクにおけるスループット（処理能力）が33.9%向上しました。速度が極めて重要なオンラインタスクにおいては、混合されたワークロードにおける「最初のトークン生成までの時間（Time-to-First-Token）」を短縮しました。
この論文は、このアプローチが単にお金（電気代）を節約するだけでなく、AIをより適応可能なものにすると示唆しています。これは、AIの内部構造を「リファクタリング（再構成）」し、作業のスケジュールを「再考」することで、難しいタスクには計算パワーを伸ばし、簡単なタスクには縮めることができる、弾力性のある（エラスティックな）単一のAIモデルが、コストや速度を犠牲にすることなく実現可能であることを証明しています。現在のテストは2枚のグラフィックカードを用いた特定のセットアップで行われましたが、その結果は、AIの内部構造を組み替え、作業のスケジューリングを再考することが、現実世界におけるより効率的で柔軟なAIへの大きな一歩となることを示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。