HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference

巨大で複雑なパズルを解こうとしているところを想像してみてください。しかし、そのピースは近所のさまざまな家に散らばっています。ある家には超高速のコンピュータがあり、別の家には低速なものがあります。また、ある家は光ファイバーによる超高速の通信でつながれている一方で、別の家はデコボコした遅い未舗装路でつながれています。人工知能の世界では、大規模な「Mixture-of-Experts（混合エキスパート：MoE）」モデルを実行しようとするとき、まさにこのようなことが起こります。これらは巨大なAIの脳ですが、すべての質問に対して自分自身のすべての部分を使うわけではありません。代わりに、問題を解決するために特定の「エキスパート」となる数少ない部分だけを呼び覚まします。課題は、どのエキスパートを呼び覚まし、答えが渋滞に巻き込まれたり精度を失ったりすることなく戻ってくるように、どこに質問を送るべきかを判断することです。もし単に一番近い家に質問を送ってしまうと、その家のコンピュータが疲れていたり、ハードドライブがいっぱいだったりして、動作が遅くなるかもしれません。もし遠くへ送れば、遅い道路で交通渋滞に巻き込まれるかもしれません。科学者たちは、この質問のルーティング（経路指定）を行う完璧な方法を見つけようとしてきましたが、これまでの手法の多くは、一度に一台の車しか見ていなかったり、道路の速度や中のコンピュータの状態を無視して、単に家との距離だけを気にしたりする交通整理員のようなものでした。

この論文は、HetRouteと呼ばれる、よりスマートな新しいシステムを紹介しています。HetRouteは、単に一つの家や一つの道を見るだけでなく、一つのパズルのピースに対する「ルート全体」を一度に見る、非常に整理された配送サービスのようなものです。それは、家と家の間の道路の速さ、コンピュータ内部の性能、コンピュータが現在忙しいかどうか（行列ができているかどうか）、さらにはスペースを節約するためにパズルのピースの「圧縮」版を使用しているかどうか（それによって答えがわずかに完璧ではなくなる可能性がある）など、あらゆることを考慮します。HetRouteは、個々のエキスパートに対して別々に決定を下すのではなく、一つの質問に対して必要なエキスлоート・グループ全体の統一された計画を作成します。このようにすることで、HetRouteはAIの回答を平均で最大**59.0%速く到着させ、最悪のケースにおける遅延を58.0%減少させることに成功しました。また、データが家から家へと移動する量を72.1%**削減しながら、回答の品質をオリジナルの非圧縮バージョンとほぼ同等のレベルに維持しています。

問題点：迷子になる「スマート」なAI

なぜHetRouteが重要なのかを理解するために、まず「Mixture-of-Experts（MoE）」モデルについて理解する必要があります。あらゆるトピックに関する「専門書」が詰まった巨大な図書館を想像してください。質問を投げかけると、図書館はすべての本を読むわけではありません。関連性の高い上位数冊の本（「Top-k」エキスパート）だけを取り出します。これは、料理について聞いているときに料理の本を読む時間を無駄にしないため、効率的です。

しかし、現実の世界では、これらの図書館は多くの場合、異なる場所（例えばあなたの近くのエッジサーバー）にある多くのサーバー（コンピュータ）に分散されています。質問が入ってくると、必要な「Top-k」エキスパートが3つの異なるサーバーに散らばっていることがあります。これまでの扱い方は、友人に3つの異なる家まで走って行って3冊の本を取ってきてもらうようなものでした。もし友人がまず一番近い家へ走ったとしても、そこで本が地下室（低速なCPU）に保管されており、鍵を待たなければならないことに気づくかもしれません。あるいは、遠くの家まで走った結果、そこには本が高速な棚（高速なGPUメモリ）にあるものの、そこに至る道が渋滞しているということもあり得ます。

従来の手法は、以下のいずれかの方法でこれを解決しようとしていました：

1. ローカルに留まる： たとえそのサーバーが低速であったり混雑していたりしても、常に最も近いサーバーにあるエキスパートを使おうとする。
2. 強欲な選択（Greedy Selection）： 各エキスパートに対して個別に「最適な」サーバーを選びますが、あるエキスパートのために最適なものを選ぶことが、別のエキスパートをひどい経路に追い込み、グループ全体の速度を低下させてしまうことに気づきません。

この論文は、これらの従来の手法が欠陥を持っていると主張しています。なぜなら、それらはエキスパートを独立した旅行者として扱っているからです。実際には、彼らは一つのチームなのです。もし一人のチームメンバーが遅ければ、チーム全体が遅くなります。

解決策：HetRouteの「チームキャプテン」

HetRouteは、誰かがスタートラインを離れる前に、ミッション全体の計画を立てるbrilliantなチームキャプテンのように振る舞います。それは「統合コストモデル」を使用しており、これは、簡単に言えば、以下の4つの要素を同時に加重評価する単一のスコアカードを持っていることを意味します：

1. 伝送コスト（Transmission Cost）： インターネット経由でサーバーに質問を送信するのにかかる時間。
2. ロードコスト（Loading Cost）： エキスパートがまだそこに存在しない場合に、低速なハードドライブ（CPU）から高速なメモリバンク（GPU）へ移動させるのにかかる時間。
3. 計算とキューイング（Computation & Queueing）： サーバーが考える速さと、質問が他の質問の後ろで待機しなければならない時間。
4. 品質ペナルティ（Quality Penalty）： スペースを節約するためにサーバーがエキスパートの「圧縮」版を使用した場合、回答の質がどの程度低下するか。

HetRouteは、オフラインとオンラインの2つのステージで動作します。

オフライン・ステージ（地図作成者）：
質問が行われる前に、HetRouteはネットワークを調べ、どこにエキスパートのコピーを配置するかを決定します。それは単に最も近いサーバーに置くということではありません。「もしこのエキスパートのコピーをサーバーBに置いたら、後で時間を節約できるだろうか？」と問いかけます。また、どのエキスパートを高速な「GPU」メモリに置き、どのエキスパートを低速な「CPU」メモリに置いておくべきかも決定します。決定的なのは、「冗長な」コピーを作成することです。車のスペアタイヤを持つように、Het-Routeは人気のあるエキスパートの追加コピーを異なるサーバーに配置します。これにより、もし一つのサーバーが混雑したり故障したりしても、チームキャプテンには他の選択肢が残されます。

オンライン・ステージ（リアルタイム・ナビゲーター）：
実際の質問が届くと、HetRouteは単に最も近いサーバーを選びません。その質問に必要なエキスパートのグループ全体を見渡します。「もしエキスパートAをサーバーXに送り、エキスパートBをサーバーYに送ったら、合計時間はどうなるか？」と計算します。そして「ボトルネック（最も遅い部分）」を算出します。もしサーバーXは速いが、サーバーYが渋滞に巻き込まれている場合、HetRouteは、たとえサーバーZが少し遠かったとしても、チーム全体がより早く完了できるのであれば、両方のエキスパートをサーバーZに送るという決定を下すかもしれません。

また、HetRouteは「ビームサーチ（Beam Search）」（いくつかの最善の経路を一度に照らし出す懐中電灯のようなもの）と呼ばれる巧妙なテクニックを使用して、可能性の迷路に迷い込むことなく、サーバーの完璧な組み合わせを見つけ出します。

結果：より速く、より賢く、より安全に

著者らは、速度や接続状況が異なる10台のエッジサーバーからなるシミュレーションネットワーク上で、HetRouteをテストしました。性能を確認するために、3つの異なる大規模AIモデルを使用しました。

結果は目覚ましいものでした：

• 速度： HetRouteは、既存の最高の手法と比較して、回答を得るのにかかる平均時間を**59.0%短縮しました。また、「テールレイテンシ（最悪のケースの遅延）」を58.0%**削減しました。
• トラフィック： サーバー間を移動するデータ量を**72.1%**削減しました。これは、インターネット経由でデータを送ることが遅く、かつ高価であるため、非常に大きな成果です。
• スループット： このシステムは、他の手法よりも2.13倍多くの質問を毎秒処理することができました。
• 品質： 高速化を実現したにもかかわらず、回答の品質は非常に高いレベルを維持しました。「品質低下（回答がどれほど悪くなったか）」は、事前に設定された**2%**という極めて小さな予算内に収まりました。

また、論文は彼らのシステムが数学的に「品質安全（Quality-safe）」であることを証明しています。たとえネットワークが非常に混雑し、通常の高速経路がブロックされたとしても、HetRouteには「フォールバック（代替）」プランがあります。それは、常に「フル精度（Full-precision）」のエキスパート（最高品質のバージョン）が存在することを保証する場所へ質問をルーティングするため、たとえ時間がかかったとしても、回答の質が悪くなることはありません。

なぜこれが重要なのか

この論文は、速度と品質、あるいはローカルコンピューティングとリモートコンピューティングのどちらか一方を選ぶ必要はないということを示しています。AIのエキスパートを個々のランナーとしてではなく、調整された一つのチームとして扱うことで、そしてリアルタイムの交通量やコンピュータの状態に基づいてルート全体を計画することで、ネットワークの「エッジ」（あなたのスマートフォンやローカルサーバーなど）でも強力なAIをスムーズに実行できるのです。Het-Routeは、AIの未来が単にモデルを大きくすることではなく、それらをどのように動かすかについてより賢くなることにあることを示唆しています。それは、混沌とした交通渋滞のネットワークを、すべてのエキスパートが仕事を最も早く完了させるためにどこへ行くべきかを正確に知っている、よく整備された機械へと変えるのです。