Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
本論文は、不正確な予測に依存することなく、自己均衡型スケジューラを用いて並行リクエストをインターリーブすることで、エキスパートのフェッチと計算をオーバーラップさせ、従来のプリフェッチ手法を凌駕するMoE推論システムであるBevyを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
個人のコンピューターが奏でる静かな唸りの中で、新しい種類の知性が根を下ろそうとしています。現代のチャットボットや執筆アシスタントの背後にあるエンジンである大規模言語モデルは、巨大なデータセンターから、デスクトップやワークステーションのようなローカルマシンへと、ますます移行しています。このシフトにより、ユーザーはインターネットに依存せずにこれらの強力なツールを実行できるようになりますが、同時に物理的な制約も導入されます。それは、コンピューターのメモリが限られているということです。これらのモデルを収めるために、研究者たちは「混合エキスパート（mixture of experts）」と呼ばれる手法を用いています。膨大な知識の図書館を想像してみてください。あらゆる質問に対して、特定の数冊の本だけが棚から取り出されて読まれ、残りの本には一切触れられないという仕組みです。これにより、作業は高速かつ効率的に保たれます。しかし、個人のデバイス上では、一度に必要とされる「数冊の本」でさえ、コンピューターのアクティブメモリにすべて収まらないことがあります。コンピューターが必要な本を見つけられなかったとき、思考を一時停止して、より低速なストレージドライブからそれを取ってくる必要があり、その間、プロセッサーはアイドル状態（待機状態）になり、待ちぼうけを食らってしまいます。
長年、この「待ち時間」というゲームに対する標準的な解決策は、予測でした。システムは次にどの本が必要になるかを推測し、プロセッサーが現在のタスクに取り組んでいる間に、それらを事前に取っておこうとします。これは、あなたが一つの章を読んでいる間に、司書が次の章を静かに棚から引き出し、ページをめくったときにすぐに読めるように準備しておくようなものです。しかし、ソウル大学とイェール大学の研究チームは、コンピューターがすでに少量の本のキャッシュをアクティブメモリ内に保持している場合、この戦略がしばしば失敗することを発見しました。そのキャッシュが最も有用な本で満たされるにつれて、司書の推測の精度は低下し、決して開かれることのない本をフェッチ（取得）するために、時間と帯域幅を浪費してしまうのです。将来を予測しようとする代わりに、研究者たちはもっと優れた方法を見つけました。それは、単に作業を異なる順序で行わせることです。異なるリクエストがそれぞれのペースで進むことを許可することで、システムは推測することなく、次に何が必要であるかを正確に明らかにし、アイドル状態の待ち時間を生産的な作業へと変えることができるのです。
ホンスン・ユとキュンハン・リーに率いられた研究チームは、このアイデアを検証するために「Bevy」と呼ばれる新しいシステムを構築しました。彼らは、複数のリクエストが同時にモデルに送られる場合（例えば、あるユーザーがコードレビューを求めている一方で、別のソフトウェアの一部がメールのチェックを行っている場合など）、それらのリクエストがすべて同時に同じ本を必要とするわけではないことを観察しました。従来のシステムでは、コンピューターはすべてのリクエストが必要な本を集め終えるまで、どのリクエストに対しても次のステップを開始せずに待ちます。これがボトルネックとなり、ストレージドライブが動作している間、プロセッサーは静止したままになります。Bevyはこのリズムを変えます。必要な本がすべて揃ったリクエストが即座に次のステップへ進むことを許可する一方で、他のリクエストには不足している本の到着を待たせます。準備ができたリクエストが前進するにつれて、そのリクエストは次のステップでどの本を必要とするかを正確に明らかにします。システムは、プロセッサーが準備できたリクエストの処理に忙しくしている間に、それらの特定の書籍をフェッチします。これにより、ストレージドライブとプロセッサーが同時に働いている、シームレスなオーバーラップ（重なり）が生まれます。しかも、予測を必要とすることなくです。
これをスムーズに機能させる鍵は、リクエストをどのようにグループ化するかを決定する「自己均衡型スケジューラ」です。もしシステムが単純にすべてのリクエストを単独で走らせてしまったら、プロセッサーは各リクエストに対して同じ共有の本を何度も何度もメモリから読み込まなければならず、すべてが遅くなってしまいます。逆に、すべてのリクエストをあまりにも硬直的にまとめてしまったら、速いリクエストを先に進めるというメリットが失われてしまいます。Bevyは、レイヤーごとにリクエストを動的にグループ化することで、この問題を解決します。もし多くのリクエストが同時に準備できているなら、効率を最大化するためにそれらをまとめて処理します。もし他のリクエストが本を待っているために、準備ができているものがわずかであれば、それらを小さなグループとして先行させます。この柔軟性により、プロセッサーはグループが形成されるのを待ってアイドル状態になることがなく、ストレージドライブはリクエストが完了するのを待ってアイドル状態になることもありません。システムはリクエストの絶え間ない変化するニーズにリアルタイムで適応し、計算とフェッチが自然に並行して行われる流れを作り出します。
このアプローチの結果は、Appleのチップを使用しているプラットフォームと、128 GBのユニファイドメモリとSamsung 9100 PRO 2 TB SSDを搭載したNVIDIA Jetson AGX Thor Developer Kitを使用しているプラットフォームの、2つの異なるローカルコンピューティングプラットフォーム上で測定されました。研究者たちは、Bevyを、llama.cppのような人気ソフトウェアで使用されている標準的な手法や、利用可能な最も高度な予測ベースのシステムと比較しました。その結果、Bevyは一貫して他を圧倒していることがわかりました。変動する同時リクエスト数を用いたテストにおいて、Bevyは標準的な手法よりも最大3.46倍、最も高速な予測ベースのシステムよりも最大1.55倍多くの作業を毎秒実行しました。この向上は、コンピューターが多くのリクエストを同時に処理しなければならない場合に最も顕著でした。すでに大量の本のキャッシュがメモリ内にある、予測システムが精度の低下に苦しむ環境においても、Bevyは速度を維持しました。これは、Bevyが不要な本をフェッチして帯域を無駄にすることがなく、進行中のリクエストによって明示的に要求されたものだけをフェッチしていたためです。
また、この研究では、Bevyの上に予測を加えることでさらに効果が得られるかどうかも調査されました。研究者たちは、予測システムと新しいスケジューリング手法を組み合わせれば、両者がうまく機能すると期待して、これらを併用することを試みました。しかし、予測を追加しても価値はなく、時には処理を遅らせることさえあることが判明しました。なぜなら、Bevyは準備ができたリクエストのために必要な正確な本をフェッチすることにストレージのリンクをフル活用しているため、予測された本をフェッチするための余剰時間がないからです。さらに、システムが予測を行おうとしても、多くの場合、予測は外れ、決して使われることのない本のために帯域幅を浪費してしまいます。研究者たちは、この特定の環境においては、ローカルキャッシュがすでに多くのアイテムを保持しているため、予測を行うことは不要であるだけでなく、有害であると結論付けました。最も効率的な道は、リクエストが進むにつれて自らのニーズを明らかにさせ、計算しているかフェッチしているかにかかわらず、システムが常に何か有用なことを行っているようにスケジュールすることなのです。
この研究は、ローカルAIがいかに管理されるべきかについての根本的な転換を示唆しています。効率性は、必ずしも未来について賢くなろうとすることから生まれるのではなく、現在に対してより応答的であることから生まれるということを示しています。タスクがそれぞれのペースで進行することを許可し、意味があるときにのみグループ化することで、システムはローカルAIを長年悩ませてきたアイドル時間を排除します。研究結果は、複数のハードウェア構成にわたるスループットとタイミングの具体的な測定に基づいており、この新しいスケジューリング手法が現実世界の条件下でどのように機能するかという明確な姿を提供しています。研究者たちは、これがローカル推論のあらゆる問題を解決すると主張しているわけではありませんが、個人のデバイス上で大規模でメモリを大量に消費するモデルを実行するという特定の課題に対して、操作の順序を変えるだけで劇的な改善をもたらすことができることを実証しました。Bevyと名付けられたこのシステムは、作業の流れを再考することで、既存のハードウェアの潜在能力を最大限に引き出し、強力な知性をユーザーのデスク上でより速く、より応答性の高いものにするための実践的な例となっています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。