Beyond Binary Priorities: Multi-Tier SLA Scheduling for Large Language Model Serving

現代の人工知能の世界において、大規模言語モデルはテキスト、コード、そしてアイデアを生成する強力なエンジンとして機能しています。しかし、これらのエンジンを動かすことは、単にスイッチをオン・オフにするような単純な作業ではありません。ユーザーがリクエストを送信すると、システムはまず入力を処理し、それから一語ずつ応答を生成しなければなりません。このプロセスは予測不可能です。短い質問は一瞬で終わることもあれば、複雑な分析は数分間に及び、その過程で膨大なコンピュータメモリを消費することもあります。これらのリクエストは突発的なバーストとして到着し、長さも極端に異なるため、それらを支えるインフラストラクチャはしばしば対応に苦慮します。もしシステムがすべてのリクエストを全く同じように扱ってしまうと、巨大で低速なタスクが列を塞いでしまい、緊急かつ単純な質問が待ち続けすぎる事態を招きます。これが人工知能をサービングする際の中心的な課題です。すなわち、いかにして混沌とした仕事の流れを管理し、高価なコンピューティングパワーを無駄にすることなく、重要なタスクに即座に注意を向けるかということです。

UCバークレーの研究者たちは、AIシステムの仕事の優先順位付けの方法を再構築することで、この問題に取り組んできました。彼らは、負荷を分散させボトルネックを防ぐためにタスクを異なるコンピュータサーバー間で移動させるよう設計された、Llumnixと呼ばれる以前のシステムを基にしました。このシステムのオリジナル版は効果的ではありましたが限定的であり、緊急事項のための「高優先度」と、それ以外のすべてに対する「通常優先度」という、わずか2段階の重要度しか提供していませんでした。この二値的な選択は、現実世界のビジネスにとってはあまりに大雑把すぎました。なぜなら、多くの企業は、プラチナ、ゴールド、シルバー、フリーユーザーといった、それぞれ異なる速度保証を持つ5つ以上のサービス層を区別する必要があるからです。研究者たちは、すべてのユーザーに対して公平であり、かつマシンにとって効率的なシステムを作るためには、適切な優先度レベルの数はいくつか、という根本的な問いを投げかけました。

答えを見つけ出すために、チームは大規模なAIデータセンターの精巧なシミュレーションを作成しました。彼らは物理的なハードウェア上でこれを実行したわけではありません。物理的なテストを行うにはコストがかかりすぎるため、代わりに、実際のコンピュータチップの挙動を模倣した高忠実度のデジタルモデルを使用しました。この仮想環境の中で、彼らは優先度システムを拡張し、1段階から10段階までの異なる重要度レベルをサポートできるようにしました。また、各優先度レベルに特定の「呼吸空間（breathing room）」を与えるという、新しいメモリ管理手法も導入しました。これにより、各レベルが仕事を完了するために押し出されることなく進められるようにしました。この呼吸空間は平等に分配されるのではなく、優先度が下がるにつれて指数関数的に縮小するように設計されており、最も重要なタスクが常に必要なスペースを確保できる一方で、緊急性の低いタスクがその隙間を埋める仕組みになっています。

チームは、既存のいくつかの手法と比較するために、この新しいシステムをテストし、異なる条件下で数千のリクエストをシミュレートしました。彼らはユーザーの構成を変化させ、高優先度のリクエストが稀な場合、一般的な場合、あるいは均等に分布している場合などのシナリオを作成し、さらに総作業量を調整して、負荷が軽い状態とほぼ満杯の状態の両方でシステムがどのように振る舞うかを確認しました。結果は明確な「スイートスポット」を示しました。システムは技術的には最大10段階の優先レベルを処理できますが、4つ以上のティア（階層）を追加してもパフォーマンスは向上しませんでした。実際、4つのレベルを超えると、システムは効率を失い始めました。あまりに多くの異なるカテゴリーを管理するという余分な複雑さが、節約できるリソースよりも多くのリソースを消費し始め、タスクを分離することによるメリットが薄れてしまったのです。

最適な構成は、4つの優先ティアであることが判明しました。シミュレーションにおいて、このセットアップにより、システム全体のパフォーマンスにおいて大幅な速度向上が達成されました。エンドツーエンドのP99レイテンシ（遅延）は、標準的な手法と比較して最大3.13倍改善し、レイテンシあたりの総コストは最大68パーセント低下しました。システムは、重要なユーザーに専用のレーンを与えることで彼らを満足させつつ、残りのスペースで重要度の低いバックグラウンド作業も効率的に進行させることができました。このバランスにより、一つの低速なタスクが高速な他のタスク全体の列を止めてしまう「コンボイ効果（隊列現象）」を防ぎ、タスクをサーバー間で動的に移動させることで、全員をスムーズに動かし続けました。

研究者たちはまた、きめ細かな優先順位付けの恩恵は、システムがどれほど混雑しているかに大きく依存することも発見しました。データセンターが中程度の負荷であるとき、タスクを異なるレーンに分離する能力は素晴らしく機能し、高優先度のリクエストが通過する一方で、優先度の低いものは待機することができます。しかし、すべてのサーバーが最大容量で稼働しているような、システムが完全に飽和状態にあるときには、多くの優先レベルを持つ利点は減少します。そのような極限状態では、システムがあまりに満杯であるため、タスクを移動させるための余分なスペースが存在せず、ティア間の区別は効果を失います。このことは、4ティアモデルがほとんどの状況において理想的な設計である一方で、負荷が管理不能になる前に自動的にサーバーを追加できるシステムと組み合わせて使用するのが最適であることを示唆しています。

結局のところ、この研究はAIインフラストラクチャの未来に向けた実用的なブループリントを提供しています。それは、単純な4段階の階層構造があれば、リアルタイムのやり取りからバックグラウンドのバッチ処理に至るまで、幅広いユーザーニーズを捉えるのに十分であることを証明しています。厳格な2段階のシステムから脱却し、ティアを増やしすぎて設計を複雑化させる罠を避けることで、エンジニアはより高速でコスト効率の高いAIサービスを構築できます。この研究は、人工知能の予測不可能な性質に対処するための鍵は、システムをより複雑にすることではなく、システムが「呼吸」することを可能にする精密な組織化のレベルを見つけ出すことにあると結論付けています。