How Portable Are LLM-Serving Scheduler Rankings Across Workloads, Operating Regions, and Metrics?

現代のデジタル環境において、大規模言語モデルは、執筆アシスタントから複雑なコーディングツールに至るまで、多種多様なインテリジェント・アプリケーションを支えるエンジンとなっています。これらのシステムが数百万人ものユーザーに対して円滑に機能するためには、強力なグラフィックス・プロセッサが「脳」として機能する高度なサーバーファームに依存しています。しかし、これらのプロセッサは高価で限られたリソースです。数千人が同時にリクエストを送信すると、サーバーはどのリクエストを最初に処理すべきか、どのようにそれらをグループ化すべきか、そして一人のユーザーがシステムを停滞させ、他のユーザーを待たせることがないよう、どのようにメモリを管理すべきかを決定しなければなりません。この意思決定プロセスは、「スケジューラー」と呼ばれるソフトウェアによって処理されます。これは交通管制官のように振る舞い、すべてを効率的に動かし続けるためにデータの流れを絶えず再配置します。

長年、研究者たちは既存の手法よりも高速または公平な手法を提案し、新しいスケジューラーのあり方を提示してきました。しかし、それらの主張はほとんどの場合、非常に特定の条件下でのみテストされてきました。つまり、単一のタイプのユーザー・トラフィックを使用し、特定のレベルのサーバー負荷においてのみテストされ、成功をわずか一つの指標で測定していたのです。これは盲点を生み出します。静かで予測可能なリクエストの流れに対してテストした際に完璧に見えるスケジューラーが、突然の混沌とした活動の急増に直面した際に惨敗する可能性があるからです。根本的な問いは未解決のまま残されてきました。「あるデータセットにおいて最高であると宣言されたスケジューラーのランキングは、トラフィックが変化し、負荷がシフトし、あるいは成功の定義が変わったとしても、その地位を維持できるのか？」という問いです。

これに答えるため、ニュージャージー工科大学のある研究者が、「LLMサービング・スケジューラー・ポータビリティ・ベンチマーク」と呼ばれる厳格なテストを設計しました。この研究は、単一のスケジューラーが絶対的に最高であるかどうかを問うのではなく、より微妙な問い、すなわち「これらのスケジューラーのランキングはどの程度移植性（ポータビリティ）があるのか？」を問いました。言い換えれば、ユーザー・トラフィックの発生源を変えたり、負荷の強度を変えたり、あるいはパフォーマンスの測定方法を変えたりしたときに、最高および最悪のスケジューラーの順位は同じままなのか、それとも逆転してしまうのか、という問いです。研究者は、13種類の異なるスケジューリング戦略を、120個の明確に区別されたワークロード・ウィンドウからなる膨大な凍結データセットに対して実行するためのシミュレーションを構築しました。これらのウィンドウは、MicrosoftのAzureクラウド・トラフィック、AlibabaのBailian/Qwenプラットフォーム、およびBurstGPTとして知られるMicrosoft Azureのトレースの大規模なデータセットという、3つの独立したソースから抽出されました。システムは、軽微なトラフィックから深刻な過負荷に至るまでの6つの異なる運用領域にわたってテストされ、複数のパフォーマンス指標を用いて評価されました。

結果は、答えが単純な「イエス」か「ノー」ではないことを明らかにしました。ランキングは普遍的に安定しているわけでも、完全に混沌としているわけでもありません。それらは、どの特定の要因の組み合わせを見ているかに大きく依存します。異なるデータソース間で比較した際、研究はMicrosoft AzureとAlibabaのBailian/Qwenからのトラフィックがほぼ完全に一致していることを見出しました。もしあるスケジューラーがAzureで最高であれば、それはBailian/Qwenにおいてもほぼ確実に最高となります。しかし、3番目のソースであるBurstGPTは、異なる物語を語りました。BurstGPTを比較に含めると、一致度は大幅に低下し、相関係数は0.55まで落ち込みました。これは、Azureのようなトラフィックに対して検証されたスケジューラーが、BurstGPTのようなトラフィックに対して期待通りのパフォーマンスを発揮しない可能性があること、またその逆も同様であることを示唆しています。

また、本研究では、ランキングが実際に「逆転」する頻度についても調査しました。つまり、あるシナリオでは優れていたスケジューラーが、別のシナリオでは劣るようになる現象です。約1,000件の比較のうち、統計的に有意であり、かつ実務上意味のある大きさの逆転を示したのは、わずか3.6パーセントでした。これらの逆転はすべての条件に均等に分布しているわけではなく、特定の領域、特にシステムが高負荷の状態にあるときに集中していました。さらに、これらすべての有意な逆転には、同じ一対のスケジューリング戦略が含まれており、常に片側にBurstGPTのデータが存在していました。これは、この不安定性がシステム全般の欠陥ではなく、特定のスケジューリング・メカニズムと、その特定のトラフィック・ソース特有の特性との間の、特定の相互作用であることを示しています。

おそらく最も驚くべき発見は、パフォーマンスを判断するために使用される指標に関するものでした。研究者は、完了したリクエスト数などのある指標で最高ランクとなったスケジューラーが、速度や公平性といった他の指標でも最高ランクになるかどうかをテストしました。その結果、ランキングは指標が変わると驚くほど脆弱であることが判明しました。平均して、異なる指標間の合致度は中程度に留まり、68.1%のテスト条件下において、どの指標を使用するかによって「単一の最高性能のスケジューラー」が変化しました。これは、「最高のスケジューラー」という主張は、追求されている具体的な目標については沈黙していることが多い、ということを意味します。速度に最適化されたスケジューラーは、公平性の観点からは最悪の選択肢になる可能性があり、そのランキングはオペレーターが何を最も重視するかによって完全に決まるのです。

シミュレーションの結果が単なるコンピュータ・モデルの産物ではないことを確認するため、研究者はシミュレーションで見つかった最も劇的な逆転現象を選択し、標準的なグラフィックス・プロセッサを用いた実機の物理ハードウェア上でテストを行いました。シミュレーションは、あるトラフィックでは一方が勝ち、別のトラフィックでは負けるという、ランキングの入れ替わりを予測していました。実機ハードウェア上では、この特定の入れ替わりは発生せず、一方のスケジューラーが両方のケースで勝利しました。しかし、シミュレーションが「変化なし」と予測した安定したランキングのテストは、実機ハードウェア上でも成立しました。このことは、シミュレーションが安定した傾向を特定することには優れているものの、現実世界のあらゆる特定の逆転を完全に予測できるわけではないことを示唆しており、モデルの忠実性が限界に達する境界を浮き彫りにしています。

最終的に、本研究は、あらゆる状況において機能する単一の普遍的な「最高の」スケジューラーは存在しないと結論付けています。スケジューリング戦略のパフォーマンスは条件的です。それは、ユーザー・トラフィックの具体的なソース、システムの現在の負荷、成功を測定するために使用される指標、そしてサービス目標の具体的な定義に依存します。あるデータセットで強固に見えるランキングは、検証なしに他のデータセットでも保持されると仮定することはできません。エンジニアや研究者にとって、これはスケジューラーの比較には、単一のデータセットでテストするよりも、はるかに幅広く慎重なアプローチが必要であることを意味します。本研究の知見は、勝者を宣言するものではなく、ランキングが信頼できる場所と、変更される可能性が高い場所を示す「地図」を提供することで、将来の評価が適切な文脈と警戒心を持って読み解かれることを保証するものなのです。