技術概要：Compass：大規模な複合 AI サービング向け SLO 感知クエリプランナー

1. 問題定義

複数の演算子（ビデオサンプラー、ビジョンエンコーダ、LLM、音声レンダラーなど）をパイプラインに統合し、ライブビデオチャット、自動運転、没入型ゲーミングなどのアプリケーションを実現する複合 AI システムの登場により、ML サービングは単一モデルのデプロイから複雑なパイプラインのオーケストレーションへと移行しました。これらのワークロードは、エッジデバイスからニアエッジクラスター、クラウドティアに至るまで、多様なデプロイ空間にまたがることが多いです。

これらのシステムの最適化には、パイプライン内のすべての演算子に対して、3 つの相互依存する次元の共同計画が必要です：

1. 配置（Placement）: 演算子をどこで実行するか（エッジ、ニアエッジ、またはクラウド）。
2. 設定（Configuration）: どのモデルバージョン、精度、またはサンプリングレートを使用するか。
3. リソース割り当て（Resource Allocation）: どの程度の計算リソース（例：GPU 共有）と帯域幅を割り当てるか。

核心的な課題は、リソース競合下でSLO 良好スループット（レイテンシ、精度、コストに関するサービスレベル目標を満たすクエリの数）を最大化することです。既存のアプローチは、以下の理由により大規模なスケールでのこの課題に対処できていません：

• 組み合わせ爆発: 異種の設定と配置により、単一のクエリに対して数千もの候補プランが存在し得ます。
• 異質性: 実行環境（エッジ対クラウドの速度など）やユーザー間での入力データ分布が異なり、同一のプランであってもパフォーマンスにばらつきが生じます。
• 計画レイテンシ: 既存のプランナー（例：Vulcan、VideoStorm）は実行可能なプランを見つけるのに数分〜数時間を要し、10 秒程度の音声認識など、リアルタイムかつ短命なクエリには実用不可能です。
• 局所最適化対グローバル最適化: 単一クエリプランナーはクエリ間でのリソース競合を無視するため、クラウドの過負荷とエッジリソースの遊休化など、グローバルな割り当てが最適でない結果を招きます。

2. 手法：Compass システム

Compass は、大規模なマルチクエリ・マルチティア複合 AI ワークロードを処理するように設計された、初の SLO 感知クエリプランナーです。効率性と決定の質のバランスを取るため、2 段階の計画フレームワークを採用しています。

A. システムアーキテクチャ

Compass は、扱いにくいグローバル計画問題を以下のように分解します：

1. 単一クエリ探索: 各個別のクエリに対して、パレート最適の候補プランのセットを特定します。
2. マルチクエリスケジューリング: リソース制約下でグローバルな良好スループットを最大化するよう、クエリとプランのペアの最適な組み合わせを選択します。

B. コアコンポーネント

1. 探索オプティマイザ（コスト感知多目的探索）

広大な探索空間を効率的にナビゲートするため、Compass は標準的なベイズ最適化（BO）を改良したCAMO（コスト感知多目的）探索を導入します。

• 分解された代理モデル: 単一の目的ではなく、CAMO は精度（$f_a$）用とレイテンシ（$f_l$）用の 2 つの独立した代理モデルを維持します。
• ユーティリティ関数: 新たなプランを提案する際、SLO 達成の確率とプロファイリングコスト（推論実行にかかるレイテンシ）のバランスを取る獲得関数 $U(p)$ を最大化します：
  $$U(p) = \text{Pr}[f_a(p) \ge A_{slo}] \cdot \text{Pr}[f_l(p) \le L_{slo}] \times \frac{1}{C(f_l(p))}$$
• クエリ間ウォームスタート: 新規クエリの探索を加速するため、Compass はクエリ間の潜在的な類似性を活用します。歴史的な代理モデルの「委員会」を維持し、新規クエリが過去のクエリと類似している場合、委員会が次の候補プランについて投票します。新規クエリ自身の CAMO モデルが成熟し（予測誤差が委員会の誤差を下回る）、自動的に自己依存に移行します。

2. SLO プロファイラ（効率的な検証）

プロファイリング（精度/レイテンシを測定するためにプランを実行すること）は主要なボトルネックです。Compass は以下によりこのコストを削減します：

• 適応的プロファイリング: 固定サンプリングの代わりに、Compass は統計的にプランが SLO を満たすかを確認するために必要な最小サンプル数を決定するStudent's t-testを使用します。プランの推定精度と SLO のギャップが大きい場合は早期に停止し、ギャップが小さい場合はより多くサンプリングします。
• 依存関係共有プロファイリング: 共有パイプラインセグメントの中間出力をキャッシュします。新規プランがダウンストリームの演算子のみを変更する場合、プロファイラはアップストリームの演算子を再実行せず、キャッシュされた結果を再利用します。
• リソース削減: 探索は当初、SLO の実現可能性を確保するために過剰なリソースを仮定します。その後、プロファイラは多次元二分探索を実行し、レイテンシ SLO が違反の瀬戸際になるまでリソース（例：GPU 共有の削減）を貪欲に削減し、パレート最適のコストフロンティアを特定します。

3. マルチクエリプランナー（グローバルスケジューリング）

各クエリにパレート最適のプランのセットが用意されると、Compass はクエリセットとそのプラン候補の間で二部マッチングを実行します。

• 目的: リソース制約のあるシナリオでは SLO 良好スループットを最大化し、弾力的なクラウドシナリオでは総デプロイコストを最小化します。
• アルゴリズム: 便益対リソース比率（または便益対コスト比率）でプランをランク付けする貪欲ヒューリスティックです。容量が尽きるまで、最高ランクのプランにリソースを反復的に割り当てます。
• 理論的保証: 著者は、クラウドのみのセットアップにおいて、貪欲アプローチが最適な良好スループットの少なくとも50%を達成することを証明しています。マルチティアのコスト最小化においては、コストは最適な値に対して11/9 の競争比以内であり、ティア数に依存する小さな定数が加わります。

3. 主要な貢献

1. 初の汎用 SLO 感知プランナー: Compass は、クラウドのみ、マルチティア、エッジ - クラウドなど、多様なデプロイ空間における複合 AI サービングをサポートし、継続的かつ一時的な相互作用の両方を処理する初のシステムです。
2. 新規探索メカニズム: 計画の類似性（クエリ内およびクエリ間）と適応的プロファイリングを活用し、高次元の探索空間を効率的にナビゲートする、コスト感知の多目的探索（CAMO）を導入しました。
3. グローバル決定の質: 単一クエリ探索とグローバルスケジューリングを分離することで、共同計画の組み合わせ爆発を回避しつつ、パレート最適の候補セットと貪欲マッチングを通じて、ほぼ最適な決定の質を維持します。
4. 実世界での実装: システムは約 2,800 行の Python で実装されており、Kubernetes および LangChain と API 互換性があり、最小限のコード変更で既存の ML スタックをサポートします。

4. 実験結果

評価は、現実的なマルチティアインフラ（クラウド、ニアクラウド、ニアエッジ、エッジ） across 5 つの代表的な複合 AI アプリケーション（ライブエージェントチャット、エージェント的コード生成、高密度ビデオキャプション生成、視覚トラッキング、音声認識）で行われました。

• サービス良好スループット: Compass は、ネイティブなデプロイ空間であっても、最先端のベースライン（Vulcan、VideoStorm）と比較して SLO 良好スループットを2.4〜5.1 倍向上させます。
• コスト削減: リソース割り当てと配置の最適化により、デプロイコストを3.8〜4.5 倍削減します。
• 計画速度: Compass は計画を4.2〜10.5 倍高速化し、SLO 準拠の最初のプランを5 秒未満（ベースラインは数分）で特定し、ほぼ最適なプランを20 秒未満で特定します。
• スケーラビリティ: システムは数千の同時クエリにスケールし、ILP（整数線形計画法）のような網羅的探索オラクルに近い性能を達成しつつ、サブ線形のスケジューリング時間を維持します。
• 応答性: 実行時のダイナミクス（ネットワーク変動、照明変化など）へのリアルタイム適応を数秒以内に可能にします。

5. 意義と主張

本論文は、Compass が AI サービングの進化における重要なボトルネック、すなわち単一モデル推論から複合 AI パイプラインへの移行に対処していると主張しています。著者らは、マルチ演算子、マルチティア、マルチクエリのシナリオの組み合わせ的複雑さを処理できるプランナーがなければ、ライブビデオエージェントなどのリアルタイム複合 AI アプリケーションを効率的かつ費用対効果の高い方法でデプロイできないと述べています。

その意義は以下の点にあります：

• 実現可能性: 以前のアプローチが遅すぎたり不正確すぎたりしていた場所で、リアルタイムかつ SLO 保証された複合 AI サービングを実行可能にします。
• 効率性: 以前は総サービング時間を支配していた「計画税」（構成探索に費やされる時間とコスト）を劇的に削減します。
• 汎用性: アプリケーション固有のチューニングを必要とせず、エッジデバイスから大規模クラウドクラスターまでの異種インフラ全体で機能する統一フレームワークを提供します。

論文は、Compass によりサービスプロバイダーが大規模で高品質かつ費用対効果の高い複合 AI サービスを維持でき、理論的なパイプライン最適化と実用的なリアルタイムデプロイの間のギャップを埋められると結論付けています。