MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

以下は、論文「MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems」の詳細な技術的サマリーです。

1. 問題定義

本論文は、自律型エージェントの台頭によって引き起こされる大規模言語モデル（LLM）サービングパラダイムの根本的な変化を特定しています。単一ターン推論を実行する従来のチャットボットとは異なり、エージェントは生成、ツール呼び出し、状態更新を含む反復的なワークフローを実行します。この変化により、既存の LLM サービングエンジン（vLLM、TGI など）が対処できていない 2 つの重要な課題が生じます。

• 時間的シフト（単一ターン → 多ターン）: セッションはもはや連続的な GPU 操作ではありません。ツール実行（CPU 束縛）のために一時停止し、後に再開されます。既存のシステムは、高速な「ウォーム」再開のために KV キャッシュを常駐させるか、メモリ節約のためにエビクトするかを決定することに苦慮しており、メモリ枯渇または高価なプレフィックス再計算のいずれかに陥っています。
• 空間的シフト（GPU のみ → GPU-CPU 共配置）: エージェントワークロードは、推論用の GPU とツール実行用のホスト CPU の両方における結合された実行を必要とします。既存のシステムは、CPU のボトルネックを無視して GPU トークンスループットのみを最適化しています。これにより、長いプレフィル要求が短いインタラクティブな継続をブロックする「先頭行（HoL）ブロッキング」や、CPU ツール実行を待っている間に GPU 容量がアイドル状態になる「結合キューイング」が発生します。

核心的な問題は、GPU と CPU という異種リソース全体を可視化し、生トークンスループットではなくエンドツーエンドのワークフロー完了を最適化するための適応的な共スケジューリングを実行できるシステムの欠如です。

2. 手法：MARS アーキテクチャ

MARS（Multi-turn Adaptive Resource Scheduler）は、GPU 推論と CPU ツール実行の間のギャップを埋めるように設計された共スケジューリングシステムです。これは以下の 3 つの柱に基づいています。

A. 統合情報ストリーム

GPU と CPU の状態間の「盲点」を排除するため、MARS は構造化された境界イベントをエクスポートする低オーバーヘッドのテレメトリパスを導入します。

• GPU プレーン: KV ブロックの可用性、プレフィル起動遅延、予測される KV 需要を報告します。
• CPU プレーン: アクティブなツール呼び出しと実行時間を追跡し、ホスト側の混雑を定量化します。
• 機能: このストリームは、静的なヒューリスティックではなく実際のリソース競合に基づいて意思決定を行うための、リアルタイムの二重圧力テレメトリを提供します。

B. 外部制御プレーン（アドミッション制御）

このコンポーネントは、リソースの過剰割り当てを防ぐために、アドミッションと実行を分離します。

• グローバルロードバランサー: 現在のリソース圧力に基づいて待機キューを再順序付けします。例えば、CPU 負荷が高い場合は、より多くのツール呼び出しを注入しないように GPU 負荷の大きいセッションを優先し、KV 圧力が高い場合は、より小さなセッションを優先します。
• 適応型アドミッションコントローラー: 統合情報ストリームによって駆動される AIMD（Additive Increase Multiplicative Decrease） 制御ループを使用します。これはリアルタイムの CPU および KV 圧力に基づいてアドミッションウィンドウ（$W_{adm}$）を動的に調整し、グローバルリソースが十分である場合にのみリクエストがデータプレーンに入るようにします。

C. 内部エージェント中心スケジューラー（データプレーン）

承認された後、スケジューラーはエンドツーエンドのクリティカルパスを最小化するために実行順序と KV 常駐を管理します。

• 優先度認識コーディネーター: 先着順（FCFS）を マルチレベルフィードバックキュー に置き換えます。リクエストは以下の基準に基づいて優先されます。
  1. 初期 KV フットプリント（小さいほど優先度が高い）。
  2. 蓄積されたサービス（枯渇を防ぐため）。
  3. 待ち時間。
     これにより、長いプレフィルタスクが短く遅延に敏感な継続をブロックするのを防ぎます。
• 機会主義的共スケジューラー: リソース制約を動的に処理します。
  • チャンク縮小: 完全なプレフィルがメモリに収まらない場合、ブロックするのではなく部分的な進行を可能にするためにトークンチャンクサイズを縮小します。
  • スマート KV 保持: ツール実行中に KV キャッシュを常駐させるかどうかを決定します。「ウォーム再開」の利益がメモリの機会費用を上回る場合のみ状態を保持し、メモリの置き去りを防ぎます。

3. 主な貢献

1. ワークロード特性の特定: 本論文は、エージェントワークロードにおける時間的および空間的シフトを形式的に特定し、GPU 計算、KV キャッシュ容量、ホスト CPU リソース全体で動的に不整合な需要がどのように生じるかを実証しています。
2. 統合テレメトリ: GPU と CPU プレーンの両方から実行境界イベントをエクスポートすることで、異種リソース圧力を明示化する統合情報ストリームの導入。
3. 結合制御アーキテクチャ: アドミッションのための外部制御プレーンと、実行のための内部エージェント中心スケジューラーを組み合わせた新規設計により、アドミッション、スケジューリング、KV 常駐を共同で最適化します。
4. 実装と統合: MARS は vLLM 上で実装され、OpenHands コーディングエージェントフレームワークと統合されており、実用的な適用性を示しています。

4. 実験結果

著者らは、H100 および H200 GPU 上で、Qwen3-Coder-30B や GPT-OSS-120B などのモデルを使用し、SWE-bench、GitTaskBench、RepoBench などのベンチマークを通じて MARS を評価しました。

• レイテンシ削減: 重負荷下において、MARS は最先端のベースライン（FCFS、Autellix、Infercept、Continuum など）と比較して、平均エンドツーエンドレイテンシを最大 5.94 倍 削減します。
• スループットとグッドプット: ほぼ最大システムスループットを維持しながら、MARS は 動的 SLO 認識グッドプット（レイテンシ目標内で完了するリクエストの割合）を大幅に向上させます。ベースラインは負荷下でグッドプットが崩壊する傾向がありますが、MARS は高い完了率を維持します。
• 実世界展開: OpenHands を用いた現実的な展開において、MARS はエンドツーエンドのタスク完了時間を最大 1.87 倍 高速化しました。
• アブレーション研究: 優先度認識コーディネーターを削除すると、HoL ブロッキングによりレイテンシが 2 倍〜5 倍増加しました。外部制御プレーンを削除すると、管理されていないキューの蓄積により 1.5 倍〜3 倍の遅延が発生しました。

5. 意義

MARS は、LLM サービングインフラにおけるパラダイムシフトを表しています。これは、過去のリクエスト中心・スループット最適化モデルから、セッション認識・エンドツーエンドワークフロー最適化へと移行するものです。

• システム的影響: GPU と CPU リソースが相互依存する「結合圧力」の問題を解決します。これは次世代の自律型エージェントにとっての重要なボトルネックです。
• 実用性: OpenHands や vLLM と統合することで、これらのアーキテクチャ変更がスタック全体を書き換えることなく、実世界のエージェントフレームワークに展開可能であることを証明しています。
• 将来の方向性: 本論文は、ステートフルな多ターンコンテキストを管理するための OS 的な抽象化が LLM サービングに必要であることを強調し、より堅牢で効率的なエージェントシステムの道を開いています。

要約すると、MARS は、異種エージェントシステムを効率的でスケーラブルかつ応答性の高いものにするために必要な制御プレーンとスケジューリングロジックを提供し、生きたハードウェア能力と実際のワークフロー完了の間の重要なギャップに対処します。