技術的サマリー：エージェント型 LLM 提供のためのポリシー駆動型ランタイム層

1. 問題定義

マルチエージェント型大規模言語モデル（LLM）システムは支配的な生産ワークロードとなっていますが、既存のサービングスタックは、その要件とアーキテクチャ的に整合していません。現在のシステムは 2 層構造で動作します。

1. エージェントフレームワーク（上位）: AutoGen、LangGraph、MetaGPT などのシステムは、エージェントのアイデンティティ、役割スキーマ、ディスパッチロジックを管理します。これらは LLM API 呼び出しを生成しますが、エンジンレベルのイベント（トークン生成、KV キャッシュ状態など）については認識していません。
2. サービングエンジン（下位）: vLLM や SGLang などのエンジンは、プレフィル、バッチ処理、トークン生成を処理します。これらはすべてのイベントを監視しますが、エージェントのアイデンティティやマルチエージェントワークフローのセマンティック構造については一切認識していません。

この「継ぎ目」が、横断的ポリシーにとって決定的なギャップを生み出しています。KV キャッシュの排除、バッチの整形、推測実行、公平性、安全性の強制など、多くの最適化戦略は、エージェントアイデンティティメタデータ（フレームワークから）とエンジンレベルのイベント（サービングエンジンから）への同時アクセスを必要とします。現在、これらのポリシーは、フレームワークまたはエンジンのいずれかへの「ワンオフのパッチ」として実装されています。このアプローチは脆く、非モジュール的であり、最適な意思決定に必要な完全なコンテキストを活用できていません。

2. 手法：エージェントランタイム層

著者は、フレームワークとサービングエンジンの間に第 3 層であるエージェントランタイム層を挿入するというアーキテクチャ的介入を提案します。この層は、横断的なエージェントメタデータを所有し、安定したポリシー非依存のインターフェースを公開する基盤として機能します。

4 つのプリミティブ

この層は、エージェント認識型ポリシーがプラグインできる 4 つの汎用プリミティブを定義します。これらのプリミティブは、エージェントアイデンティティを共有座標として統合された「観測 → スコアリング → 予測 → 実行」のフィードバックループを形成します。

1. observe(event): ランタイムは、隣接コンポーネント（ブロックアクセス、リクエスト到着、ツール戻り値など）からポリシー関連のイベントを受信します。これはエージェントアイデンティティでタグ付けされた内部状態を更新します。
2. score(item): ランタイムは、隣接コンポーネントが意思決定をランク付けするために使用するアイテムごとの優先度を返します（例：どの KV ブロックを排除するか、どのリクエストを許可するか）。
3. predict(horizon): ランタイムは、将来のエージェント活動の確率的予測を返します（例：次のエージェント役割、次のツール呼び出し）。
4. act(side_effect): ランタイムは、隣接コンポーネントに対してクリティカルパス外の影響（サイドエフェクト）を発行します（例：キャッシュのウォーミング、重みの事前読み込み、推測呼び出しのヘッジング）。これは隣接状態を変更する唯一のプリミティブです。

ケーススタディ：CacheSage

この抽象化を検証するために、著者は即座にサービングコストに最も大きな影響を与えるポリシーであるKV キャッシングに対して、この層を実体化しました。彼らはCacheSageを導入し、次のセッションが到着する前に「エージェントアンカー」（システムプロンプトとツール定義）を反応型プレフィックスキャッシュが排除してしまうという問題に対処します。

CacheSage は 3 つのコンポーネントを通じて 4 つのプリミティブを実装します。

• 遷移学習器（observe）: ペアごとのエージェント遷移カウント（$n(a', a)$）の移動平均を維持し、オンラインで 1 次マルコフ遷移行列を計算します。コンテンツハッシュを通じて「エージェントアンカー」（システム＋ツール）を特定します。
• 生存確率スコアラー（score）: エージェントが次の $K$ ステップ内で発火する確率を近似します。高価な正確な計算の代わりに、閾値付き有向非巡回グラフ（DAG）と幅優先探索（BFS）を使用して「ホップ数」の代理指標を計算します。このスコアは、エンジンの既存の最近性クロックと組み合わされ、排除優先度を決定します。
• セッション間プリフェッチ（predict + act）: スケジューリングステップの間、ランタイムは次のエージェント（$a^*$）を予測し、「ウォーミングアップ」リクエストを発行します。このリクエストには、予測されたエージェントのアンカーに対する KV キャッシュを埋めるために、システムプロンプトと最小限のユーザーメッセージのみが含まれ、完全なセッション固有の内容は注入されません。

3. 主な貢献

1. エージェントランタイム層: サービングスタックのための提案された第 3 層であり、4 つのプリミティブインターフェース（observe、score、predict、act）を公開します。著者は、KV キャッシング、ツール結果のメモ化、バッチの整形、公平性を含む 9 つの異なるエージェント認識型ポリシーをこのインターフェースにマッピングし、それらすべてがエージェントアイデンティティでタグ付けされたイベントに対する同じアーキテクチャ的必要性を共有していると主張します。
2. CacheSage: KV キャッシングに対するこの層の具体的な実装です。ワークロードごとのエージェント遷移行列をオンラインで学習し、生存率に基づく排除とステップ間プリフェッチに利用します。これは、ワークロードあたり 20 KB 以下の境界付き状態で動作し、構造が学習されない場合は標準的な LRU に優雅にフォールバックする機能を含みます。
3. 実証的検証: MMLU、MT-Bench、GAIA、GSM8K、HumanEval という 5 つの現実世界のマルチエージェントワークロードにおける予備結果により、このアプローチの有効性を示しています。

4. 結果

実験は NVIDIA H100 GPU を使用して Llama-3.1-8B-Instruct で行われ、CacheSage を vLLM および Continuum と比較しました。

• キャッシュヒット率: CacheSage は、すべての 5 つのワークロードにおいて vLLM と比較して、キャッシュヒット率が**+13 から +37 パーセントポイント（pp）**向上しました。これは、反応型キャッシュが通常排除するセッション境界を越えたエージェントアンカーを保持していることに起因します。
• レイテンシ: 最初のトークンまでの平均時間（TTFT）と、ターンごとのエンドツーエンドのレイテンシは、**12% から 29%**削減されました。
• スループット: システムスループットは**6% から 14%**向上しました。
• オーバーヘッド: ホットパスのオーバーヘッドは無視できます。observe 関数はブロックアクセスあたり約 1 マイクロ秒で実行され、スコアラーは単一桁のマイクロ秒で実行されます。コーディネータの状態は 25 KB 未満に維持されます。

注目すべきは、TTL ピンを使用するベースラインの Continuum システムは、3 つの現実タスクワークロードにおいてヒット率を 9〜23 pp 低下させたことです。これは、静的ポリシーとランタイム層の適応性の間のトレードオフを浮き彫りにしています。

5. 意義と主張

本論文は、エージェントフレームワークとサービングエンジンとの間の「継ぎ目」は、漸進的なポイント修正ではなく、アーキテクチャ的変更によって最も適切に対処されると主張しています。

• モジュール性: 4 つのプリミティブインターフェースにより、異なるポリシーが同じ観測ストリームを共有し、各ポリシーごとに新しいエンジン改修を必要とすることなく、同じプリミティブに対して構成できます。
• 汎用性: この層はフレームワーク非依存（AutoGen、LangGraph などをサポート）であり、エンジン移植性を持ち、深い内部修正ではなく特定のフックのみを必要とします。
• ギャップの検証: KV キャッシングにおける顕著なパフォーマンス向上を実証することで、著者はアーキテクチャ的ギャップが現実のものであると主張し、効率的なエージェント型 LLM 提供にはエージェントランタイム層が不可欠なコンポーネントであると結論付けています。

著者は、現在の作業の範囲については慎重であり、CacheSage が抽象化を検証している一方で、この層にマッピングされた他の 8 つのポリシー（ツール結果のメモ化、推測型エージェント実行、公平性など）は、将来の作業における未解決の課題であると指摘しています。主な貢献は、すべてのポリシー実装の完了ではなく、インターフェースとアーキテクチャ的論理にあります。