技術要約：Leyline: エージェンティック推論のためのKVキャッシュ・ディレクティブ

1. 問題提起

現代の大規模言語モデル（LLM）サービングシステムは、特定のワークロードの仮定に基づいて進化してきました。それは、「プロンプトは一度だけ到着し、KVキャッシュは単調に（追記のみで）増加する」という仮定です。この仮定は、プレフィックス・キャッシングや前方方向のみの退避（eviction）といった最適化の基礎となっています。しかし、エージェンティックLLM（Yao et al., 2023; Yang et al., 2024）は、ポリシー駆動型の編集を通じて、この単調性を打破します。エージェントは、失敗したツール呼び出しの再試行、古い出力の破棄、あるいは軌道の転換などによって、会話履歴を頻繁に修正します。

この挙動は、2つの明確なキャッシュ管理問題を生み出します：

1. 位置不変の再利用（Position-Invariant Reuse）: 同一のコンテンツが、ターン間で絶対的な位置を変えて移動します（例：ツール出力の挿入による）。厳密なプレフィックス・キャッシングでは、これらのチャンクの位置が変わってしまうため、再利用に失敗します。最近の研究（Ma et al., 2026）は、コンテンツに基づくマッチングによってこれに対処しています。
2. ポリシー駆動型の変異（Policy-Driven Mutation）（本論文の焦点）: エージェントまたはポリシーは、キャッシュされたコンテンツの特定の範囲を能動的に削除または置換する必要がある場合があります（例：メモリを解放するために古いツール出力を切り詰める）。そして、その後のコンテキスト全体を再プリフィル（re-prefill）することなく、生成を継続する必要があります。
   • 現状: 本番環境のシステム（例：Anthropic, 2025）は、メッセージリストを編集し、フル・再プリフィルをトリガーすることでこれに対処しています。これは、編集によって節約しようとしたはずのプレフィックスの計算コストを、再び全額支払うことになります。
   • カーネルの限界: 既存のカーネルレベルの退避メソッド（Zhang et al., 2023; Li et al., 2024; Xiao et al., 2024）は、自律的な決定を下すものであり、外部のポリシーから特定のインプレース（in-place）編集を行うための明示的なディレクティブを受け取ることができません。

ポリシーが、再プリフィルを行うことなく、ダウンストリームのアテンション計算の正当性を維持しながら、KVキャッシュを能動的にスプライス（接合）することを指示できる既存のプリミティブは存在しません。

2. メソドロジー：Leylineプリミティブ

著者らは、ポリシーの意図とカーネルの実行との間の溝を埋めるために設計された、サービング側のプリミティブであるLeylineを導入します。

2.1 ディレクティブの抽象化

Leylineは、宣言的な4項組ディレクティブを用いて、「何を」編集するかと「どのように」編集するかを分離します：
$$D = (s_{start}, s_{end}, R, m)$$

• $(s_{start}, s_{end})$: 置換対象となるスパンのトークンインデックス範囲。
• $R$: 置換されるトークン列（多くの場合、短いスタブ、例：[evicted: 3 older tool turns]）。
• $m$: 以下のいずれかから選択されるセマンティック・モード：
  • AMORTIZE（償却）: デフォルトのモード。システムはインプレースでのスプライスを実行します。置換が挿入され、ダウンストリームの位置が再インデックスされます。極めて重要なのは、ダウンストリームのトークンの基礎となるKV値（$K_{nope}$ および $V$）が保持されることであり、これにより、置換されたスタブではなく、元のコンテンツに対するモデルのアテンションが維持されます。
  • FORGET（忘却）: システムは、標準的なプレフィックス・トリミングを伴う再プリフィルへと編集をルーティングします。これは、真のコンテンツ忘却（例：情報の秘匿）が必要な場合に使用され、モデルが退避されたコンテンツの影響を保持しないことを保証します。

2.2 メカニズム：$\delta$-ローテーション

AMORTIZEモードを可能にする中核的な技術革新は、特にMulti-Head Latent Attention (MLA) アーキテクチャ（例：DeepSeek-V2）における、位置エンコーディング・シフトに対する閉形式の補正です。

• 構造的洞察: MLAにおいて、Keyテンソルは $K_{nope}$（位置に依存しない）と $K_{pe}$（位置に依存し、RoPEによって回転される）に分割されます。
• 操作: 長さ $|S|$ のスパンが長さ $|R|$ のスパンに置き換わる場合、すべてのダウンストリーム・トークンは $\Delta = |R| - |S|$ だけシフトします。
• 補正: ダウンストリーム・トークンのアテンションを再計算する代わりに、Leylineはすべてのダウンストリーム・スロットに対して、キャッシュされた $K_{pe}$ 値に$\delta$-ローテーションを適用します：
  $$K_{pe}^{new}[i] = R(\Delta) \cdot K_{pe}[i]$$
  RoPEのユニタリ回転の閉包性（$R(a)R(b) = R(a+b)$）により、$R(i)$ に対して $R(\Delta)$ を適用することは、最初から $R(i+\Delta)$ を計算した場合と代数的に等価です。
• 結果: システムは、各スロットに対して単一の行列乗算で位置エンコーディングを更新し、それ以降の $K_{nope}$ と $V$ テンソルを保持します。これにより、物理的なキャッシュがスプライスされたとしても、モデルは元のフルコンテキストのアテンション数学を維持したまま生成を継続できます。

2.3 サービング・スタックへの統合

Leylineは、以下の3つのステップを通じて、サービング・スタック（具体的にはSGLangで実証）に統合されます：

1. Radix Match: 変更されないプレフィックス（$[0, s_{start})$）は、通常通りラジックス・キャッシュと照合されます。
2. Prefill: 置換トークン $R$ が新しいスロットにプリフィルされます。
3. Rotation: カーネルは、すべてのダウンストリーム・スロットの $K_{pe}$ バンドに $\delta$-ローテーションを適用し、それらを再インデックスします。

このインターフェースは**シグナル非依存（signal-agnostic）**です。スパン置換の4項組（例：切り詰めルール、古いツール呼び出しの検出器）を発行できるあらゆるポリシーが、その根拠をカーネルに検査させることなく、キャッシュを駆動できます。

3. 主な貢献

1. 問題の区別: 本論文は、再利用（同一コンテンツの位置シフト）と変異（ポリシー駆動の能動的な編集）を正式に区別し、エージェンティックなキャッシュ管理における未解決のサブ問題として「変異」を特定しました。
2. ディレクティブの抽象化: 「何を編集するか」と「どのようにスプライスするか」を分離する4項組インターフェースを提供し、再プリフィルなしでの明示的なインプレース・キャッシュ編集を可能にしました。
3. セマンティック・エディット・チャネル: ポスト・エージェンティックなサービング・スタックのための新しいインターフェース境界を定義しました。これは、ブロックレベルのストレージの上位に位置し、エージェントの編集をブロックレベルの操作へと分解しつつ、位置エンコーディングの正当性を維持します。
4. 二層の検証:
   • メカニズム層: スプライス・カーネルがリプレイ・キャッシュのヒット率を維持し、再プリフィルを回避することでレイテンシを削減することを実証しました。
   • ポリシー層: このインターフェースを経由した単純な切り詰めポリシーが、コンテキストのノイズを減らすことで、エージェントの解決率を向上させることを実証しました。

4. 結果

4.1 メカニズム性能（SGLang マイクロベンチマーク）

• キャッシュヒット率: スプライス機能は、同時実行数 $C \in \{1, 4, 8, 16\}$ において、標準的なラジックス・ベースラインに対してキャッシュ・ヒット率を +11.2 パーセントポイント (pp) 向上させました。
• レイテンシ: $C=8$ において、クリティカルパス上の再プリフィル・コストを節約することにより、エンドツーエンドのレイテンシを最大 241 ms 短縮しました。
• 正当性: スプライス・パスは、ウォーム・プレフィックス（フルコンテキスト）パスと100%の最初のトークンのargmax一致を維持し、$\delta$-ローテーションが元のコンテキストのアテンション数学を保持していることを確認しました。

4.2 ポリシー性能（Debug-Gym）

• タスク: JoyAI-LLM Flash モデルを用いた 8 つの debug-gym mini_nightmare タスク。
• ポリシー: $n=2$ ターンより古いツール出力を破棄するという10行の切り詰めルール。
• 結果: Leyline を通じてルーティングされた切り詰めポリシーは、エージェントの解決率を、ベースライン（切り詰めなし）の 31.2% から 45.5%（+14.3 pp）へと向上させました。
• 分析: この利得は、長い軌道を持つタスク（例：shopping_cart, sum_tree）によってもたらされました。古いツールターンを破棄することで、モデルは実際に重要となる数少ないターンに対してより効果的にアテンションを向けることができました。Leyline なしでは、このポリシーを実行するたびにフル・再プリフィルが強制され、効率性の利点が得られなくなります。

4.3 正当性の検証

• 単一プロンプト・マイクロベンチマーク: フルコンテキスト・パスと再プリフィル・パスが必ず不一致となるシナリオを構築しました。Leyline は一貫して、再プリフィルによる予測（チャンクの影響を失ったもの）ではなく、フルコンテキストの予測（元のチャンクの影響を追跡したもの）と一致しました。
• クロスアーキテクチャ: 4 つの MLA モデル（DeepSeek-V2-Lite, JoyAI-LLM Flash, GLM-4.7-Flash, Moonlight-16B-A3B）で検証しました。
• 数値的安定性: $\delta$-ローテーションは、bf16 において $\sim 4.7 \times 10^{-3}$ rel-L2 の範囲内に限定される微小なドリフトを導入しますが、これは劣線形に蓄積します。著者らは、ローテーションを fp32 で実行し（KV の保持には bf16 を使用）、このドリフトを効果的に軽減できると述べています。

5. 意義と主張

本論文は、Leyline がエージェンティックなシステムにおけるポリシー駆動型キャッシュ編集のための欠落していたインターフェースを提供すると主張しています。

• インターフェースの転換: サービング・スタックのインターフェース境界を移動させます。プレ・エージェンティックなシステムはプロンプトのみを公開していましたが、ポスト・エージェンティックなシステムはキャッシュ・エディット・チャネルを必要とします。Leyline はこのチャネルを具体的に定義しました。
• デカップリング: ポリシーが、基礎となるカーネルのメカニズム（RoPE、MLA、ラジックス・ツリー）を理解することなく、意図（例：「このスパンを忘却せよ」または「この編集を償却せよ」）を宣言できるようにします。
• プログラマブル・メモリ: 著者らは、これによりKVキャッシュ管理が、システム側によるリアクティブな推測（退避）から、エージェントがコンテキストの運命を宣言し、ストレージ層がそれを実行するという、協調的なスケジューリング問題へと変貌すると主張しています。
• 範囲: 本論文は splice（スプライス） という動詞を検証しています。回転カーネルは現在 MLA 特有であることを認めていますが、ディレクティブの抽象化はアーキテクチャに依存せず、GQA/MHA への拡張も境界の再計算パスを通じて実現可能であるとしています。

結論として、メカニズム（スプライス）が再プリフィル・コストなしでのポリシー・クラスを可能にする一方で、ポリシー・クラス自体が展開レベルの勝利（より高い解決率）をもたらすと述べています。ディレクティブ・インターフェースの語彙（PIN、DECAY、SCRATCH などの将来の動詞を含む）は、将来のエージェンティック・メモリ管理の議題を表しています。