Metronome: Bound the Cache, Keep the Beat for Real-Time Interaction Model Serving

技術要約：Metronome – キャッシュを制限し、リアルタイム・インタラクション・モデル・サービングの鼓動を維持する

1. 問題点：静かなるレイテンシの崖（The Silent Latency Cliff）

リアルタイム・インタラクション・モデル（例：Moshi, MiniCPM-o, Qwen-Omni）は、従来のチャットボットとは異なる独自のサービング・レジーム下で動作します。エフェメラル（一時的）なチャットボットのリクエストとは異なり、インタラクション・セッションは周期的なリアルタイム・タスクです。これらはストリーミング・オーディオ・フレーム（例：80msまたは1〜2秒ごと）を取り込み、壁時計時間（wall-clock time）のデッドラインに従って応答しなければなりません。極めて重要なのは、これらのセッションにおけるKey-Value (KV) キャッシュは、会話の継続期間中、モノトニック（単調）に増大し、GPUメモリ内に**固定（pinned）**される点です。状態をスワップアウトしたり再計算したりするためのアイドル・ギャップが存在しないためです。

本論文は、このレジームにおける危険な失敗モードである、静かでメタステーブル（準安定）なレイテンシの崖を特定しています。

• メカニズム: 同時実行セッションが蓄積するにつれ、それらの無制限なKVキャッシュがエンジンの固定ブロック・プールを消費します。プールが飽和すると、スケジューラは停止し、新しいブロックを割り当てることができなくなります。
• 症状: 計算量に起因する段階的な劣化とは異なり、この失敗はバイナリ（二値的）です。レイテンシは平坦（数ミリ秒）を維持しますが、プールが枯渇した瞬間に不連続に「壁」（例：約1.6秒）へと跳ね上がり、エンジンがトークン生成を停止させます。
• 危険性: この失敗は**静か（silent）**です。停止したエンジンは、デッドラインを満たすために空のフレームを時間通りに返却するため、標準的なメトリクス（レイテンシ、デッドライン・ミス）は健全に見えます。ユーザー体験としては、会話が単に沈黙してしまうという現象になります。
• メタスタビリティ（準安定性）: 実行が崩壊するかどうかは、プールの充填率とセッション時間の間のレース（競合）に依存します。同一の実行であっても、微細な分散に基づいて崩壊する場合と生存する場合があるため、この失敗は予測困難であり、デバッグが困難です。

2. 手法：Metronome

著者らは、各セッションの常駐状態（resident state）を制限することで、安定性と観測可能性を回復させる最小限のシステム設計であるMetronomeを提案しています。このシステムは、相互に依存する2つのメカニズムで構成されています。

A. エンジン内ウィンドウ型KV（制限：The Bound）
Metronomeは、常駐するKVキャッシュを制限するために、エンジンの休眠状態にあるスライディング・ウィンドウ・パスを有効化します。

• 構造: 各セッションは、直近の$W$個のトークンと、いくつかの固定されたアテンション・シンク・トークン（セッションの最初の数トークン）のみを保持します。
• 根拠: ウィンドウはメモリ・フットプリントとフレームあたりの計算コスト（$O(W)$）を制限します。固定されたシンク・トークンは、初期位置にソフトマックスの質量が集中するフル・アテンション・バックボーンにおいて、生成品質を維持するために不可欠です。
• 実装: これは、デコーダー・アテンション層にウィンドウ・マスクをインストールし、初期KVブロックを固定することで、vLLM内で直接実装されます。これにより、アプリケーション・レベルのリクエスト・リサイクリングに伴う再エンコード・コストを回避します。

B. デッドライン認識型アドミッション・コントローラー（信号：The Signal）
状態が制限されることで、フレームごとのレイテンシは、フラットな線から「壁」へのジャンプではなく、負荷のモノトックな信号となります。

• メカニズム: オンラインの**AIMD（加法増加・乗法減少）**コントローラーが、フレームごとのレイテンシを監視します。
• 動作: レイテンシが低い（ヘッドルームがある）ときはアドミッション・キャップ（受け入れ上限）を増加させ、レイテンシがターゲットとなるデッドラインの一定割合に近づくと、キャップを乗法的に減少させます。
• 依存関係: 本論文は、レイテンシ信号が忠実である（すなわち、KVが制限されている）場合にのみ、このコントローラーが安定した同時実行数（$N^*$）に収束することを実証しています。制限がない場合、コントローラーは飽和するまでフラットな信号に騙され、過剰に受け入れてしまいます。

3. 主な貢献

1. 失敗の特性評価: 本論文は、リアルタイム・インタラクション・サービングに特有の「メモリの崖」を定義しています。プールの充填率に基づく一次モデル（$\rho(t) = \rho_0 + Nr t$）を提供し、飽和時間（$t_{sat}$）を予測することで、崩壊のランダム性がように見える理由が、プール充填とセッション時間の間のレース条件であることを説明しています。
2. 「制限」の原則: 著者らは、常駐状態を制限することが、バイナリの崖をモノトックな傾斜へと変換するための必要条件であることを示しています。これにより、観測可能性（レイテンシが負荷を反映する）と安定性（プールの枯渇を防ぐ）が回復されます。
3. エンドツーエンドの検証: 単一のNVIDIA Blackwell GPU上で、4つのインタラクション・モデル（Qwen2.5-Omni, Moshi, MiniCPM-o-4.5, Qwen3-Omni-30B）を用いた実際のオーディオ・ストリームによる評価を行いました。
   • 安定性: 無制限のKVは20回中14回で失敗（壁に衝突）しましたが、Metronome（ウィンドウ型KV）は20回中0回の失敗でした。
   • アドミッション: コントローラーは、制限されたシステムにおいて、スケジュール可能な同時実行数（$N^* \approx 209$）を正常に発見しましたが、無制限のシステムでは過剰に受け入れてしまいました。
   • 品質のアブレーション: ウィンドウ単体でもターンベースのデコーディングには十分ですが、ウィンドウがセッション開始点を通り過ぎる際の品質低下を防ぐには、固定されたシンク・トークンが不可欠であることを検証しています。

4. 結果と観察

• 崖の排除: KVキャッシュを制限することで、レイテンシ・プロファイルはステップ関数的な失敗から滑らかなモノトックな増加へと変わり、過負荷時にも緩やかな劣化が可能になります。
• 予測可能性: 一次モデルは、30Bモデルにおいて数パーセント、MiniCPM-oにおいて約13%の誤差範囲内で崩壊時間を予測しました。
• 容量 vs デッドライン: 状態が制限されると、システムはメモリ制限ではなく、計算量制限（デッドライン制限）になります。メモリの天井（約500セッション）は、デッドラインによってスケジュール可能な同時実行数（約209）よりも十分に高いため、デッドラインが結合制約となります。
• 汎用性: この失敗モード（崖）はアーキテクチャに起因するものであり、無制限の常駐KVを使用する限り、異なるサイズやアーキテクチャのモデル間で再現可能です。

5. 重要性と主張

本論文は、常駐状態を制限することこそが、リアルタイム・インタラクション・サービングにおける根本的な解決策であると主張しています。その理由は以下の通りです。

• 緩やかな劣化は過負荷防御の前提条件である: モノトックなレイテンシ信号がなければ、アドミッション・コントロール、オートスケーリング、およびロード・シェディングは機能しません。
• エンジン設計への示唆: セッションごとの状態制限は、単なるmax_model_lenの派生的な特性ではなく、第一級のサービング・パラメータとして扱うべきです。現在のモデル長キャップは、ポリシー・ツールというよりも、クラッシュの境界として機能してしまっています。
• 範囲: オーディオにおいて実証されましたが、著者らは、このメカニズムが、無制限かつ固定された状態を持つあらゆるリアルタイム・ループ（例：エージェントの思考プロセス、ビデオ・アシスタント、ステートフルなRAG）に適用可能であると述べています。

本研究は、状態の制限を通じて「鼓動を維持する」ことで、システムが静かでメタステーブルな崩壊を回避し、リアルタイム制御のための信頼できるフィードバック・ループを維持できることを結論付けています。