🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScaleは、再利用可能なKV状態を事前計算してvLLMキャッシュに直接注入することで、高精度を維持しながら、検索されたコンテキストのサイズから初動トークン生成までのレイテンシを切り離し、パーソナライズされたLLMサービングを加速させるGPUネイティブのメモリシステムです。

原著者： Peter Li, Prashant Pandey

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peter Li, Prashant Pandey

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ある超高性能なロボットに、あなたの人生の物語すべてを教えて、そのロボットがあなたに関する質問に答えられるようにしようとしていると想像してください。あなたが質問をするたびに、ロボットが思考するためには、あなたの伝記全体をその脳内にペーストしなければなりません。もしあなたの伝記が短ければ、ロボットは速く考えます。しかし、もしあなたの伝記が長く、年月を重ねた思い出や、身内だけのジョーク、過去の冒険などで満たされていたら、ロボットは単純な「私の好きな色は？」という質問に答えるためだけに、その伝記の全単語を読み直し、再処理しなければなりません。この読み直しのプロセスは遅く、コストがかかります。まるで、たった一冊の本を渡す前に、図書館にあるすべての本を棚に戻し直さなければならない司書のようなものです。これが、現在の「パーソナライズされた」AIの現状です。記憶が増えれば増えるほど、AIがあなたと話すスピードは遅くなってしまいます。

これから読む論文は、コンピュータサイエンスの世界における「Key-Value キャッシング」と呼ばれる巧妙なトリックを使って、この問題に取り組みます。ロボットの脳を、これまでに読んだ内容の中で最も重要な部分を書き留めておく巨大なホワイトボードだと考えてください。そうすることで、元のテキストを読み直す必要がなくなります。通常、もし棚の本の順番を変えると、ロボットはホワイトボード全体を書き直さなければなりません。しかし、もしロボットが、あらかじめ書かれたメモを引き出しから取り出し、それをどこにでも瞬時に貼り付けることができたらどうでしょうか？これが、この研究の核心となるアイデアです。あなたの記憶を毎回読み直させる代わりに、私たちは各記憶の「メモ」を事前に計算し、ロボットの超高速な内部ハードドライブに保存します。そして、あなたが質問をするとき、そのメモをロボットの脳内に直接流し込むのです。

問題点：「読み直し」の罠
今日、長い会話の履歴を持つAIアシスタントを使用する場合、システムは最も関連性の高い記憶を見つけ出し、それをあなたの新しい質問の中にペーストする必要があります。これは「プロンプト・インジェクション」と呼ばれます。想像してみてください。あなたが友人にアドバイスを求めているのに、話すたびに、実際の質問をする前に日記の最後の50ページを音読しなければならない状況を。ページ数が増えれば増えるほど、アドバイスにたどり着くまでの時間は長くなります。たとえ全く同じ質問を10回繰り返したとしても、友人はその50ページを10回読み直さなければなりません。これにより、AIは動作が鈍く感じられます。特に、あなたの個人的な記憶が増えていくにつれて顕著になります。

解決策：InferScale
研究者の Peter Li と Prashant Pandey は、InferScale という新しいシステムを構築しました。AIに記憶を再読させる代わりに、InferScale はあなたが話し始める前に、あらかじめ重い作業を済ませておきます。システムは、あらゆる記憶の事実（例：「私はピザが好き」「私の犬の名前はレックス」）を取り出し、事前にその「脳のメモ」（KV ステートと呼ばれます）を計算します。これらのメモは、コンピュータの超高速な脳であるグラフィックスカード（GPU）に直接保存されます。

あなたが質問をするとき、システムは記憶のテキストをAIに送るのではなく、GPU から適切な「脳のメモ」を見つけ出し、それをAIの作業メモリに直接注入します。これは、図書館が本を手渡す代わりに、司書が必要な段落を正確にあなたの机の上にペーストするようなものです。AIは元のテキストを読み直す必要がなく、ただそのメモを使用するだけなのです。

魔法のトリック
これを実現するために、チームは2つのトリッキーなパズルを解かなければなりませんでした。

「動く標的」問題 (Chunked RoPE):
通常、これらの「脳のメモ」はテキスト内の特定の場所に紐付けられています。もし記憶を物語の最初から中ほどへ移動させると、メモの内容が合わなくなってしまいます。研究者たちは、Chunked RoPE と呼ばれる技術を考案しました。メモが、回転させることができる特殊な紙に書かれていると考えてください。その紙を机のどこに置いたとしても、回転させることで新しい位置に完璧に合わせることができます。これにより、システムは保存された記憶を、数学的な整合性を壊すことなく、会話の中のどこにでも配置できるようになります。
「コンテキスト」問題 (Context-Window Encoding):
単に「彼は店に行った」という一文だけを取り出した場合、AIは「彼」が誰であるかを知らない可能性があります。もし記憶を孤立した状態で保存してしまうと、文脈（コンテキスト）が失われてしまいます。これを修正するために、システムは記憶を、その直前の文章（例：「ジョンは店に行った」）を含む小さなウィンドウと共に保存します。ただし、ウィンドウ全体ではなく、特定の記憶部分に対する「脳のメモ」のみを保存します。こうすることで、AIは文脈（「彼」はジョンであること）を理解しながら、毎回段落全体を読み直すことなく、記憶を活用できるのです。

研究結果
結果は素晴らしいものです。研究者たちは、3つの異なるAIモデル（Llama-3.1-8B、Mistral-7B、Qwen2.5-7B）を用い、長い会話のデータセットでテストを行いました。

速度: 旧来の手法（Mem0）では、取得する記憶の数を5個から50個に増やすと、AIが話し始めるまでの時間（Time-to-First-Token）が 106% 跳ね上がりました（33.2 ms から 68.3 ms へ）。一方、InferScale では、同じ増加による遅延はわずか 4% でした（16.6 ms から 17.3 ms へ）。
スループット: 100人が同時にシステムを使用した場合、InferScale は旧来のシステムよりも 3.7 倍から 4.5 倍 多く、秒あたりの質問を処理できました。
精度: メモリを個別に保存することによる混乱のリスクがありましたが、「コンテキスト・ウィンドウ」のトリックを使用することで、精度をほぼ完全に回復できました。最高のメモリ負荷時において、InferScale は 60.3% の正解率を記録しました。これは旧来のシステムの 63.3% に非常に近く、かつ遥かに高速でした。

なぜ重要なのか
この論文は、「賢く記憶豊かなAI」と「速いAI」のどちらか一方を選ぶ必要はないということを証明しています。記憶の保存を GPU に移行し、「脳のメモ」を直接注入することで、AI の速度を記憶のサイズから切り離すことに成功しました。このシステムは、AI モデルの再学習や、基礎となるエンジンの変更を必要とせず、パーソナライズされたAIアシスタントの未来に向けた実用的なアップグレードとなります。たとえメモリデータが高速な GPU に収まりきらないほど巨大であっても、通常のコンピュータメモリにオフロードすることで、現在の方法よりも大幅に高速な状態を維持できることが示されました。

技術要約: InferScale

問題提起

大規模言語モデル（LLM）アプリケーションは、複数のリクエスト間で共有される持続的かつパーソナライズされたコンテキスト（例：蓄積されたユーザーの記憶や長い会話履歴）にますます依存しています。現在のプロダクション環境におけるメモリシステム（Mem0、MemGPT、Zepなど）は、長いコンテキストによる二次的なプリフィル（prefill）コストに対処するため、関連するメモリ・ファクトのサブセット（ $k$ ）を検索し、それらをプロンプト内にテキストとして注入しています。

しかし、この「プロンプト注入」のアプローチは、重大なサービングコストを発生させます。検索された各ファクトは、リクエストごとに再計算（再プリフィル）されなければなりません。その結果、メモリが同一であっても、検索予算（ $k$ ）に対してタイム・トゥ・ファースト・トークン（TTFT）が線形または二次関数的に増大します。既存のKV再利用技術であるプレフィックス・キャッシュングは、再利用されるトークンが固定の位置にあることを前提としていますが、メモリシステムはリクエストごとに異なるファクトのサブセットを動的に組み立てるため、この前提を満たせません。

メソドロジー

InferScaleは、繰り返されるプロンプトのプリフィルに代わり、直接的なKV注入を行う**GPUネイティブな検索・注入（retrieve-and-inject）**アーキテクチャを提案します。検索されたテキストをGPUに送って再計算させる代わりに、InferScaleはメモリ・ファクトのKey-Value（KV）表現を事前計算し、それらをアテンション・キャッシュに直接注入します。

本システムは、vLLMサービングエンジンのKVコネクタ・インターフェースを介したプラグインとして実装されており、モデルのファインチューニングやエンジンの変更を必要としません。アーキテクチャは以下の2つのフェーズで構成されます。

1. オフライン・フェーズ：コンテキスト・ウィンドウ・エンコーディング

ファクトを個別にエンコードすることによるコンテキストの欠落に対処するため、InferScaleはコンテキスト・ウィンドウ・エンコーディングを採用しています。

プロセス: 各メモリ・ファクトは、先行する会話ターンの設定可能なウィンドウ（ $w$ ）と共にエンコードされます。
最適化: ターゲットとなるファクトに対応するKVテンソルのみが保持され、コンテキスト・トークンは破棄されます。
結果: 保持されるKV表現は、必要な曖昧性解消のためのコンテキスト（例：代名詞の解決）を捉えますが、サービング時のコンテキスト・トークンの再プリフィルは不要になります。

2. オンライン・フェーズ：チャンク化されたRoPEとKV注入

検索されたファクトが動的に組み立てられるため（任意のプロンプト位置でのKV状態の再利用を可能にするため）、InferScaleは**チャンク化されたRoPE（Chunked RoPE）**を導入しています。

Pre-RoPE ストレージ: オフライン・エンコーディング中、回転位置埋め込み（RoPE）が適用される前にキーがインターセプトされます。これらの回転前のキーと生のバリュー（Value）がGPU上に保存されます。
動的回転: サービング時、検索されたファクトは連続したセグメントとして構成されます。システムは、新しいサービング時の位置に基づいて、事前保存されたキーに対して適切なRoPE回転を適用します。
理論的保証: 本論文では、この再回転がRoPEの下で数学的に正確であることを証明しており（定理6）、これにより、ファクトがその位置でプリフィルされた場合とアテンション・スコアが同一になることが保証されます。
注入: 構成されたKVテンソルは、vLLMのPaged KVキャッシュに直接スキャッター・コピーされます。モデルはクエリ・トークンのみをプリフィルし、注入されたメモリに対してあたかも計算されたかのようにアテンションを行います。

主な貢献

検索・注入推論（Retrieve-and-Inject Inference）: 著者らは、検索されたメモリを再プリフィルする必要がないことを示しました。メモリが意図した位置に注入されている限り、事前計算されたKV状態をアテンション・キャッシュに直接注入することは、因果的デコーダー・トランスフォーマーにおいてプロンプト注入と完全に等価であることを証明しています（定理3）。
チャンク化されたRoPE（Chunked RoPE）: 位置に依存しないKV再利用のための新しいメカニズムです。キーを回転エンコーディング前に保存し、注入時に再回転させることで、一度エンコードされたファクトを近似なしに任意の位置に注入することを可能にします（定理6）。
コンテキスト・ウィンドウ・エンコーディング: ファクトの独立したエンコーディングによって失われる精度を回復する技術です。オフライン・フェーズで先行するコンテキストのウィンドウ（ $w$ ）と共にエンコードすることで、サービング時の再計算コストを負うことなく、ファクト間の相互作用を保持します。
GPUネイティブなシステム設計: InferScaleは、GPU内に常駐するセマンティック検索（Jasperインデックスを使用）と再利用可能なKVストレージを統合しています。これにより、検索インデックスとKVストアの両方をGPU上に保持し、検索されたテキストのPCIe転送や繰り返しのプリフィルを排除します。

結果

LoCoMoベンチマークを用い、3つのオープンウェイトモデル（Llama-3.1-8B, Mistral-7B, Qwen2.5-7B）において、最先端のMem0システムと比較して評価を行いました。

レイテンシ（TTFT）: InferScaleは、サービング・レイテンシを検索予算から切り離します。 $k$ が5から50に増加しても、InferScaleのTTFTはほぼ一定（Llama-3.1-8Bでわずか約4%の増加）ですが、Mem0のTTFTは106%増加します。 $k=50$ において、InferScaleはMem0と比較して3.6〜4.8倍のTTFT高速化を達成しました。
スループット: 同時実行負荷（最大100ユーザー）の下で、InferScaleはほぼ線形なスケーリングを示し、Mem0よりも3.7〜4.5倍高いスループットを達成しました。Mem0は、繰り返されるプリフィルの計算ボトルネックにより早期に飽和します。
精度: 独立したエンコーディング（ $w=0$ ）は、当初は精度を低下させます。しかし、コンテキスト・ウィンドウ・エンコーディング（ $w \ge 20$ ）を用いることで、InferScaleは失われた精度のほぼすべてを回復し、 $k=50$ においてLlama-3.1-8Bで60.3%（Mem0の**63.3%**と比較）を達成しました。精度の差は、主に複雑なクロス・ファクト・アテンションを必要とするマルチホップ推論タスクに限定されています。
スケーラビリティ: 本システムは、同様のレイテンシの利点を維持しながら、より大きなモデル（Qwen3-14B）にもスケールします。GPUメモリ容量の制限を克服するためにKVストアをホストDRAMにオフロードすることも可能であり、その際のTTFTへの追加はわずか約3msであり、Mem0に対して2.3倍のエンド・ツー・エンド・レイテンシ優位性を維持しています。

意義と主張

本論文は、InferScaleがパーソナライズされたLLMのサービング・プリミティブを根本的に変えるものであると主張しています。トークン層の注入からアテンション層の注入へと移行することで、検索されたコンテキストに関連する二次的なプリフィル・コストを排除します。

著者らは以下の点を強調しています：

厳密性: KV注入メカニズム（Chunked RoPEを伴う）は近似ではなく、クエリ位置に対するプロンプト注入との完全な等価性を持つ。
ゼロ・オーバーヘッド: 本システムは、モデルのファインチューニング、エンジンの変更、および既存の検索パイプラインの変更を一切必要としない。
デカップリング: メモリ条件付きのサービング・レイテンシを、検索されたコンテキストのサイズから切り離すことに成功しており、大きな検索予算を用いた場合でも、高スループットかつ低レイテンシのパーソナライズされたサービングを可能にする。

本研究は、プロダクション環境のメモリシステム（依然としてプリフィル・コストを支払う必要がある）や、既存のKV再利用技術（固定されたプロンプト・レイアウトに依存している）とは一線を画しています。アテンション層への注入を、静的または準静的なコンテキストでLLMを条件付けるためのデフォルトのプリミティブとして位置付けています。