技術的概要：すべての思考に HBM は必要ない

問題定義

OpenAI o1 や DeepSeek-R1 などの推論能力を備えた大規模言語モデル（LLM）は、思考連鎖（CoT）を生成しますが、これはしばしば数千トークンに及ぶ長大な連鎖となります。この推論プロセスは、深刻なメモリ負荷を課します。生成されるすべてのトークンは、推論中に希少かつ高価な GPU の高帯域幅メモリ（HBM）に常駐しなければならないキー・バリュー（KV）ペアをキャッシュに追加するからです。例えば、7B モデルにおける 2,000 トークンの推論連鎖は、リクエストあたり約 800 MB の HBM を消費します。

HBM 不足に対する業界の支配的な対応は、エビクション（排除）です。これは、キャッシュを GPU メモリ内に収めるために、「重要度が低い」と判断されたトークンを恒久的に破棄するものです。しかし、著者らはこのアプローチが推論タスクに対して壊滅的であることを実証しています。遠くのコンテキストがしばしば冗長である標準的な言語モデリングとは異なり、推論連鎖はプログラムのように機能し、数百トークン前に計算された中間結果が、後で予測不可能に参照される可能性があります。論文は、重要性スコアリング機構の洗練度に関わらず、KV キャッシュのわずか 50% をエビクションするだけで、精度が約 22% から 0〜2.5% に崩壊すること（「崖効果」）を示しています。

手法：意味意識型メモリ階層

著者らは、「どのトークンを破棄できるか」という問いを、「各トークンをどこに配置すべきか」という問いへと根本的に転換することを提案します。トークンを恒久的に破棄するのではなく、累積アテンションスコアに基づいてトークンを分類する4 段階の意味意識型メモリ階層を導入します。

1. 4 段階分類

システムは、リアルタイムの重要性スコアリングに基づいて推論トークンを 4 つの段階に分類します。

• T0（HBM）: 保護されたトークン（プロンプト、アテンションシンク、最近のウィンドウ）および最も重要度の高い推論トークンを含みます。これらは即座のアクセスのために GPU の HBM に残ります。
• T1（DDR）: 中程度の重要度を持つトークンは、全精度で CPU の DDR メモリへオフロードされます。重要なのは、これらのトークンが各アテンションステップの前に GPU へプリフェッチされることです。
• T2（圧縮）: 低重要度のトークンは、CPU 上で低精度（例：8 ビット量子化）で保存されます。著者らは、この段階が高精度への感受性が高いため、現時点では推論に対して効果的ではないと指摘しています。
• T3（エビクション）: 絶対的に最も重要度の低いトークンの尾部のみが恒久的に削除されます。

2. 重要性スコアリング

システムは累積アテンションスコアリングを使用します。各デコーディングステップ $t$ において、位置 $i$ の重要性スコア $s_i$ は、すべてのレイヤーとヘッドにわたるアテンション重みを合計することで更新されます。
$$s_i^{(t)} = s_i^{(t-1)} + \frac{1}{|L|} \sum_{\ell \in L} \frac{1}{H} \sum_{h=1}^{H} \alpha_{\ell,h}^{(t)}[i]$$
このアプローチは、トークンが数百ステップ後に決定的になる可能性がある推論の非定常性を考慮し、トークンの有用性の完全な履歴を捉えます。

3. ゼロ近似誤差オフロード

核心的な理論的貢献は、ゼロ近似誤差オフロードの形式化です。T1 トークンはアテンション計算の前に全精度で GPU へプリフェッチされるため、HBM から一度も離れていなかった場合と完全に同一の項をアテンション出力に寄与します。

• 命題 1: 近似誤差は、HBM（T0）と DDR（T1）の分割には依存せず、恒久的にエビクションされたトークンの集合（T3）のみに依存します。
• 含意: 精度は、エビクション率（どの程度のトークンが破棄されるか）によって決定され、HBM 率（GPU メモリにどの程度のトークンが残るか）によって決定されるわけではありません。

4. システム実装

システムは、ソートコストを償却するために、$\Delta=64$ デコーディングステップごとに動的な段階割り当てを行います。非同期差分プリフェッチを採用し、DDR から GPU へ昇格した新しいトークンのみ転送することで、PCIe トラフィックを最小化します。レイテンシとスループットを検証するために、実際の GPU–CPU データ移動（PCIe Gen5）を使用したシステムプロトタイプが構築されました。

主要な結果

1. 精度対エビクション率

3 つのモデル規模（7B、14B、32B）と 4 つのベンチマーク（GSM8K、MATH-500、MATH Level-5、ARC-Challenge）にわたる実験は、以下のことを確認しました。

• エビクションは破壊的: 純粋なエビクション（オフロードなしでのトークン削除）は、予算が 50% になると精度をほぼゼロまで崩壊させます。
• オフロードは有効: 恒久的なエビクションをわずか**3%に抑えることで、階層は GSM8K（n=200）でフルキャッシュ精度の91%を、MATH-500 で71%**を維持します。
• HBM からの独立性: エビクション率を一定に保ちながら HBM 率（30%、50%、70%）を変化させても、統計的に有意な精度差は生じません（p > 0.3）。逆に、エビクション率を変化させると、最大 18% までの精度の激しい変動が生じます。

2. 最先端技術との比較

• H2O/StreamingLLM 対比: この階層は、重 hitter エビクションのベースラインを大幅に上回ります。同様のメモリ予算において、H2O は約 2〜30% の精度しか達成できませんが、この階層は 58〜65% を達成します。
• R-KV（推論意識型エビクション）対比: 著者らは、彼らの設定において R-KV（重要性と冗長性を組み合わせたスコアリングを使用する同時進行の最先端手法）を再現しました。R-KV は予算に応じて 0〜32% の精度しか達成できませんでしたが、この階層は 3% のエビクションのみで 56〜62% を達成しました。著者らは、恒久的に破壊された情報をいかなるスコアリング関数も回復できないと主張しています。

3. システムオーバーヘッド

システムプロトタイプ（RTX 5080、PCIe Gen5）は、DDR にトークンを保持するコストが軽微であることを示しています。

• 転送オーバーヘッド: PCIe 転送は、推論全体の時間のわずか**5〜7%**を占めます。
• スループット: フルキャッシュ推論と比較してスループットは約 14% 低下（21.8 から約 18.7 トークン/秒）しますが、精度はベースラインと一致したままです。
• メモリ節約: スケーリング予測によると、生産環境のバッチサイズ（例：バッチ=8、70B モデル）の場合、このアプローチは2〜48 GBの HBM を節約でき、それまでマルチ GPU 設定を必要としたモデルの単一 GPU 提供を可能にする可能性があります。

4. 精度感度

論文は、推論トークンが精度に対して非常に敏感であると指摘しています。T2（8 ビット量子化）へのオフロードは、5% のエビクションにおいて精度を 58% から 20% に低下させました。これは、推論を意識した圧縮が将来の必要な方向性であることを示唆していますが、現時点では全精度オフロードの代替手段として実用的ではないことを示しています。

意義と主張

この論文は、推論 LLM 向けの KV キャッシュ管理のパラダイムを根本的に変えることを主張しています。

1. 容量と品質の分離: トークンを破棄するのではなく、安価なメモリ（DDR）へオフロードする限り、HBM 容量を積極的に削減しても推論品質を犠牲にしないことを証明します。
2. 「崖」と「ノブ」: エビクションの「崖効果」を推論における根本的な失敗モードとして特定する一方、エビクション率を階層の調整可能なノブとして機能させます。
3. アーキテクチャの類似性: この研究は、現代の AI システムの問題を解決するために、60 年にわたるコンピュータアーキテクチャの原理（メモリ階層）を借用し、「すべてのデータがプロセッサに等しく近接している必要はない」と論じています。
4. ゼロ誤差保証: オフロードは近似誤差を導入しないという形式的な保証を提供し、本質的に情報を失う圧縮や量子化手法と区別します。

著者らは、テスト時計算のスケールに伴い推論連鎖が長くなるにつれて、「記憶しなければならないもの」と「高速である必要があるもの」の間の隔たりが広がることを指摘し、メモリ階層が「エビクションか何もしないか」というパラダイムを超えた必然的な進化であると結論付けています。