技術要約：何を残し、何を忘れるか：LLMとエージェントにおけるメモリ圧縮のレート・歪み論的視点

問題提起

大規模言語モデル（LLM）およびそれに基づき構築されたエージェントは、計算リソースをメモリ管理（アテンションのキーおよび値（KV）のキャッシュ、長いプロンプトの保持、再帰的な状態の保存、エージェントのインタラクション履歴の保持など）にますます多く割くようになっている。コンテキスト長が長くなるにつれ、メモリは主要なボトルネックとなり、モデル自身の重みのフットプリントを超えることさえある。

現在、4つの異なる研究コミュニティが、このボトルネックに対して個別にアプローチしている：

1. KVキャッシュ圧縮： 推論時におけるトークンの退去（eviction）、量子化、またはマージ。
2. プロンプト／コンテキスト圧縮： モデルが処理する前の入力トークンの削減または蒸留。
3. アーキテクチャ上の制約： 再帰、状態空間モデル、または線形アテンションによるメモリの境界設定。
4. エージェントメモリ： エージェントの軌跡（trajectory）および長期的な知識の集約と要約。

これらのコミュニティは、それぞれ独自のベンチマーク、成功指標、設計思想を持っており、互いに引用し合うことはほとんどない。本論文は、これらは別個の問題ではなく、単一の根本的な課題、すなわちレート・歪み（rate–distortion）の決定問題の異なる事例であると主張している。核心となる問題は、ダウンストリームのタスクの有用性を維持するために、限られたリソース予算の下で、どのコンテキスト由来の情報を、どの程度の忠実度で保持し、あるいは破棄するかを決定することである。

方法論と定式化

著者らは、メモリ圧縮をレート・歪み最適化問題として扱う統一的な定式化を提案している。

統一された目的関数

与えられた履歴 $H$（利用可能なすべてのトークン、状態、またはメモリ）に対し、圧縮演算子 $C_\theta$ は予算 $B$（バイト、トークン、または状態次元で測定）に従ってコンパクトな表現 $Z$ を生成する。次に、使用演算子 $U$ が $Z$ から出力 $\hat{Y}$ を生成する。設計目標は、レート制約の下で期待損失（歪み）を最小化することである：
$$\min_\theta \mathbb{E}[\ell(U(C_\theta(H), Q), Y)] \quad \text{subject to} \quad \text{rate}(Z) \le B$$
これは情報ボトルネック問題としてフレーム化される：$I(Z; Y | Q)$（回答を予測するために必要な履歴のビット数）を最大化しつつ、$I(Z; H) \le B$ を満たす。

理論的下限

著者らは、ファノの不等式を用いて、レイヤーに依存しないエラー確率 $P_e$ の下限を導出している。$I^\star(Q) = I(Y; H | Q)$ をタスク条件付き情報量（クエリ $Q$ に答えるために真に必要とされる履歴のビット数）とする。もし予算 $B < I^\star(Q)$ である場合、エラーは以下のように制限される：
$$P_e \ge \frac{H(Y|Q) - B - 1}{\log |\mathcal{Y}|}$$
主要な示唆：

1. エラーの不可避性： 情報要求量 $I^\star(Q)$ を下回る場合、あらゆるレイヤーにおいてエラーが発生する。いかなるアーキテクチャもこれを回避することはできない。
2. タスク依存性： 固定された品質における圧縮率は $I^\star(Q)$ に依存する。高エントロピーなタスク（正確な検索）は圧縮が困難であり、低エントロピーなタスク（要約）は圧縮が容易である。
3. クエリ非依存のペナルティ： クエリを見る前に保持する内容を決定する演算子（クエリ非依存型）は、全クエリ分布に対して予算を分散させる必要があり、$H(Q)$（クエリのエントロピー）というペナルティを支払うことになる。クエリ条件付きの演算子は、回答に関連するビットに全予算を投じることができる。

7軸のタクソノミー（分類体系）

手法を統一的に分類するために、著者らは以下の7つの直交する軸に基づくタクソノミーを導入している：

1. 粒度（Granularity）： ビット幅からセマンティックな項目まで。
2. ライフサイクル段階（Lifecycle Stage）： 事前学習、プリフィル、デコーディング、サービング、タスク内、またはタスク間。
3. 損失性／忠実度（Lossiness/Fidelity）： 無損失、ニアロスレス、一様損失、またはマルチフィデリティ。
4. クエリ／タスク適応性（Query/Task Adaptivity）： クエリ非依存型 vs クエリ条件付き型。
5. 学習可能性（Learnability）： 学習フリー、事後学習アダプター、またはゼロからの学習。
6. メカニズム（Mechanism）： 退去（eviction）、検索（retrieval）、マージ、量子化など。
7. ストレージ基盤（Storage Substrate）： GPU上、外部ストア、またはモデルの重み。

主な貢献

1. 統一された定式化と下限： 本論文はメモリ圧縮を単一のレート・歪み問題として定式化し、エラー率が同一の式によって支配されることを示す下限（式2）を導出した。また、「クエリ非依存のペナルティ」を定量化可能なコストとして特定した。
2. 7軸のタクソノミー： KVキャッシュ、プロンプト、アーキテクチャ、およびエージェントメモリの各手法を統一する分類システムを提示し、それらの違いは主に粒度、ライフサイクル段階、および適応性に起因することを明らかにした。
3. クロスレイヤーのメカニズム転移： あるレイヤーで洗練されたメカニズムを他のレイヤーに移植できることを示している。例えば：
   • エージェントの忘却曲線（エビングハウス）は、KV退去の事前分布として機能し得る。
   • 非退去型検索（Quest）は、エージェントメモリのデザインを示唆する。
   • 出力エラー境界（Ada-KV）は、エージェントの要約における停止ルールを示唆する。
4. 失敗モードの特定： 成功を決定する2つの重要な特性として、可逆性（Reversibility）（破棄された内容を再導出できるか？）とクエリ条件付き（Query-Conditioning）（決定がクエリに依存するか？）を挙げている。これらを持たない手法（例：不可逆な要約）は、繰り返される圧縮の下で超線形的なエラー蓄積に苦しむことを本論文は予測している。
5. COMPACT-Benchの提案： 「履歴の1トークンあたりのバイト数（BPT）」という統一された軸を用いて、圧縮を測定するための新しいベンチマーク案を提示している。これには、損失の帰属、可逆性、および較正された信頼性を測定するタスクが含まれており、特に現在のベンチマークが無視している「繰り返される圧縮」のレジームをテストする。
6. 参照実験： 一般的なハードウェアを用いた小規模な実験により、以下を実証している：
   • 統一された精度–予算のフロンティア。性能は予算が $I^\star(Q)$ を下回ると崩壊する。
   • 可逆的演算子と不可逆的演算子の間の乖離。不可逆的な手法は、可逆的な手法と比較して事実を約50%失う。

結果と観察

• 普遍的な失敗モード： すべてのレイヤーにおいて、クエリが判明する前に保持する内容を決定し、かつその決定を取り消せない（不可逆かつクエリ非依存の）手法は、同様に失敗する。すなわち、後にクエリが必要とする情報を破棄してしまう。
• 可逆性の優位性： 同等の予算において、可逆的な演算子（検索ベース、アーカイブ型）は、不可逆的な演算子（退去、要約）よりも一貫して優れた性能を示す。これは、破棄された材料に依存するクエリにおいて顕著である。
• 測定のギャップ： 現在のベンチマークは、単発のロングコンテキスト・タスクに焦点を当てている。これらは、エージェントの実際の動作モードである「繰り返される圧縮」のコストを測定できていない。本論文は、不可逆的な手法ではエラーの蓄積が超線形的であるのに対し、可変的な手法では平坦であることを示している。
• サロゲートとしての注意ヒューリスティック： 一般的なヒューリスティック（累積アテンション質量、パープレキシティ、相互情報量）は、すべて歪みのサロゲート（代用指標）として特定されている。これらが同等である理由は、それらが同じ根底にある量、すなわち「これを破棄することが回答にどれほど悪影響を与えるか？」を推定しているためである。

意義と主張

メモリ圧縮をレート・歪みのレンズを通して見ることは、以下の3つの具体的な利益をもたらすと本論文は主張している：

1. 共通の尺度： 異なるレイヤー（例：KV量子化器とエージェント要約器の比較）を、共通の予算軸にマッピングすることで直接比較することを可能にする。
2. 統一された失敗分析： なぜ多様な手法が同様に失敗するのか（不可逆性とクエリ非依存性に起因）を説明し、特定の失敗の兆候（例：U字型の想起曲線、超線形的なエラー成長）を予測する。
3. 技術の移植性： アーキテクチャ上の制約をエージェントメモリに適用したり、エージェントの集約戦略をKV管理に活用したりするなど、証明されたメカニズムのレイヤー間転移を可能にする。

著者らは、分野として単独のヒューリスティックの改善ではなく、共有された目的を認識し、可逆性、クエリ条件付き、および繰り返される圧縮を考慮した統一されたプロトコルで圧縮を測定することから進展が得られると強調している。

未解決問題とアジェンダ

論文は優先度の高い研究アジェンダを概説している：

• すべてのレイヤーに対する、クエリ条件付き、可逆的、マルチフィデリティな圧縮演算子の開発。
• **情報損失の帰属（attribution）**および較正された信頼性のメカニズム。
• 演算子の合成（例：量子化が退去とどのように相互作用するか）のマッピング。
• モデルおよびタスクのパラメータに基づいて $I^\star(Q)$ を推定するための、予測的な圧縮スケーリング則の導出。
• 出力エラー境界に基づく、エージェント要約の停止ルールの確立。
• 自己編集型メモリシステムにおける安全性と監査可能性への対処。