💬 NLP

KV-Fold: One-Step KV-Cache Recurrence for Long-Context Inference

KV-Fold は、モデルの再学習やアーキテクチャの変更を必要とせず、深い連鎖にわたって安定かつメモリ効率よくシーケンス処理を可能にするために、KV キャッシュを左折畳み込みアキュムレータとして扱う、トレーニング不要の単純な長文脈推論プロトコルである。

原著者： Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

公開日 2026-05-13

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してください。ある非常に優秀で超知的な司書（AI モデル）がいて、本を読み、その本について質問に答えることができると。しかし、ある問題があります。この司書の机はとても小さく、一度に開いておけるのは数ページだけなのです。1,000 ページの小説を与えれば、机が溢れてしまうため、一度に全体を読むことはできません。

通常、この問題を解決するために、私たちは司書に以下のいずれかを指示します：

最初の部分を忘れる：最後の数ページだけを見る（スライディングウィンドウのようなもの）。
過去を要約する：物語全体を小さなメモに圧縮しようとする（これでは詳細が失われることが多い）。
より大きな机を作る：これは高価であり、巨大な本の場合、しばしば不可能です。

KV-Fold は、机を大きくすることなく、要約することなく、最初の部分を忘れることなく、司書が本全体を読めるようにする新しい巧妙なトリックです。

核心的なアイデア：「折りたたみ」のトリック

本を長い紙の帯だと考えてください。その帯全体を一度に読もうとするのではなく、それを小さく管理しやすい断片に切り分けます。

最初の断片：司書は最初の断片を読みます。読む際に、特別な「付箋」にメモを取ります（これがKV キャッシュです）。このメモには、今読んだ部分の本質が含まれていますが、後で特定の詳細を振り返れるような形で記録されています。
次の断片：2 番目の断片に移ると、最初の付箋を捨てません。代わりに、2 番目の断片から取った新しいメモを、最初のメモのすぐ隣に貼り付けます。これで、メモの帯はより長くなります。
反復：これを繰り返します。断片を読み、メモを成長する帯に追加し、次の断片へ進みます。

この論文では、これを**「左折りたたみ（Left Fold）」**と呼んでいます。長い紙を何度も折りたたむことを想像してください。折りたたむたびに新しい層が加わりますが、以前の層は下に残り、アクセス可能です。司書はこの成長するメモの束を、一歩一歩、先へ運んでいきます。

大きな驚き：混乱しない

「メモを積み重ね続けると、いつか司書が混乱するのではないか。1 ページ目のメモが 500 ページ目のノイズの中に埋もれてしまうのではないか」と思うかもしれません。

しかし、この論文は驚くべき発見をしました：司書は混乱しないのです。

「ドリフト」のプラトー：最初は、司書が最初の断片から 2 番目の断片に切り替わるとき、思考のスタイルがわずかに変化します（新しい部屋に慣れるようなもの）。しかし、数ステップ後にはこの変化は止まります。「平坦なプラトー」に達するのです。
安定した状態：数百の断片を読んだ後でも（彼らのテストでは最大 511 ステップ）、司書の性能は悪化し続けることはありません。安定したままです。まるで司書が心地よいリズムを見つけ、それに固執しているかのようです。
精度は関係ない：司書が物事を測る「ものさし」を変えても（高精度の数学から低精度の数学へ）、結果は同じです。この安定性は、単なる数学ではなく、論理そのものに組み込まれています。

「干し草の山の中の針」テスト

これが機能することを証明するために、研究者たちは「干し草の山の中の針」というゲームを行いました。

ゲームの内容：特定の文（「針」）を、巨大な文書（「干し草の山」）の奥深くに隠しました。
テスト：司書に文書全体を読んだ後、その文を見つけるよう求めました。
結果：
- 従来の方法（ストリーミング）：針が最初の数ページにあった場合、司書は見つけました。しかし、針が途中や終わりにある場合、机が小さすぎるため司書はそれを忘れてしまいました。
- KV-Fold：司書は100% の確率で針を見つけました。たとえそれが 128,000 語の文書の非常に最初の部分に埋もれていてもです。その後、数百の断片を読んだ後でも、最初の断片からの正確な詳細を思い出すことができました。

なぜこれが重要なのか（専門用語なしで）

再トレーニング不要：司書に新しい考え方を教える必要はありません。本を渡す方法を変えるだけです。司書はもともとこれを行うのに十分な賢さを持っています。私たちが与えたのは、より良いワークフローに過ぎません。
メモリとのトレードオフ：司書は依然としてすべてのメモ（KV キャッシュ）を机に置いておく必要があります。したがって、本が長くなるにつれて机も大きくなります。しかし、これは現在のコンピューターにとって不可能である「本全体を頭の中に保持する」試みよりもはるかに優れています。
完全な想起：古いページを要約したり捨てたりする方法とは異なり、KV-Fold はすべての詳細をアクセス可能な状態に保ちます。最初の文に関する質問をしても、司書はそれを見つけることができます。

要約の比喩

あなたが友人に長い話をしている場面を想像してください。

従来の方法：あなたは物語の最後の 5 分間しか覚えていません。私が最初の部分について尋ねると、「わかりません」と言います。
KV-Fold の方法：あなたはこれまでに登場したすべてのキャラクターとプロットのポイントを記録したリストを持っています。物語の次の部分を進める際、そのリストをちらりと見て、誰が誰だったかを思い出します。リストは長くなりますが、それで混乱することはありません。「最初の文に出てきた犬の名前は？」と尋ねられても、その名前はまだリストにあり、完璧に保存されているため、答えることができます。

この論文は、AI モデルがすでにこの「リスト」機能を持っています。私たちが気づく必要があったのは、それを繰り返しループとして使用することで、コンピューターのメモリを破綻させることなく無限の長さの本を読めるということでした。

技術的概要：KV-Fold

問題定義

大規模な事前学習済みトランスフォーマーは、完全アテンションの二次的なメモリコストと、単一のフォワードパスにおける固定されたコンテキストウィンドウによって制約されています。最近のモデルは数十万トークンまでのコンテキストウィンドウをサポートしていますが、現実世界のワークロード（例えば、リポジトリ規模のコード、縦断的な医療記録）はしばしばこれらの限界を超えます。既存の解決策は、一貫したトレードオフに直面しています：

ストリーミング手法（例：StreamingLLM）は、最近のトークンと「アテンションシンク」のみを保持することでメモリを有界に保ちますが、スライディングウィンドウの外に落ちた情報の検索能力を失います。
KV キャッシュ圧縮および再帰的メモリ手法は、しばしばモデルの変更や微調整を必要とするか、検索忠実度を低下させる損失近似を導入します。
完全アテンションは、アテンションスコア行列の巨大なサイズ（例：40GB GPU 上の 128K シーケンスで約 1TB）により、標準的なハードウェアでは極端に長いシーケンスに対して計算上実行不可能です。

本論文は、アーキテクチャの変更や学習なしに、凍結された事前学習済みトランスフォーマーが内部状態を連続するチャンク間で保持し、再帰として長コンテキスト推論を実行できるかどうかを問うています。

手法：KV-Fold

著者らは、シーケンスのチャンクに対する左折（foldl）の累積器として Key-Value（KV）キャッシュを扱う、学習不要な推論プロトコルであるKV-Foldを提案します。

メカニズム: 長さ $T$ $T$ の長いシーケンスを長さ $C$ $C$ のチャンクに分割します。チャンク $t$ $t$ を処理する際、モデルは以下のフォワードパスを実行します：
1. クエリ（ $Q$ ）は現在のチャンクのトークンから生成されます。
2. キー（ $K$ ）と値（ $V$ ）は、すべての以前のチャンク（$0 $から$ t-1$）から累積された KV キャッシュと、現在のチャンクの KV 状態を連結することで形成されます。
3. 位置エンベディング（RoPE）は、絶対的なシーケンス整合性を維持するために、チャンク境界をまたいで連続的に適用されます。
4. 拡大された KV キャッシュは、チャンク $t+1$ へ前方へ渡されます。
状態: モデルパラメータは凍結されたままです。特別なメモリトークンや微調整は導入されません。KV キャッシュはシーケンス長に比例して線形に成長し、モデルの過去の計算の構造化された非圧縮記録として機能します。
アナロジー: このプロセスは、関数型プログラミングにおける左折に類似しており、KV キャッシュは各チャンク境界で単一ステップの再帰関数 $F_\theta$ によって更新される累積器状態として機能します。

主要な貢献

KV-Fold プロトコル: 累積された KV キャッシュをチャンク間で保持することで、標準的なトランスフォーマーを再帰的な長コンテキストモデルに変換する、シンプルかつ実用的な転換。
再帰の安定性: 誘発された再帰が無限の誤差蓄積に苦しむことはないという実証的証拠。代わりに、「ドリフト」（完全アテンションとの対数尤度負の差）は一時的に上昇した後、深い連鎖全体にわたって持続する平坦なプラトーに飽和します。
構造的ドリフト対数値的ドリフト: このプラトーは、数値的アーティファクトではなく、アテンションダイナミクスの構造的性質であることが示されています。これは、数値精度を 10,000 倍（bf16 から fp32 へ）増加させても安定しており、異なるモデルファミリー（OLMoE、Qwen、Llama）やチャンクサイズにおいても頑健です。
正確な長距離検索: この手法は、長距離にわたって正確な事実情報を保持します。「干し草の山の中の針」ベンチマークにおいて、KV-Fold は 128K トークンまでのコンテキストと 511 までのチェーン深さ全体で 100% の完全一致検索を達成し、完全アテンションのパフォーマンスと一致します。
実用的なトレードオフ: この論文は、メモリ対検索のスペクトル上における手法の位置を特徴づけます。有界メモリを持つストリーミングとは異なり線形なメモリ成長を必要としますが、ストリーミング手法が失敗する任意の深さでの検索を可能にし、単一のモノリシックなフォワードパスをサポートできないハードウェア上で完全アテンションに相当する検索を実行することを可能にします。

主要な結果

ドリフトの飽和: Qwen2.5-7B-Instruct において、ドリフトは深さ 7 で飽和し、深さ 63 まで平坦に維持され、深さ 15 から 60 の間での変化はわずか -0.0003 nats でした。
検索パフォーマンス:
- 単一針: Llama-3.1-8B において、16K から 128K トークンまでのコンテキストと最大 511 のチェーン深さにわたる 152 回の試行で、100% の検索精度を達成しました。
- 多針: 複数の異なる事実を同時に検索する場合、99.4%（175/176）の検索精度を達成しました。
ハードウェアの実現可能性: 40GB の A100 GPU において、128K シーケンスに対する単一の完全アテンションフォワードパスは実行不可能です（アテンションスコアに約 1TB が必要）。KV-Fold は同じシーケンスを 171 秒で処理し、ピークメモリ使用量は 35.6 GB で、ハードウェアの制限内に収まります。
StreamingLLM との比較: 128K コンテキストにおいて、StreamingLLM は有界メモリ（16.6 GB）を維持し、実行時間が短い（22 秒）ものの、「針」が 1024 トークンのウィンドウから外れると検索精度は 0% に低下します。KV-Fold はすべてのテストされた距離で 100% の検索を維持しますが、より高いメモリ（35.6 GB）とより長い実行時間を必要とします。

意義と主張

本論文は、凍結された事前学習済みトランスフォーマーがすでに KV キャッシュ再帰の安定した形態をサポートしていると主張しています。主な意義は、高忠実度な検索を達成するために、長コンテキスト推論が厳密にはアーキテクチャの変更、学習、または損失圧縮を必要としないことを実証した点にあります。

著者らは、KV-Fold がモデルが特定の過去のトークンへのアクセス能力を低下させることなく情報を再帰的に処理できる「わずかにシフトしたが安定したアテンション領域」を明らかにすると論じています。これは、線形なメモリ成長と引き換えに、それ以外では切断または近似されるであろうシーケンス上の正確な検索を実行する能力を提供することで、既存のハードウェア上でコンテキストウィンドウを拡張する実用的な道筋を提供します。論文は、この手法が完全アテンション以下の総 FLOPs やメモリを削減するわけではありませんが、計算を処理可能なステップに再編成し、以前は不可能であった長コンテキスト推論を実行可能にすると結論付けています。今後の課題として、残留ドリフトを軽減するための軽微な微調整や、ネイティブなコンテキストの限界を超えて押し広げるための位置拡張技術との組み合わせが提案されています。