🤖 machine learning

Irminsul: MLA-Native Position-Independent Caching for Agentic LLM Serving

Irminsul は、マルチヘッド潜在アテンションのアーキテクチャ構造を活用してコンテンツアドレス型キーバリュキャッシングを実現するネイティブな位置非依存キャッシングシステムをエージェンティック LLM 向けに導入し、従来のプレフィックスマッチング手法に固有のキャッシュ無効化問題を克服することで、プロンプトトークンの 83% までの回復とプリフィルエネルギーの 63% 削減を達成します。

原著者： Bole Ma, Jan Eitzinger, Harald Köstler

公開日 2026-05-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bole Ma, Jan Eitzinger, Harald Köstler

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが非常に忙しく高速な図書館を運営していると想像してください。その図書館には、ある質問に答えるために大量の文書スタックを読み上げなければならない司書（AI）がいます。速くするため、司書は読み上げた直後のページを「カンニングペーパー（キャッシュ）」として保持し、毎回ゼロから読み直す必要がないようにしています。

問題：「場所」対「内容」

従来の方法（プレフィックスキャッシングと呼ばれる）では、司書のカンニングペーパーは厳密に場所によって整理されていました。

「1 ページ目はシステムプロンプトです」
「2 ページ目は文書 A です」
「3 ページ目は文書 B です」

司書が新しい質問をし、順序が少し変わるとします。例えば、「1 ページ目はまだシステムプロンプトだが、今は文書 A が 5 ページ目にある」といった場合、古いカンニングペーパーは機能しなくなります。司書は、「ああ、2 ページ目が違うから、カンニングペーパー全体を捨てて最初からすべてを再読みしなくては」と考えます。

エージェント型 AI（ツールを使用し、ウェブを検索し、他の AI と対話する AI）の世界では、これが常に起こります。AI は同じ文書を呼び出す可能性がありますが、それを会話の異なる部分に挿入するため、「場所」が変わります。古いシステムはこれを全く新しい、読み取れないごみとみなし、AI がすでに知っているものを再読みして時間とエネルギーを浪費することを強要します。

解決策：イリムスル（「内容」の司書）

この論文は、イリムスル（Irminsul）と呼ばれる新しいシステムを導入します。イリムスルは、ページがどこにあるかではなく、ページが実際に何を言っているかによってカンニングペーパーを整理します。

以下のように考えてみてください。

従来の方法：「本が 3 番目の棚にあれば、その本だけを覚えている」
イリムスル：「本がどの棚にあっても、それが『ハリー・ポッター』のコピーだから、その本を覚えている」

イリムスルは、実際のテキスト（内容）に基づいて会話をチャンクに分割します。AI が「文書 A」を再び見た場合、それが異なる場所にあっても、イリムスルは「この正確なテキストは以前に見たことがある！メモを再利用できる」と言います。

秘密の武器：「位置」の調整

あなたはこう問うかもしれません。「テキストは同じでも、位置が異なれば、AI は混乱しないのでしょうか？」

はい、通常は混乱します。AI において、単語の「位置」は非常に重要です（それが文の先頭にあるか末尾にあるかを知るようなものです）。

従来の問題：位置を修正するために、古いシステムはすべての単語ごとにカンニングペーパー全体を書き換えなければなりませんでした。ページ番号を変えるだけで本全体を書き換えるようなものです。これは遅く、高価でした。
イリムスルのトリック：この論文は、MLA（Multi-Head Latent Attention：マルチヘッド潜在アテンション）と呼ばれる特定の AI アーキテクチャに焦点を当てています。このアーキテクチャは特別で、「メモ」を 2 つの部分に分割します。
1. 内容（90%）：単語の実際の意味。この部分は位置に関係なく同一です。
2. 位置（10%）：「私はここにいる」という小さなタグ。

イリムスルは、その小さな 10% のタグだけを調整すればよいことに気づきます。それは $\delta$ -回転と呼ばれる巧妙な数学的「ねじれ」を使用して、本全体を書き換えることなく位置タグを瞬時に更新します。部屋全体を新たに撮影するのではなく、書類を撮影して机の上で新しい場所にスライドさせるようなものです。

結果

この論文は、エージェントとして機能する 3 つの現実世界の AI システム（DeepSeek、Kimi、JoyAI）でこれをテストしました。

回復：AI が文書を移動させる複雑なタスクにおいて、イリムスルは古いシステムが捨てていた作業の約**77% から 83%**を再利用できました。
エネルギー：テキストを再読みする必要がないため、これらの繰り返し部分を処理するために必要なエネルギーの約63% を節約できます。
精度：AI は以前と同じように正確に回答します。新しい方法によって混乱することはありません。

「最初のページ」ルール

一つ小さな注意点があります。会話の最初の数語は、AI の注意にとって「重力のアンカー」のように機能します。この論文は、会話の冒頭からすぐに始まるチャンクを再利用しようとすると、AI が混乱することを発見しました。

解決策：イリムスルは、最初のテキストチャンク（最初の 32 語）を毎回再読みするだけで、その後はスマートな「内容ベース」の再利用を使用します。このわずかなコストにより、システム全体の残りが完璧に機能することが保証されます。

まとめ

イリムスルは、AI が物事を記憶するためのより賢い方法です。「5 番目のスロットにあったからこれを覚えている」と言う代わりに、「これは同じ物語だからこれを覚えている」と言います。「物語」（内容）が「スロット」（位置）よりも重要であることを認識し、位置タグを素早く修正するための特別なトリックを使用することで、AI エージェントをより高速にし、実行コストを下げ、複雑で変化する会話への対応を大幅に向上させます。

技術概要：Irminsul - エージェント型 LLM 提供のための MLA ネイティブ位置非依存キャッシング

1. 問題定義

現在の生産環境における LLM 提供は、厳密なトークンシーケンス接頭辞に基づいてキー・バリュー（KV）状態をキャッシュする接頭辞キャッシング（例：SGLang の RadixAttention、vLLM の PagedAttention）に大きく依存しています。標準的な会話のターン取りには効果的ですが、このメカニズムはエージェント型ワークロードでは壊滅的に機能しません。

エージェント型システム（ツール使用、検索拡張生成、マルチエージェントオーケストレーションなど）では、プロンプトは静的なシステム指示、検索されたドキュメント、ツールの出力から動的に構成されます。ドキュメントやツールスキーマの内容がターン間で同一であっても、そのプロンプト内の位置は以下の理由によりシフトします：

検索されたドキュメントの動的挿入。
ツール出力の再順序化。
可変長のシステムプロンプトまたはメタデータヘッダー。

標準的な接頭辞キャッシュは位置 0 からのバイト同一アライメントを必要とするため、プロンプト構造の単一バイトのシフトが、下流トークンに対するキャッシュ全体を無効化します。運用者は、キャッシュヒット率が 100% から 35% に低下し、変更されていないコンテンツにおいて Time-To-First-Token（TTFT）が 10〜16 秒スパイクするなどの深刻な回帰を報告しています。

従来の**位置非依存キャッシング（PIC）**システム（例：CacheBlend、EPIC）は、Grouped-Query Attention（GQA）アーキテクチャに対して、逆回転を介して完全な $d_K$ 次元キーテンソルを修正することでこの問題を解決しようとしました。しかし、これには大きなアーキテクチャコストが伴います。修正はトークンごとの KV 行全体に適用される必要があり、計算コストが高く、キャッシングの利点を相殺してしまうことがよくあります。

2. 手法：Irminsul アプローチ

Irminsul は、Multi-Head Latent Attention（MLA）アーキテクチャ（DeepSeek-V2/V3/R1、Kimi-K2、GLM-5、Mistral Large 3 で使用）に特化したコンテンツアドレス指定キャッシングシステムを提案します。

2.1 構造的洞察：MLA 分解

Irminsul の中核的な実現要因は、MLA モデルにおける KV ペアの構造的分解です。位置が完全なキーテンソルに不可分に融合されている GQA と異なり、MLA は各トークンの KV を以下の要素に因数分解します：

$cKV$（コンテンツ潜在変数）： 512 次元の位置非依存潜在ベクトル。このコンポーネントは、絶対位置に関係なくそのまま再利用可能です。
$k_r$ （ロータリーキー）： 位置情報（RoPE）を運ぶ小さな 64 次元ベクトル。

Irminsul は、$cKV$ が KV 行の約 89% を構成し、再利用時に修正が不要であるという事実を利用します。 $k_r$ スライス（約 11%）のみが調整を必要とし、これは単一の $\delta$ -回転（ $\delta$ は位置シフト）を介して閉形式で修正できます。

2.2 システム設計

Irminsul は SGLang の radix キャッシュを以下のメカニズムで拡張します：

CDC を用いたコンテンツハッシュキー化： 固定ブロックをハッシュする代わりに、Irminsul は 64 トークンウィンドウ上のローリング Gear ハッシュに基づく**コンテンツ定義チャンキング（CDC）**を使用します。ハッシュがしきい値を下回ったときにチャンクを出力し、チャンクの境界が任意のバイトオフセットではなくコンテンツに整合するようにします。各チャンクは xxHash64 を使用して指紋化されます。
レジストリルックアップ： キャッシュレジストリは、コンテンツハッシュを格納された $(cKV, k_r, base\_pos)$ にマッピングします。
$\delta$ -回転ルール： キャッシュヒット時に、システムは位置シフト $\delta = p_{target} - p_{source}$ を計算します。格納された $cKV $を取得し、格納された$ k_r $に回転行列$ R(\delta)$ を適用して、新しい位置に対する正しい位置キーを生成します。この操作は FlashMLA カーネルに融合され、無視できる遅延しか発生しません。
最初のチャンクの切り出し： 「アテンションシンク」（モデルがシーケンスの開始に強く注意を向ける現象）に対処するため、チャンクが絶対位置 0 で始まる場合、Irminsul は最初の 32 トークンを標準的なプレフィルで事前充填します。シンクはチャンク開始局所ではなくシーケンス開始局所的であるため、これにより後続のチャンクでの境界再計算を回避します。
ハイブリッド戦略（S1/S2）：
- S2（協力による防止）： 制御された環境では、プロンプトアセンブラが共有領域の周りに 64 トークンの境界マーカーを挿入し、決定論的な CDC 境界を強制します。
- S1（検出と回復）： 制御されていないトラフィックの場合、フォールバックメカニズムが CDC ミスを固定 128 トークンウィンドウに分割し、部分的な再利用を回復します。

3. 主要な貢献

Irminsul システム： 最初の MLA ネイティブ PIC システム。bf16 で相対 L2 誤差 $4.7 \times 10^{-3}$ の高精度な $\delta$ -回転を達成し、標準的な FP8 KV 量子化よりも 1 桁高い精度を有します。
実現可能性の証明（ROC 分析）： 本論文は、MLA の $cKV$ コンポーネントが高度に位置不変的（AUC $\approx$ 0.77）であるのに対し、GQA/MHA の生 K ベクトルは位置と絡み合っている（AUC < 0.5）ことを示すしきい値なしの ROC 研究を提供します。これは、コンテンツアドレス指定再利用が MLA に対して構造的に妥当であるが、修正なしの純粋なソフトマックスアーキテクチャに対しては妥当でないことを検証します。
エネルギー効率研究： ソフトマックスベースのアテンション（GQA、MLA、MHA）はキャッシュヒットごとにプレフィルエネルギーの 63〜86% を節約するのに対し、ハイブリッド SSM/線形アーキテクチャ（Mamba2、GDN、KDA）は約 0% しか節約しないというアーキテクチャ横断分析を示します。これは、再帰的状態がトークンインデックス付けされていないため、再帰層において「キャッシュヒット」が定義されないためです。
回復指標： 3 つのネイティブ MLA-MoE 展開（DeepSeek-V2-Lite、Kimi Moonlight-16B、JoyAI-Flash）での評価により、Irminsul はエージェント型トラフィックにおいて、厳密な接頭辞マッチングを超えて最大約 83% のプロンプトトークンを回復することを示しました。これに対し、シフトされたコンテンツに対する標準的な接頭辞キャッシングの回復率はほぼゼロです。

4. 結果

キャッシュ回復： 「早期変動」（例：シフトしたエージェントメタデータヘッダー）を伴うエージェント型トラフィックにおいて、Irminsul は再計算されるはずだったトークンの 77.2%（DeepSeek-V2-Lite）および 82.7%（JoyAI-48B）を回復します。標準的な接頭辞キャッシングは、これらのシナリオでは約 1.5% しか捕捉しません。
エネルギー節約： キャッシュヒットあたり、Irminsul は MLA モデルで63% のプレフィルエネルギー節約をもたらします（GQA では 86% と比較）。これは、PIC の主な利点がソフトマックスベースのアーキテクチャで実現されることを確認します。
出力の一貫性： 4 つのデータセット（QA、GovReport、NIAH）と 3 つのモデルにわたり、Irminsul の貪欲な軌道は単純な再利用と同等かそれ以上です。「Needle In A Haystack」（NIAH）タスクにおいて JoyAI-48B で PIC を使用した場合、完全なプレフィルリコール（0.820）と完全に一致しつつ、単純な再利用と比較して KL 発散を 22% 削減しました。
レイテンシ： システムは生産環境のレイテンシ予算内で動作します。 $\delta$ -回転は HBM から SRAM へのロードパスに融合されており、追加の HBM バンド幅使用を回避します。

5. 意義と主張

本論文は、コンテンツアドレス指定キャッシングが、接頭辞マッチング上でのリトロフィットではなく、LLM 提供スタックにおける第一級のプリミティブであるべきであると主張します。

構造的 vs アルゴリズム的： 本論文は、従来の PIC システムが GQA に対して問題を完全に解決できないのは、単なるエンジニアリングの欠陥ではなく、位置を完全なキーテンソルに融合させるという構造的な限界であると位置づけます。位置（ $k_r$ ）をコンテンツ（$cKV$）から因数分解する MLA の手法こそが、効率的でオーバーヘッドの低い PIC を可能にする鍵です。
エージェント型ワークロード： エージェント型システムが支配的になるにつれ、共有コンテキスト（ドキュメント、スキーマ）の「トークン再エンコーディング」は巨大な非効率を表します。Irminsul はこの冗長性を計算問題ではなくメモリ問題として再定義し、提供スタックが再計算ではなくメモリ再利用に対して課金できるようにします。
範囲： 著者は、安全上の主張を明示的にMLA アーキテクチャ（特に生産で使用されている吸収行列積形式）に限定しています。GQA は理論的には PIC をサポートできるものの、修正コストが高いことに言及しています。また、ハイブリッド SSM モデル（Mamba2 など）は再帰的状態構造のため PIC の恩恵を受けないことも指摘しています。
将来の作業： 本論文は、DeepSeek-V4 の「Heavily Compressed Attention（HCA）」がトークンを集約し、Irminsul のチャンキングに必要なトークンごとのアイデンティティを溶解させることを認めています。チャンキングプリミティブを HCA の集約スケジュールに適応させることが、次の即座のステップとして特定されています。

要約すると、Irminsul は、MLA の特定の代数的性質を活用することで、プロンプト内の位置に関係なくコンテンツをキャッシュし、出力品質を損なうことなくエージェント型 LLM 提供における計算コストとエネルギーコストの大幅な回復が可能であることを実証しています。