技術概要：潜在キャッシュフロー（LCF）

1. 問題定義

現在の大規模言語モデル（LLM）エージェントワークフローは、テキストを介した通信に依存しています。あるモデル（共有者）が別のモデル（受信者）に情報を渡す際、内部状態を離散トークンに自動回帰的にデコードし、それを受信者がエンコードする必要があります。このプロセスは、トークン生成を待つための大きな遅延と、連続的な内部状態を離散トークンに圧縮することによる情報損失をもたらします。

最近の研究である**キャッシュ・ツー・キャッシュ（C2C）**は、テキスト生成を迂回し、キー・バリュー（KV）キャッシュを直接交換することでこの問題を解決しようとしています。しかし、C2C には 2 つの決定的な限界があります：

1. コンテキスト整合性の要件：C2C は、共有者と受信者が同一の位置で全く同じ入力トークンを処理することを要求します。これは、モデルが異なるサブタスク、ツール、またはコンテキストチャンクを処理するマルチエージェントシステムでは機能しません。
2. アダプターのオーバーヘッド：C2C はキーとバリューのために大規模で独立したフューザーモジュールを採用しており、巨大なアダプターサイズ（例：11 億パラメータのモデルペアで 956 MB）を生み出し、トレーニングと展開が困難です。

2. 手法

本論文は、効率性とコンテキストの柔軟性をそれぞれ解決するために、潜在キャッシュフロー（LCF）とその拡張版LCF-Xを導入します。

2.1. 共有コンテキスト向けの潜在キャッシュフロー（LCF）

LCF は、キャッシュ転送をトークンごとの翻訳ではなく、圧縮された通信として再定義します。C2C の非効率性を、以下の 2 つのアーキテクチャ変更によって解決します：

• 統合キー・バリューパイプライン：C2C が行うようにキーとバリューのためにフューザーパイプラインを複製するのではなく、LCF はそれらを同じ隠れ状態の射影として扱います。共有者と受信者の KV キャッシュを連結し、平坦化してから、単一の共有された低次元潜在ボトルネックを通じて処理します。
• 潜在圧縮：結合表現はコンパクトな潜在次元（$d$）に射影され、MLP によって処理された後、受信者のキャッシュ空間へ再射影されます。これによりアダプターサイズが大幅に削減されます（例：$d=128$の場合、956 MB から約 39 MB に）。
• レイヤープルーニング：LCF は学習されたガムベル・シグモイドゲートを用いて、キャッシュ更新の恩恵を受ける受信者レイヤーを動的に選択します。これにより「死」んだレイヤーを除去でき、精度を犠牲にすることなくアダプターのフットプリントをさらに削減できます。

2.2. 異種コンテキスト間通信のための LCF-X

トークン位置の整合性という要件に対処するため、LCF-Xは標準的な LCF プロジェクターの前に共有者側のプーリングモジュールを導入します。

• スパンプーリング：共有者のコンテキストを $P$ 個のスパン（例：段落）に分割します。学習されたクエリが各スパン内のトークンに注意を向け、要約されたキー・バリュー対を生成します。
• グローバル集約：2 番目の注意ステップが、これらのスパン要約を集約し、共有者の学習済みコンテキストを表す単一の固定サイズテンソルを生成します。
• 位置非依存転送：この要約テンソルは受信者のシーケンス全体にブロードキャストされ、トークン整合されたキャッシュ更新の必要性を代替します。これにより、異なるコンテキスト（例：ドキュメントの異なるチャンク）を処理するモデル間の通信が可能になります。

3. 主な貢献

1. 効率的なアダプター設計：共有された潜在ボトルネックとレイヤープルーニングを活用することで、LCF はアダプターサイズを C2C の約4%（例：13 MB 対 956 MB）に削減し、共有コンテキスト設定において精度を維持または向上させます。
2. コンテキストの柔軟性：LCF-X は C2C の厳格なトークン整合制約を除去し、異なるコンテキストを持つモデル間でのキャッシュレベルの通信を可能にします。これは以前はテキストを介した場合のみ可能でした。
3. 性能の優位性：本論文は、圧縮されたキャッシュ転送が、精度と遅延の両面でフル幅キャッシュ転送（C2C）およびテキストベース通信（T2T）を上回ることを実証しています。

4. 実験結果

4.1. 共有コンテキスト性能（LCF 対 C2C）

Qwen2.5-0.5B（共有者）と Qwen3-0.6B（受信者）を用いて、MMLU-Redux、ARC-Challenge、OpenBookQA、MMLU-Pro 上で評価：

• 精度：LCF-256 は加重平均精度**32.88%**を達成し、C2C（29.13%）を上回り、最適ルーティングフロンティア（ORF、31.99%）に近づきました。
• 効率性：LCF-128 はわずか39 MBのオーバーヘッドで 31.94% の精度を達成し、C2C の 956 MB と比較されました。
• プルーニング：9 レイヤー（13 MB）への積極的なプルーニングでも 31.26% の精度を維持し、C2C を依然として大幅に上回りました。
• トレーニングコスト：トレーニング時間は凍結モデルのプリフィルに支配されるため C2C と同等でしたが、LCF ははるかに少ない学習可能パラメータを必要としました。

4.2. 異種コンテキスト性能（LCF-X 対 テキスト）

モデルが非重複の段落セットを処理する HotpotQA-bridge 上で評価：

• 精度：LCF-X はF1 スコア 35.13、完全一致（EM）25.28を達成し、最強のテキストベースベースライン（T2T Max 200 トークン）をF1 で +2.47、EM で +4.75上回りました。
• 遅延：LCF-X は初トークン到達時間（TTFT）を48 ms、回答終了時間（TTEoA）を94 msに削減しました（T2T の 410 ms および 502 ms に対し、8.5 倍の高速化）。
• スパン不変性：モデルは再トレーニングなしで異なるスパン分割スキーム（段落、トークン、文）全体で性能を維持し、入力構造に対する堅牢性を示しました。

5. 意義と主張

本論文は、潜在キャッシュフローがモデル間通信インターフェースのパラダイムシフトを表すと主張しています：

• テキストからキャッシュへ：逐次的で損失のあるテキスト生成から、直接的で圧縮されたキャッシュレベル転送へと通信を移行します。
• 整合から柔軟へ：以前のキャッシュ手法の厳格な共有コンテキスト要件を緩和し、異なる役割とコンテキストを持つエージェントが効率的に通信できるようにします。
• スケーラビリティ：アダプターオーバーヘッドを桁違いに削減（例：プルーニング版ではパラメータ数が 76 倍削減）することで、LCF はマルチモデル通信の実用展開をより現実的なものにします。

著者らは、これらの結果が初期検証であることを指摘しています。今後の研究では、多様なモデルファミリー、より大規模なスケール、マルチターン通信や異種ツールを含むより複雑なエージェントワークフローにおいて LCF をテストする必要があります。