技術的概要：メモリー・インセプション（MI）

問題定義

大規模言語モデル（LLM）は、性格特性の維持、多ターン会話におけるトーンの保持、または構造化された推論ヒューリスティックの適用などのタスクにおいて、持続的なガイダンスを必要とします。現在のステアリング手法は、根本的なトレードオフに直面しています。

• プロンプティング: 可視コンテキストにリマインダートークンを挿入します。効果的ですが、トランスフォーマーのすべての層においてガイダンスが具体化され、長文の対話を煩雑にし、線形的に増大するキー・バリュー（KV）キャッシュコスト（$L \times T_{prompt}$）を招きます。
• アクティベーション・ステアリング（例：CAA）: 残差ベクトルを介して隠れ状態を変更します。これはコンパクトですが、制御性が弱く、テキスト忠実性が欠如しており、大規模で構造化されたリマインダーには対応が困難です。

本論文は、ガイダンスがすべての場所にキャッシュされる必要はなく、モデルの注意機構が実際にそれをルーティングする場所で利用可能であればよいと仮定しています。

手法：メモリー・インセプション（MI）

メモリー・インセプションは、プロンプトキャッシュ全体にテキストを具体化するのではなく、選択的に選ばれた層において、テキスト由来のキー・バリュー（KV）バンクを潜在注意空間に注入することで LLM をステアリングする学習不要な手法です。

中核メカニズム

1. 潜在 KV バンク: 記述子、要約、またはヒューリスティックは、潜在 KV スロット（$B$）のバンクにエンコードされます。これらのスロットは、ソーステキストを凍結されたベースモデルに通し、特定のトークン位置における隠れ状態を抽出し、その後モデル自身の $W_K$ および $W_V$ 層を通じて投影することで導出されます。
2. 選択的配置: これらのスロットをすべての層に追加するのではなく、MI は自動セレクターを用いて、モデルのクエリがターゲットバンクと最も強く一致する特定の層（$L_{ctrl}$）および注意ユニット（ヘッドまたは KV グループ）を特定します。
3. 注意ルーティング: 選択された場所において、注意機構は通常のプロンプトトークンと潜在メモリーバンクのスロットの両方に対してスコアを計算します。出力は、クエリ依存のエビデンススコアによって重み付けられた、プロンプト履歴とメモリーバンクの混合となります。
   • 注意出力は以下のように定式化されます：$o^\star_t = \sum_{b=0}^B e^{\pi^{(b)}_t} o^{(b)}_t$。ここで、バンクはグローバルな残差オフセットではなく、エビデンスに基づいて競合します。
4. 実装詳細:
   • RoPE 処理: メモリーキーは、生成ステップに対する相対的な位置独立性を確保するため、標準的な事前 RoPE 座標に保存されます。
   • アーキテクチャ対応: この手法は、密な注意（ヘッドの選択）とグループ化クエリ注意（KV グループの選択）をサポートしており、Llama-3.1 や Qwen3 などのモデルと互換性があります。
   • コントラストステアリング: このフレームワークは、ターゲット、リファレンス（逆の挙動）、および補助バンクをサポートし、クエリ適応型ゲートによるコントラストルーティングを可能にします。

KV キャッシュ効率

主なシステム上の利点は、KV 記憶容量の削減です。

• プロンプティング: 全 $L$ 層にわたってガイダンス由来の状態を保存します。
• MI: ガイダンス由来の状態を $L_{ctrl}$ 層のみに保存します。
• 結果: 保存比率は $\frac{L \cdot T_{prompt}}{L_{ctrl} \cdot S_{bank}}$ です。長文かつ構造化されたガイダンスの場合、可視プロンプティングと比較して6 倍から 118 倍の圧縮率が得られます。

主要な貢献

1. ステアリングインターフェース: 選択された層のみにテキスト条件付きの潜在 KV バンクを注入し、完全なプロンプトキャッシュの具体化を回避する手法、メモリー・インセプションの導入。
2. 形式化と実装: ターゲット、リファレンス、補助メモリーを処理するバンクレベルの注意ルーティングの定式化、ならびに密な注意およびグループ化クエリ注意をサポートする標準的キー RoPE 実装。
3. 実証的ポジショニング:
   • 性格ステアリング: MI はプロンプティングと競合する性能を維持しつつ、制御ドリフトのトレードオフにおいて一貫してコントラストアクティベーション・アディション（CAA）を上回ります。
   • 更新可能なガイダンス: MI は、可視トランスクリプトを書き換えることなく会話中の挙動シフト（例：トーンの変更）をサポートし、Qwen3 においてシフト後のアライメントで最高値を達成します。
   • 構造化推論: MI は、物理学や数学の問題に対する再利用可能な推論ヒューリスティックを担う、ファインチューニングに代わる学習不要な代替手段として機能し、単純なモデルを上回り、特定のベンチマークではプロンプティングと同等かそれ以上の性能を示します。

実験結果

本論文は、Meta-Llama-3.1-8B-InstructおよびQwen3-30B-A3Bの 4 つの領域において MI を評価しました。

1. ビッグファイブ性格ステアリング:

   • 自己評価タスクにおいて、MI は Llama 上で最高ドリフト調整スコア（DAS）を達成しました（0.775、プロンプトは 0.645）。Qwen3 においても競合する結果を示しました。
   • 生成タスクにおいて、MI は CAA を大幅に上回り、特に非ターゲットドリフトの削減においてプロンプティングに近い性能を維持しました。

2. 対話シフト（会話中の更新）:

   • 可視プロンプトの書き換えが不可能な固定予算設定において、MI は Qwen3 上で最高のシフト後アライメント（全体で 0.816）を達成し、プロンプト初期化（0.438）および CAA（0.526）を大幅に上回りました。
   • これは、可視コンテキストを蓄積することなく挙動を動的に更新する MI の能力を示しています。

3. 構造化推論（HARDMath および PHYSICS）:

   • PHYSICS: MI は 12 の科目×モードセルのうち 10 で勝利し、プロンプト（75.4%）および単純モデル（73.9%）と比較して最高の全体平均スコア（76.9%）を達成しました。
   • HARDMath: 結果は混合しており、プロンプトが全体として先行しています（67.3% 対 MI の 63.8%）が、MI は単純モデル（60.8%）に対して大幅に改善し、8 分類のうち 7 つで勝利または同点となりました。
   • MI は再利用可能な推論ヒューリスティックを担う上で効果的であることを証明しましたが、厳密な記号ベンチマークにおいては、可視プロンプトにおける正確な文言が依然として優位性を保持しています。

4. KV キャッシュ節約:

   • MI は、長文コンテキストの Llama ケースで KV フットプリントを6.4 倍削減し、PHYSICS では60〜118 倍、HARDMath では63〜74 倍削減しました。
   • 節約量は、ガイダンスコンテンツの長さおよび再利用性に応じて増加します。

意義と主張

本論文は、ガイダンスが可視トランスクリプトに保持することが持続的、構造的、または高コストである場合に特に強力なステアリング手法としてメモリー・インセプションを位置づけています。

• トレードオフの最適化: 可視プロンプティングとアクティベーション・ステアリングの「中間地帯」を占め、プロンプティングの完全なメモリコストなしにテキスト忠実な制御を提供します。
• システム的価値: この手法は KV 記憶容量の大幅な削減（最大 118 倍）を可能にし、メモリ帯域幅と容量がボトルネックとなる長文コンテキストアプリケーションにおいて魅力的です。
• 限界: 著者は、MI がゼロ設計インターフェースではないこと（層選択のためのタスク固有の較正が必要であること）、バンクの品質がタスクに依存すること、および結果がバックボーンによって異なること（Qwen3 は Llama よりも明確な改善を示す）を認めています。
• 安全性: 論文は、潜在ステアリングが持続的な行動ガイダンスを隠蔽しうることを指摘し、隠れたポリシー注入を防ぐための実世界展開における開示と監査可能性の必要性を強調しています。

要約すると、MI は LLM のステアリングがすべての場所にガイダンスをキャッシュすることを必要としないことを示しています。潜在メモリーバンクへの注意を選択的にルーティングすることにより、劇的に削減された計算オーバーヘッドで高忠実な制御を達成できます。