PRISM-∆: 大規模言語モデルにおけるプロンプト強調のための微分部分空間操作

本論文「PRISM-∆: Differential Subspace Steering for Prompt Highlighting in Large Language Models」は、大規模言語モデル（LLM）が生成時にユーザー指定のテキストスパン（強調部分）を優先的に処理する「プロンプト強調（Prompt Highlighting）」タスクにおいて、既存手法の限界を克服する新しい手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

背景

LLM は、入力された矛盾する情報に対して、パラメータ記憶よりも新しい事実を優先したり、長い文脈（Long Context）の中央にある重要な情報を見落としたり（Lost-in-the-Middle）する傾向があります。「プロンプト強調」は、特定のトークンにモデルの注意を集中させ、生成の精度と忠実度を向上させる技術です。

既存手法の課題

既存のプロンプト強調手法（PASTA, SPA, SEKA など）は、主にルーティングチャネル（Key 表現）のみを操作しています。

• Key 表現: モデルが「どこを見るか（Where）」を決定する。
• Value 表現: モデルが「何を伝えるか（What）」を決定する。

既存手法は Key だけを編集して注意を誘導しますが、強調されたトークンが持つValue 表現（内容チャネル）の信号は強化されません。また、正例と負例の両方に共通する構造パターン（共有方向）を除去せず、ノイズを含む方向も強化してしまう可能性があります。さらに、Attention ヘッドを一律に操作するか、閾値でハードに切り捨てるため、微弱だが有用な信号を持つヘッドの活用が不十分でした。

2. 提案手法：PRISM-∆

PRISM-∆（Projection-based Relevance-Informed Steering Method）は、Key と Value の両方のチャネルを、微分部分空間学習と適応的ヘッド重み付けによって同時に操作するフレームワークです。

2.1 双チャネル視点（Dual-channel View）

Attention 出力は、ルーティング（Key）とコンテンツ（Value）の 2 つの機能的分野によって決定されます。
$$\text{output}' = \text{output} + \underbrace{\sum \Delta\alpha \cdot v}_{\text{ルーティング利得}} + \underbrace{\sum \alpha \cdot \Delta v}_{\text{コンテンツ利得}} + \underbrace{\sum \Delta\alpha \cdot \Delta v}_{\text{交差利得}}$$
既存手法は「ルーティング利得」のみを捉えますが、PRISM-∆は「コンテンツ利得」と「交差利得」も活用するために、Key と Value の両方を編集します。

2.2 微分共分散分解（Differential Cross-Covariance Decomposition）

正例（関連質問あり）と負例（無関係質問あり）の Key/Value 表現の差から、最も識別力のある方向を抽出します。

• 差分共分散行列の定義: $\Omega_\Delta = H^\top(H^+ - H^-)/N$
• 特異値分解（SVD）: $\Omega_\Delta$ を SVD 分解し、上位 $k$ 個の左特異ベクトルを射影行列 $P$ として利用します。
• 共有方向の排除: 正例と負例で共通して変動する方向（$\Omega_+ u = \Omega_- u$）は、差分行列 $\Omega_\Delta$ においてゼロとなり、自動的に除去されます。これにより、ノイズや共通構造ではなく、真に識別力のある方向のみを強化します。

2.3 適応的ヘッド重み付け（Adaptive Head Weighting）

すべての Attention ヘッドが同等に重要であるわけではありません。

• 識別度スコア: 各ヘッドの正負条件間での表現のノルム差 $D_{\ell,h}$ を計算します。
• Softplus 重み付け: 識別度スコアを連続的な重み $w_{\ell,h} = \text{softplus}(D_{\ell,h} - \delta_{min})$ に変換します。
  • これにより、強い信号を持つヘッドは強く、弱い（が有用な）ヘッドは弱く、ノイズの多いヘッドはほぼゼロの重みで操作されます。
  • 既存手法のハード閾値（Binary）方式と異なり、微弱な信号を完全にシャットアウトせず、適応的に利用できます。

2.4 推論時の操作

推論時、強調されたトークン $j$ に対して、Key と Value の両方を以下のように修正します。
$$k'_j = k_j + g_K \cdot w^K_{\ell,h} \cdot P_K \cdot k_j$$
$$v'_j = v_j + g_V \cdot w^V_{\ell,h} \cdot P_V \cdot v_j$$
ここで、$g_K, g_V$ は操作の強さを制御するゲイン係数です。

3. 主要な貢献

1. 微分共分散分解の導入: 正負の条件から、共有方向を排除しつつ最大限の識別エネルギーを抽出する数学的枠組みを確立しました。
2. 双チャネル（Key + Value）操作: 従来の Key 中心のアプローチから脱却し、Value チャネルも同時に操作することで、生成の流暢さ（Fluency）を維持しつつ精度を向上させました。
3. 連続的かつ適応的なヘッド重み付け: Softplus 関数を用いることで、ノイズを抑制しつつ微弱な有用信号を保持する柔軟な制御を実現しました。
4. 高効率な実装: FlashAttention と互換性があり、メモリオーバーヘッドがほぼゼロです。

4. 実験結果

4 つのベンチマーク（BiasBios, CounterFact, Pronoun Change, Lost-in-the-Middle）と 5 つのモデル（Qwen3, Gemma3 シリーズ）で評価されました。

• 精度の向上: 20 設定中 19 設定で、既存の最良手法（SEKA など）と同等かそれ以上の性能を達成しました。相対的に最大 +10.6% の改善（Pronoun Change タスクなど）が見られました。
• 長文脈へのスケーラビリティ: 「Lost-in-the-Middle」タスク（30 パッセージの中央にある正解の検索）において、最良手法を最大 +4.8% 上回る性能を示しました。
• 流暢さの維持: Value チャネルを操作することで、Key 操作のみの場合に比べて流暢さの低下（Fluency Cost）を約半分に抑えました。
• 効率性:
  • 推論遅延の増加は約 0.30 秒（SEKA と同レベル、PASTA や SPA より大幅に軽量）。
  • メモリ使用量の増加はほぼ無視できるレベル（+0.02 GB）。
  • FlashAttention と完全互換です。

5. 意義と結論

PRISM-∆は、LLM の注意機構における「どこを見るか（Key）」と「何を伝えるか（Value）」の役割の違いを明確に解明し、両方を制御することで、より高精度かつ自然な生成を実現しました。

• 理論的洞察: Key シグナルは中層で、Value シグナルは後層でピークに達するなど、ネットワーク深度による機能の専門化（Functional Specialization）が確認されました。
• 実用的価値: 超高速な推論を維持しつつ、ユーザーの意図に忠実な生成を可能にするため、RAG（検索拡張生成）や長文脈理解、事実性の高い生成タスクにおいて極めて有用です。
• 将来展望: この「微分部分空間操作」と「適応的重み付け」の枠組みは、トークンレベルの注意介入や、他の LLM 制御タスクへの応用が期待されます。

本手法は、GitHub で公開されており、既存のモデルを微調整（Fine-tuning）なしで、オフラインで学習した射影行列を用いて即座に適用できる点が大きな利点です。