技術要約：プロンプトから重みへの変成（Transmuting Prompts into Weights）

問題提起

現在の大規模言語モデル（LLM）の推論時における制御手法は、一般に活性化ステアリング（隠れ状態への「ステアリング・ベクトル」の加算）とモデル編集（重み行列への低ランク修正の適用）という2つの経験的なカテゴリーに分類される。これらは効果的ではあるものの、トランスフォーマーのアーキテクチャに根ざした統一的な理論的根拠を欠いており、対照的な活性化の平均化といった経験的なヒューリスティックに大きく依存している。さらに、既存の手法はプロンプトの情報を一時的なものとして扱うか、あるいは指示を恒久的に重みにエンコードするためにアーキテクチャの変更を必要とする。核心となる課題は、一過性のテキスト入力（プロンプト）を、プロンプトを再実行することなく指示や新しい知識を永続的にエンコードできる、再利用可能でトークンに依存しない重みの更新へと凝縮するための、第一原理に基づいた手法を確立することである。

手法

本論文は、入力プロンプト $I$ がトランスフォーマー・ブロックに与える計算効果が、ブロックのフィードフォワードの重みとバイアスに対して特定のトークン依存のランク1更新（「最小トークン・パッチ」と呼ばれる）を適用することによって完全に複製できることを示した、Dherinら（2025）の基礎理論に基づいている。

著者らは、これらの一時的かつトークン固有の更新を、「ソート・ベクトル（Thought Vectors）」$\delta(I)$ および「ソート・マトリックス（Thought Matrices）」$\Delta(I)$ と呼ばれる、静的で再利用可能な構成要素へと一般化するフレームワークを提案している。

1. 理論的導出

• トークン依存のパッチ: コンテキスト $C = [I, x_1, \dots, x_n]$ に対して、コンテキスト $I$ がトークン $x$ に与える影響は、更新 $\delta_x(I)$ および $\Delta_x(I)$ によって複製される。
• ソート・ベクトル（Thought Vector）: 著者らは、最適なトークン・ベクトルと単一のベクトルの間の二乗誤差を最小化することで、トークンに依存しないベクトルを作成する。その解は、トークン固有のベクターの算術平均である：
  $$\delta(I) := \frac{1}{n} \sum_{i=1}^n \delta_i = \frac{1}{n} \sum_{i=1}^n (A(C, x_i) - A(C \setminus I, x_i))$$
  これは、対照的な活性化を平均化するというヒューリスティックな慣行に対して、理論的な正当性を与えるものである。
• ソート・マトリックス（Thought Matrix）: 最適な行列は、すべての例における誤差を最小化することによって導出される。定理2.1は、行列 $Z = \sum a_i a_i^T$ が可逆である場合、グローバルな最小値が以下によって達成されることを証明している：
  $$\Delta(I) = \left( \sum_{i=1}^n W \delta_i a_i^T \right) Z^{-1}$$
  これは、最適なソート・マトリックスが、ランク1更新の総和として自然に現れることを示している。

2. ソート・パッチング・アルゴリズム（The Thought Patching Algorithm）

著者らは、指示を重みへと変成させるための反復的な層ごとのアライメント手順（アルゴリズム1）を導入している：

1. コンテキスト・パス: フル・プロンプト $[I, x]$ を用いてバニラ・モデルを実行し、「グラウンド・トゥルース」となるアテンション出力 $A_l$ を収集する。
2. 非コンテキスト・パス: 現在パッチ適用された重みを用いてモデルを $[x]$ で実行し、近似された出力 $a_l$ を収集する。
3. 不一致の計算: 残差 $dz_l = A_l - a_l$ を計算する。
4. 更新の計算:
   • ソート・ベクトルの更新は、不一致の平均である。
   • ソート・マトリックスの更新は、残差誤差を最小化する重み更新を解くための最小二乗法（オプションのリッジ正則化を含む）を通じて計算される。
5. 適用: 更新は学習率 $\eta$ によってスケールされ、重みに適用される。

3. アーキテクチャへの適応

本手法は、RMSNormおよびGated GeLU活性化を利用するGemma 3のような現代的なアーキテクチャに適応されている：

• Gated GeLU: ソート・マトリックスの最適化は、$W_{up}$ および $W_{gate}$ プロジェクションのための2つの独立した最小二乗推定へとデカップル（分離）される。
• バイアスの欠如: GemmaにはMLP出力に明示的なバイアス・パラメータが存在しないため、ソート・ベクトルのシフトは、活性化分布を維持するためにRMSNormのスケーリング係数を調整した上で、$W_{down}$ プロジェクション行列に直接吸収される。

主な貢献

1. 理論的統一: 本論文は、なぜ活性化ステアリング（対照的な活性化の平均化）と低ランク・モデル編集が成功するのかについて、第一原理に基づいた説明を提供している。これらは、最適なソート・ベクトルおよびソート・マトリックスの最小二乗近似と同等であることを証明している。
2. 変成フレームワーク: 「ソート・パッチ」という概念を、プロンプト圧縮のための理論的なツールから、直接的なモデル制御および永続的な知識注入のための実用的なアルゴリズムへと昇華させた。
3. トークン独立性: 本手法は、複雑で非線形なアーキテクチャに適した、再利用可能でトークンに依存しないベクトルおよび行列へと、一過性のトークン依存情報を正常に凝縮することに成功した。
4. アルゴリズムの実装: 著者らは、指示を重みへと変成させるための具体的なアルゴリズム（アルゴリズム1）と、Gemmaのような現代的なモデルに適用するための具体的な修正方法を提供している。

実験結果

このアプローチは、Gemma 3.0 1B Instruction Tunedモデルを用いて、いくつかのタスクで検証された：

• 算術および言語タスク: 数値の加算や乗算などのタスクにおいて、パッチ適用済みモデル（コンテキスト内に指示が含まれていない状態）は、100%の精度を達成し、フル・プロンプトを用いた元のモデルの性能を完全に一致させた。これはわずか10個の例のみで達成された。
• 脱毒化（Detoxification）: ParaDetoxデータセットに適用した結果、パッチ適用済みモデルは毒性を90.53%から**6.22%**に減少させ、フル・コンテキストのベースライン（6.7%）に近く、かつ意味的意味（BERTスコア）を保持した。
• 翻訳および知識検索: 本手法は、フランス語/スペイン語から英語への翻訳および国の首都の検索において高い精度を達成し、未パッチのベースラインを大幅に上回り、フル・コンテキストの性能に迫る結果を出した。
• 新しい知識の注入: モデルは合成的なキー・バリュー辞書を正常に吸収した。パフォーマンスは、小さな辞書（$k \le 8$）では100%に近い状態を維持したが、辞書サイズが増加した場合（$k=32$ で91%に低下）、または検索クエリの構造がトレーニング・プロンプトと異なる場合に低下が見られた。

重要性と主張

本論文は、トランスフォーマーの推論における一過性のメカニズムと、永続的なモデル修正との間の直接的な理論的結合を確立したと主張している。一過性のトークン・パッチを再利用可能なソート・ベクトルおよびソート・マトリックスへと集約することで、著者らは、プロンプトの指示を重みに恒久的にエンコードするための、原理に基づいたデータ効率の高い手法を提供している。

その重要性は、「パラメトリック・コンティニュアム（媒介的連続体）」理論と実用的な実装との間の架け橋となる、統一的な数学的説明を提供した点にある。

著者らは、現在の最小二乗定式化が特定のプロンプト構造に対する過学習に対して脆弱であること（知識注入タスクにおいて、クエリの乖離がパフォーマンスの低下を引き起こしたことに顕著である）についても、限界として謙虚に述べており、今後の課題として、知識注入中の構造的過学習を防ぐための高度な正則化に焦点を当てるとしている。