技術的要約：プロンプトがいかに振る舞いを制御するか（デコンポジション）

問題提起

指示プロンプトは、重みの更新なしに、推論時に大規模言語モデル（LLM）や視覚言語モデル（VLM）の振る舞いを変化させることを可能にします。プロンプトが内部表現を再構成することは確立されていますが、その変換の具体的なメカニズムについては依然として不明なままです。既存の文献では、スカラー指標（例：表現類似性、多様体容量）を通じてこれらの変化を特徴付けたり、設計された低複雑度のオペレータ（例：加法的なベクトル、回転）が振る舞いを制御できることを示したりしてきました。しかし、指示が変わる際に自然に発生する数学的変換のクラスに関する理解には空白があります。具体的には、プロンプトによる変化が、単純な平行移動、剛体変換、アフィン混合、あるいは複雑な非線形性のいずれかによって最もよく説明されるのか、また、それらの変換が観察された振る舞いの変化を因果的に駆動しているのかどうかは分かっていません。

手法

著者らは、プロンプトがいかに表現の幾何学構造を再形成するかを分析するために、**入れ子状の幾何学的分解フレームワーク（nested geometric decomposition framework）**を導入しています。コアとなるアプローチは、プロンプティングを、プロンプトに従うコンテンツの表現多様体の変換として扱うことです。

1. 入れ子状の幾何学的階層

特定のモデル、レイヤー、データセット、およびプロンプトのペア（ソースプロンプト $A$ とターゲットプロンプト $B$）に対して、著者らは、$A$ の隠れ状態を $B$ に適合させる一連の、刺激不変な写像 $f: \mathbb{R}^D \to \mathbb{R}^D$ を当てはめます。この階層は、5つの厳密に入れ子になった変換クラスで構成されます：

1. 平行移動 ($F_T$): 単純な平均シフト ($x + b$)。
2. 一様スケーリングを伴う剛体変換 ($F_{O_u}$): 回転・反射および一様スケーリング ($b + c(x-a)Q$)。
3. 軸方向スケーリングを伴う剛体変換 ($F_{O_a}$): 整列された軸の独立したスケーリングを許容 ($b + (x-a)QD$)。
4. アフィン変換 ($F_L$): 一般的な線形混合および平行移動 ($b + (x-a)M$)。
5. 非線形変換 ($F_N$): 共有マルチレイヤーパーセプトロン (MLP) ($b + g_\theta(x-a)$)。

2. 評価指標

本フレームワークは、保持された刺激（held-out stimuli）に対して以下の3つの家族の尺度を用いて変換を評価します：

• 増分説明分散 ($\Delta R^2$): 入れ子の連鎖における前のティアに対する、各ティアによって説明されるターゲットプロンプトの表現における追加の分散。
• 表現幾何学指標: 変形された表現非類似行列（RDM）とターゲットタスクのRDMとの間のスペアマン相関、およびクラスター分離を測定するためのシルエットスコア。
• 因果的介入: フィットされた写像を単一のレイヤーにおけるソースプロンプトの隠れ状態に適用し、元の状態を置き換えます。その後、モデルはフォワードパスを継続します。結果の出力は、ターゲット属性への**関連性（relevance）および、ターゲットプロンプトの正解に対する正確性（accuracy）**について評価されます。

3. 実験設定

• モデル: 3つのLLM（OPT-2.7B, Llama3-8B-Instruct, Qwen3-8B）および3つのVLM（BLIP-2, LLaVA-OneVision, Qwen3-VL）。
• データセット: 6つのデータセット（テキスト：EmotionalStory, WritingStyle, Number。画像：EmoSet, StyleTransfer, COCO）。これらは、クロス属性および属性内プロンプトの比較をサポートするための因子構造を持っています。
• プロンプトのペア: クロス属性（例：トピック $\to$ 感情）から無関係なソースプロンプトに至るまでの6つのグループ。

主な結果

1. プロンプティングはタスク構造に向けて幾何学を再形成する

プロンプトによる表現の変化は、レイヤーの深さとともにほぼ単調に増加します。決定的なことに、ターゲットプロンプトの表現幾何学は、深くなるにつれてタスク構造（RDM相関およびシルエットスコアで測定）とますます良く一致し、深いレイヤーではソースプロンプトから明確に分離されます。

2. 低複雑度の写像がほとんどの分散を説明する

すべてのモデルとデータセットにおいて、平行移動がプロンプトによる表現変化の最大のシェアを占めており、初期レイヤーで支配的です。一様スケーリングを伴う剛体変換が次に重要な寄与をします。

• アフィン変換は、ターゲットプロンプトのタスク幾何学をほぼ完全に回復し、対応する振る舞いの合致を生み出す最初のティアとなります。
• 非線形変換は最も強力な回復を提供しますが、アフィン写像に対して収穫逓減（diminishing returns）を示します。軸方向スケーリングを伴う剛体からアフィンへのジャンプは、アフィンから非線形へのジャンプよりも顕著です。

3. モデルおよびタスク固有のルーティング戦略

• モデルの違い: OPT-2.7Bは、Llama3やQwen3と比較して、回転、反射、および非線形成分に大きく依存していますが、後者はより低次元の「指示コード」（平行移動が支配的）を使用しているようです。
• プロンプトペアの違い: 特定のプロンプトペア（例：yes/no クエリ）は、オープンエンドなペアよりも回転およびアフィン変換に依存しています。
• 深さへの依存性: 平行移動は初期レイヤーで支配的ですが、より高次の複雑なティア（アフィン、非線形）は中層から深層のレイヤーでより多く寄与します。

4. 因果的検証

因果的介入により、隠れ状態を単に平行移動させるだけで、振る舞いを大幅に制御できることが確認されました。しかし、ターゲットの表現幾何学と高い振る舞いの正確性の両方を回復するためのクリティカルな閾値は、アフィン変換です。これは、次元を跨いだ線形混合が、表現を指示されたタスクへと再編成するための鍵となるメカニズムであることを示唆しています。

意義と主張

本論文は、プロンプトによる表現の変化を、解釈可能な幾何学的コンポーネントへと分解するための一般的なフレームワークを提供すると主張しています。主要な知見は、指示プロンプティングの効果は、コンテンツの表現に対するアフィン変換として概ね理解できるということです。

• メカニズムの洞察: 著者らは、平行移動が表現をシフトさせるための「大部分の仕事」を行う一方で、回転やせん断（アフィン成分）が、タスクへの整合に必要な残差の構造的コンポーネントを修正すると主張しています。
• 解釈可能性: 各変換ティアの寄与を定量化することで、本フレームワークはモデルがいかにタスクに関連する構造をルーティングしているかを明らかにします。これは、自然なプロンプティングが、複雑な非線形的再構成を必要とするのではなく、活性化空間における低複雑度の変換を通じて実装されていることを示唆しています。
• 限界: 著者らは、本分析がゼロショット指示プロンプトに限定されており、フューショットデモンストレーション、ソフトプロンプト、またはロングコンテキスト条件付けについては評価していないことを明記しています。また、介入は単一のレイヤーおよびトークンに制限されています。

本研究は、新しいステアリング・オペレータを設計するための手法ではなく、自然なプロンプティングの幾何学的性質を診断するためのツールとして位置づけられており、プロンプティングの操作的な結果は、主要な平行移動の後の残差の微細構造（回転および小さな非線形部分）に集中していることを示唆しています。