論文要約：Transformer 表現における方向と大きさの解離

タイトル: Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis
著者: Mangadoddi Srikar Vardhan, Lekkala Sai Teja (NIT Silchar)

1. 研究の背景と問題提起

Transformer モデルの隠れ層状態（hidden states）は高次元ベクトルとして情報を符号化していますが、その幾何学的性質である「方向（方向性、単位ベクトル）」と「大きさ（ノルム、ベクトルの長さ）」が、下流の計算においてどのような機能的役割を果たしているかは未解明でした。

従来の「線形表現仮説（Linear Representation Hypothesis）」は、概念が活性化空間内の特定の「方向」として符号化されると提唱していますが、「大きさ」の役割については言及が乏しく、単なるノイズや冗長性と見なされる傾向がありました。しかし、LayerNorm などの操作や最近の研究は、大きさにも意味のある情報が含まれている可能性を示唆しています。

核心的な問題点:
方向と大きさを比較する際、単純にそれぞれを独立して摂動（perturbation）を与えると、表現空間におけるユークリッド距離（摂動の大きさ）が異なってしまいます。これでは、どちらの性質が重要かを公平に比較できません。

2. 提案手法：L2-Matched Perturbation Analysis

本研究の主要な方法論的貢献は、L2-Matched Perturbation Analysis（L2 一致摂動分析）の導入です。

• 手法の概要: 方向（角度）の摂動と大きさ（スケーリング）の摂動を、元のベクトルからのユークリッド距離（$\delta$）が完全に一致するように制約して生成します。
• 数式的アプローチ:
  • 元のベクトル $h$ を、大きさ $\|h\|$ と方向 $\hat{h}$ に分解。
  • 大きさ摂動：$\|h\|$ をスケーリングし、方向を保持。
  • 角度摂動：方向を回転させ、大きさを保持。
  • 両者の摂動後のベクトルと元のベクトルの距離が等しくなるよう、スケーリング係数 $\alpha$ と回転角 $\theta$ を計算します。
• 目的: 摂動の「大きさ」を統制することで、方向と大きさのどちらが機能的に重要かを因果的に比較可能にします。

3. 実験設定

• モデル: Pythia ファミリー（410M パラメータ、1.4B パラメータ）を主要な対象とし、中間層（8〜15 層）に対して摂動を適用。
• 評価指標:
  1. 言語モデル損失（Perplexity）: 次のトークン予測の精度。
  2. 構文処理精度: BLiMP データセットにおける主語 - 動詞の一致（Subject-Verb Agreement）タスク。
• 比較対象: 摂動タイプ（角度 vs 大きさ）と、その影響の伝播。

4. 主要な結果：クロスオーバー解離（Cross-over Dissociation）

Pythia モデルにおいて、驚くべきクロスオーバー解離が観察されました。これは、ある摂動タイプが一方の機能に、別の摂動タイプが他方の機能に、それぞれ特異的に大きな悪影響を与える現象です。

4.1 言語モデル損失への影響

• 結果: 角度（方向）の摂動が、大きさの摂動に比べて圧倒的に大きな損失増加を引き起こしました。
• 数値: 小さな摂動（$\delta=1.0$）において、角度摂動による損失増加は大きさ摂動の42.9 倍に達しました。
• 解釈: 方向は次のトークン予測において決定的な情報を担っており、わずかな回転でも情報が根本的に変化し、エラーが連鎖します。

4.2 構文処理への影響

• 結果: 逆に、大きさ（ノルム）の摂動が、構文タスク（主語 - 動詞の一致）の精度低下に圧倒的に大きな影響を与えました。
• 数値: $\delta=5.0$ の場合、大きさ摂動は精度を 20.4% 低下させましたが、角度摂動はわずか 1.6% しか低下させませんでした。
• 解釈: 構文処理には、ベクトルの「大きさ」が重要な役割を果たしていることが示唆されます。

5. 機械的メカニズムの解明（Causal Intervention）

なぜこのような解離が起きるのか、因果的介入実験（Causal Intervention）を通じてメカニズムを解明しました。

5.1 経路の解離

• 角度（方向）の経路: 損失への悪影響は主にアテンション経路を介して伝播します。
  • 証拠：アテンション出力を修復（clean な値を注入）することで、角度摂動による損失の**28.4%**が回復しました（大きさ摂動では 15.2% のみ）。
  • 意味：方向は「どのトークンに注目するか（アテンションルーティング）」を決定する。
• 大きさの経路: 構文への悪影響は主にLayerNorm 経路を介して伝播します。
  • 証拠：LayerNorm 出力を修復することで、大きさ摂動によるダメージの**29.9%**が回復しました（角度摂動では 13.7% のみ）。
  • 意味：大きさは LayerNorm 介した処理強度を調節し、構文構造の位置情報を符号化している。

5.2 大きさの役割：構文木深さの符号化

• 解析の結果、ベクトルの「大きさ」は**構文木における深さ（Parse Tree Depth）**と正の相関があることが判明しました。
• 大きさの摂動はこの相関を 75% 破壊しますが、角度の摂動はほぼ維持します。
• 結論: 大きさは「トークンが構文木のどこにあるか」という構造的な位置情報を符号化しており、これが主語 - 動詞の一致などの微細な構文計算に不可欠であることを示しています。

6. 一般化性とアーキテクチャ依存性

• スケーリング: Pythia-1.4B においても同様の解離パターンが再現され、むしろ大規模モデルほど方向の重要性が増す傾向が見られました。
• アーキテクチャ依存（重要）: この解離はすべての Transformer に通用するわけではありません。
  • OPT (LayerNorm): 損失の解離は再現しますが、アテンション経路の役割が逆転する傾向が見られました。
  • TinyLlama (RMSNorm): 解離パターンが完全に逆転しました。RMSNorm を使用するモデルでは、大きさ摂動の方が損失に大きなダメージを与えます。
  • 示唆: 方向と大きさの機能的役割は、正規化層の種類（LayerNorm vs RMSNorm）に強く依存しています。

7. 理論的・実用的意義

1. 線形表現仮説の精緻化:

   • 従来の仮説（方向＝意味）を拡張し、**「方向はアテンションルーティングを支配し、大きさは構文位置の符号化と処理強度の調節を行う」**という、部分的に独立した役割を提案します。
   • 「符号化（Encoding）」と「計算（Computation）」を区別する必要があります。方向は構文カテゴリを符号化しますが、その情報をどう使うか（構文計算）には大きさが関与しています。

2. モデル編集（Model Editing）への示唆:

   • 言語モデルの品質や事実知識を維持したい場合は「方向」を保護し、構文的一貫性を維持したい場合は「大きさ」を保護するなど、目的に応じたターゲット編集が可能になります。

3. 解釈可能性（Interpretability）への示唆:

   • ベクトル全体を解析するのではなく、方向と大きさを分離して解析することで、異なる情報ストリーム（意味内容 vs 構文構造）をより詳細に解読できる可能性があります。

8. 結論

本研究は、L2 一致摂動分析という新しい手法を用いて、Transformer 表現における方向と大きさの機能的解離を実証しました。Pythia アーキテクチャ（LayerNorm ベース）では、方向がアテンションを介した言語モデル性能に、大きさが LayerNorm を介した構文処理にそれぞれ特異的に寄与していることが明らかになりました。しかし、この関係性はアーキテクチャ（特に正規化方式）に依存しており、RMSNorm ベースのモデルでは逆転することから、Transformer の幾何学的性質の役割は単一のものではなく、設計選択によって変化する複雑なものであることが示されました。