技術的サマリー：大規模言語モデルにおける深層にわたる創発的因果幾何学動力学

問題提起

大規模言語モデル（LLM）に関する現在の研究は、幾何学的分析と因果的介入という、明確ながらしばしば分断された 2 つのアプローチに二分されている。

• 幾何学的分析は、類似性、次元性、曲率などの指標を用いて、ネットワークの深さにわたるトークン表現の進化を特徴づける。これらの研究は構造化された深さ依存の変異を明らかにするものの、主に相関関係にとどまっている。これらは文脈がどのように符号化されるかを記述するが、どの特定の幾何学的特徴が直接出力予測分布を支配するかを特定するには至っていない。
• 因果的介入（メカニズム的研究）は、出力の変化を観察するために内部状態を攪乱する。これらの研究は深さ依存の有効性プロファイル（例えば、特定の介入が初期層よりも後期層でより効果的であること）を明らかにしてきたが、統一的な表現フレームワークを欠くことが多い。操作された表現がどのように幾何学的に組織化されているか、あるいはなぜ介入が特定の層では成功し他の層では失敗するのかは、依然として不明である。

中心的な未解決問題は、内部表現の幾何学的構造が、ネットワークの深さにわたってどのように再編成され、予測を因果的に形成するかである。具体的には、表現構造は記述的にアクセス可能で線形的に復号可能であっても、出力生成において因果的に機能していない場合がある。本論文は、「メカニズム的幾何学」を定義することによりこれらの視点を統合することを試みる。これは、その構造が予測に対する因果的制御に直接結びついている表現幾何学である。

手法

著者らは、Llama V3.1 8B、Mistral 0.3 7B、および Qwen 2.5 7B の 3 つのデコーダ専用 LLM において、幾何学的分析とターゲットを絞った因果的介入を組み合わせた統合アプローチを採用した。

1. 介入分析

本研究は、「月の名前」、「曜日の名前」、「時計計算」という、明確に定義された入力・出力空間を持つ 3 つのモジュール型タスクを利用する。2 つの主要な介入タイプが適用される。

• 入力中心介入: 特定の入力トークン表現間の重心差に基づいて（例：「1 月」の表現を「2 月」方向へシフトさせる）、ステアリングベクトル（$V_L$）が計算される。これらのベクトルは、特定の層における入力トークンの隠れ活性化に追加される。
• 出力中心介入: 異なる予測出力に関連する最終トークンの隠れ表現間の重心差に基づいてステアリングベクトルが計算される。これらは最終トークンの活性化に適用される。
• 指標: 介入の有効性は、元の予測とターゲットの予測間のモデルのログオッズ（logit）の選好度の変化によって定量化される。

2. 表現分析

基盤となる幾何学を特徴づけるため、著者らはWikiText-103データセットを用いて表現を分析し、以下の点に焦点を当てた。

• 次元性: 隠れ層活性化の参加比（Participation Ratio: PR）を測定し、実効次元性を決定する。「同一トークン」（異なるシーケンスにわたる最終トークン）と「非同一トークン」（シーケンスによって変化する終端付近のトークン）の間で比較が行われる。
• 幾何学的符号化: トークン表現間の対称ユークリッド距離および角度距離を、対応する出力予測分布の対称カルバック・ライブラー（KL）ダイバージェンスと相関させる。
• 純粋介入: 幾何学的構成要素を分離するために、著者らは「純粋角度介入」（方向のみを保持するためにベクトルを正規化してからステアリング）と「純粋ノルム介入」（平均ノルムに一致するようにベクトルを再スケーリング）を実行する。

主要な結果

1. 鋭い深さ方向の遷移

介入実験は、すべてのテストモデルにおいて二相性の計算構造を明らかにした。

• 初期フェーズ（文脈中心）: 約最初の 3 分の 2 の層は、入力中心の介入に対して選択的に敏感である。ここで入力トークンを攪乱することは、予測を効果的にシフトさせる。
• 後期フェーズ（予測中心）: 約最後の 3 分の 1 の層は、出力中心の介入に対して選択的に敏感である。ここで最終トークンの表現を攪乱することは、予測を効果的にシフトさせる。
• この遷移は、文脈処理計算から予測形成計算への移行を表している。

2. 表現幾何学の再編成

幾何学的分析は、遷移点に続いて表現空間の明確な再編成を明らかにした。

• 次元性: 同一トークンは、初期層において実効次元性の拡大とその後の収縮を示し、後期層で安定化する。非同一トークンは、トークン同一性と文脈によって駆動される、より広範で多峰性の次元性プロファイルを示す。
• 角度対ユークリッド符号化: 予測中心フェーズ（後期層）において、2 成分の幾何学的符号が出現する。
  • 角度構造: トークン表現間の角度距離は、それらの出力予測分布の類似性と強く正の相関を持つようになる。
  • ノルム: ユークリッド距離は予測類似性からほぼ解離する。ユークリッド距離と角度距離の間の乖離は、ベクトルノルムが予測メカニズムに直交する情報（トークン固有および文脈固有の変動）を符号化していることを示している。

3. 角度符号化の因果的検証

後期層における予測が角度幾何学によって制御されるという仮説は、純粋介入によって確認された。

• 角度介入: 最終トークンに対する純粋な方向性介入は、後期（予測中心）フェーズでは非常に効果的であるが、初期フェーズでは効果がない。
• ノルム介入: 純粋なノルムベースの介入は、すべての層および介入タイプにおいてほぼ効果がない。
• メカニズム: 著者らは、最終層において出力分布 $p \propto \text{Softmax}(W_{out} h_L)$ が相対的ログオッズ値のために $h_L$ の方向に依存するのに対し、ノルムは単にグローバルなスケーリング因子（逆温度）として機能すると提案する。したがって、角度構造を修正することは、直接予測の同一性を変化させる。

主要な貢献

1. 視座の統合: 本論文は幾何学的アプローチと因果的アプローチを統合し、幾何学的構造がネットワーク全体に存在する一方で、予測に対して因果的に関連するのは特定の側面（後期層における角度組織）のみであることを実証する。
2. 二相性アーキテクチャの特定: 初期層が文脈を処理し、後期層が予測を形成するという明確な機能的分離を確立し、介入の有効性における鋭い遷移によってこれを特徴づける。
3. 予測のメカニズム的幾何学: 後期層における特定の幾何学的符号を特定する。ここでは角度構造が次のトークンの分布類似性をパラメータ化するのに対し、表現ノルムは予測から解離した情報を担う。
4. 復号可能性の因果性への誤解の否定: 単に復号可能な意味構造（線形分離性）が存在するだけでは、予測に対する因果的関連性を意味しないことを実証し、過去の介入文献における仮定に挑戦する。

意義と主張

著者らは、自身の発見が LLM が文脈を予測に変換する方法に関するメカニズム的説明を提供すると主張する。その意義は以下の点にある。

• 不可解な発見の統合: なぜ介入が深さに依存し、なぜ角度類似性が特定の文脈（後期層）でのみ意味的関連性と相関するのかを説明する。
• 制御への示唆: 本論文は、層ごとの機能を孤立して理解したり、効果的に介入したりすることはできないと主張する。効果的な制御には、創発的なグローバル動力学構造、特に後期層の角度幾何学を標的とする必要がある。容易に復号可能な特徴（ノルムベースのものや初期層のものかもしれない）を標的とした介入は、一般化に失敗するか、間接的な制御しか行使しない可能性がある。
• アーキテクチャへの洞察: 結果は、RMSNorm などの正規化スキームが、予測において方向が大きさよりも信頼性の高い信号となるような、角度符号化にとって好ましい条件を作り出している可能性を示唆する。

著者らは謙虚であり、これらの発見は特定のモジュール型タスクとモデルファミリーに基づいており、初期層の文脈幾何学と後期層の角度符号の創発との関係は未解決の問題であると指摘している。彼らは新しい安全性介入や展開戦略を提案するのではなく、LLM 計算の科学的理解の向上に焦点を当てている。