技術的サマリー：スペクトル反集中とトランスフォーマー表現の双幾何学

問題定義

本論文は、大規模言語モデル（LLM）における概念表現の幾何学的構造を調査し、特に概念がどのように符号化され、言語間で輸送されるかに関する 2 つの競合仮説を検証する。

第一に、線形表現仮説（LRH）は、高次概念が活性化空間内の線形方向として符号化されていると主張する。Park ら [2024] は、アンエンベディング行列の逆共分散（$\Sigma^{-1}$）によって定義される因果的内積を提案することでこれを形式化し、因果的に分離可能な概念はこの計量下で直交すると示唆した。これにより、**白化因果的整合（WCA）**の仮説が導き出された：すなわち、この因果幾何学（$\Sigma^{-1/2}$による白化）を用いて表現空間を整合させることは、標準的なユークリッド・プロクラステス整合に比べて、言語間概念輸送において優位性を発揮するというものである。

第二に、プラトニック表現仮説は、能力のあるモデルは共有された内部表現に収束することを示唆しており、ある言語から抽出された概念方向は別の言語へ転用可能であるべきだとする。

著者らは、因果的内積の固有方向が具体的にこの言語間輸送を促進するか検証しようとした。しかし、彼らの実験は、より広範で以前に特徴付けられていなかった現象、すなわちスペクトル反集中を明らかにした。彼らは、概念表現がモデルのスペクトルにおける高分散方向を体系的に回避するのに対し、静的な語彙は逆の挙動を示すことを発見した。

手法

本研究は、5 つのアーキテクチャファミリー（Llama、Qwen、Gemma、Mistral、およびエキスパート混合モデル）にまたがる17 のモデルと4 つの言語対において、厳密な多手法アプローチを採用している。

1. 概念抽出（3 つの独立した手法）

方法論的なアーティファクトを排除するため、著者らは 3 つの異なるアプローチを用いて概念方向を抽出する：

• 平均差法： 対照的な単語ペアのプールされた残差ストリーム活性化の平均差を計算する（減算法）。
• スパースオートエンコーダ（SAE）： Gemma Scope、Llama Scope などの事前学習済み SAE から、文脈化された活性化を用いて、最も差別的に活性化する上位特徴を抽出する（教師なし、非減算）。
• 線形プローブ： 生で中心化されていない文脈化された活性化に対して、L2 正則化ロジスティック回帰分類器を訓練する（教師あり）。

2. スペクトル分析フレームワーク

すべての概念ベクトルを、言語固有のアンエンベディング共分散行列 $\Sigma_L$ の固有基底 onto 射影する。著者らは以下を定義する：

• スペクトルエネルギー分布： 特定の固有ベクトルにおけるベクトルエネルギーの割合。
• ジニ偏差： 集中と反集中の尺度。負の値はエネルギーがスペクトルの尾部（低分散方向）に集中していることを示す。
• スペクトル重心（SCM）： エネルギーの 50% に達する累積分散点。

3. 主要実験

• 一致スペクトルランダム化： 因果幾何学の有用性をテストするため、著者らは $\Sigma$ の真の固有ベクトルを、固有値スペクトルを保持したままランダムな直交行列に置き換えた。言語間輸送において実在 WCAと偽 WCAを比較した。
• 分割注入ステアリング： 概念ベクトルを「叫び」（上位 10% 固有ベクトル、高分散）と「ささやき」（下位 10% 固有ベクトル、低分散）の成分に分解した。これらを Gemma および Llama モデルの様々な深さに注入し、パープレキシティの低下（文法的干渉の代理指標）を測定した。
• 品詞タグプロービング： 高分散（上位 k）および低分散（下位 k）部分空間に射影された活性化に対して分類器を訓練し、構文情報がどこに存在するかを決定した。
• 双幾何学チェック： 活性化空間の概念ベクトルと静的なアンエンベディング行の差を比較し、対照的なスペクトル挙動を特定した。

主要結果

1. 輸送における因果幾何学の失敗

一致スペクトルランダム化テストの結果、実在 WCA と偽 WCA は区別不可能であった（p = 0.95）。因果的内積の固有方向は、スペクトル正則化（高分散方向の減衰）の効果を超えて、言語間輸送を測定可能な形で改善しない。

2. スペクトル反集中

概念が高分散方向と整合するかもしれないという期待に反し、本研究は頑健なスペクトル反集中を発見した：

• 活性化空間の概念ベクトル（3 つの抽出手法すべてから）は、一貫して固有スペクトルの低分散尾部に不釣り合いなエネルギーを配置する。
• この傾向は 17 のモデルおよび 5 つのアーキテクチャファミリーにわたって成り立つ（平均ジニ = -0.282、p < 10⁻³³）。
• この効果は背景のスペクトル形状に依存せず、SAE および線形プローブ手法を通じて減算アーティファクトが排除された場合でも持続する。

3. 双幾何学

本論文は、語彙空間と推論空間の間の根本的な二重性を特定する：

• 語彙空間（静的）： アンエンベディング行における概念固有の差異は、高分散方向に集中する（正のジニ）。これにより、概念の対比がトークン予測のロジットに最大限の影響を与えることを可能にする。
• 推論空間（活性化）： 残差ストリーム内の概念表現は、スペクトル尾部において反集中する。
• ランダムなトークンペアの差異は軽度の反集中を示すのに対し、概念固有のペアは語彙空間において能動的に集中を示す。これは、アンエンベディング行列が特にその主軸に沿って概念関連の対比を符号化していることを確認する。

4. 機能的証拠

• 干渉非対称性： Gemma および Llama における分割注入実験は、概念ベクトルを高分散（「叫び」）方向に注入することが、低分散（「ささやき」）方向に注入する場合よりも、はるかに大きなパープレキシティ低下（文法的混乱）を引き起こすことを示した（Cohen's d は最大 1.80）。
• 構文符号化： 品詞タグプロービングは、8 つのアーキテクチャのうち 6 つにおいて、構文情報が高分散部分空間に優先的に符号化されていることを明らかにした。
• Qwen 2.5 の異常： Qwen 2.5 ファミリー（3B、7B）はこのパターンを逆転させ、品詞情報に対して下位 k の優位性を示し、干渉非対称性が見られない。これは、構文と意味のスペクトル分離がアーキテクチャに依存する可能性を示唆している。

意義と主張

本論文は、トランスフォーマー表現における**「双幾何学」を明らかにすると主張する：「概念はささやき、構文は叫ぶ」**。

• メカニズム的洞察： トランスフォーマーは、文脈化処理中に意味内容をスペクトル的に静かな（低分散の）領域へ回転させるように見える。これにより、概念は文法的混乱を減らして操作可能となり、一方、構文と構造的パターンは、残差ストリームノイズに対して頑強に生存できる高分散の「騒がしい」部分空間を占有する。
• 解釈可能性への示唆： 主成分のみ（標準的な PCA 可視化など）に焦点を当てる手法は、スペクトル尾部に存在する概念レベルの情報を見逃すリスクがある。解釈可能性ツールは低分散方向に注意を払う必要がある。
• ステアリングへの示唆： この知見は、活性化工学における実用的な改良を示唆する：注入前にステアリングベクトルを低分散部分空間へ射影することは、文脈の乱れを低減しつつ概念操作を達成でき、構文経路の混乱によって引き起こされる「失語症」を軽減する可能性がある。
• 理論的関連性： この結果は、超位置の理論にスペクトル次元を提供する。高分散方向が頻出する構文パターンによって「占有」されている場合、意味概念の有効次元は減少し、ネットワークは超位置を介して尾部に意味特徴を符号化することを余儀なくされる。

著者らは、彼らの概念が単語レベルの対照から導出されたものであり、エンコーダ・デコーダアーキテクチャや高度に抽象的な概念における現象の挙動は未解決の問題であるとして、その範囲については謙虚な姿勢を保っている。彼らは、Qwen 2.5 の異常が、特定のトレーニング体制またはアーキテクチャ選択がスペクトル割り当てをどのように変化させるかについてのさらなる調査を要すると強調している。