技術要約：深層トランスフォーマー・マニフォールドにおける潜在的なオブジェクト恒常性

1. 問題提起

本論文は、大規模言語モデル（LLM）の解釈可能性における根本的な欠落に対処している。潜在空間はしばしば連続的な意味論的場としてモデル化されるが、多段階の推論には離散的な操作（否定、量化、変数束縛）が必要となる。著者らは、深層トランスフォーマーが、連続的な表現を安定して再利用可能な単位へと離散化するメカニズムを自発的に実装しているかどうかを調査している。彼らは、この離散化が、ネットワークの深さの関数として、潜在活性化マニフォールドの幾何学的構造における相転移を通じて発生するという仮説を立てている。具体的には、十分に大規模なモデルは、高エントロピーな「液体」レジーム（拡散した重ね合わせ）から、低エントロピーな「固体」レジーム（オブジェクト恒常性を支える安定した盆地）へと移行すると提案している。

2. メソドロジーとフレームワーク

著者らは、トランスフォーマーの深さ $L$ を、離散的な時間変数 $\gamma = l/L \in [0, 1]$ として定式化している。彼らは残差ストリーム $h^{(l)}$ とその共分散行列 $C^{(l)}$ の進化を、主に以下の3つの観点から分析している。

2.1 アテンションの熱力学

著者らは、統計物理学を用いてアテンション機構をモデル化している。

• 自由エネルギー原理： アテンションの重みは、自由エネルギー汎関数 $F(p) = \sum p_j E_j + \frac{1}{\beta} \sum p_j \log p_j$ を最小化するように示される。ここで、$E_j$ はクエリ・キーのドット積から導かれるエネルギー項である。
• 冷却効果： 逆温度 $\beta$ はアーキテクチャによって固定されているが、著者らは、深さが増すにつれてクエリおよびキーの大きさが大きくなることが、実質的にシステムを「冷却」すると主張している。これにより、エントロピー項の相対的な重要性が減少し、低エントロピーで鋭い選択（結晶化）へと駆動される。

2.2 幾何学的およびスペクトル分析

• 秩序変数： 彼らは、スパース性に類似した指標としてオブジェクト完全性（$\Omega$）を定義する：$\Omega(h) = 1 - \frac{\|h\|_1}{\sqrt{d}\|h\|_2}$。高い $\Omega$ は、スパースで「オブジェクトのような」ベクトルを示し、低い $\Omega$ は、拡散した重ね合わせベクトルを示す。
• スペクトル密度： 彼らは、共分散行列の固有値スペクトル $\rho_l(\lambda)$ を分析し、それを**マルチェンコ・パストゥル（MP）**分布（構造化されていないノイズの帰無モデル）と比較する。
• 繰り込み群（RG）のアナロジー： 深さは、短距離の相関（局所的な構文）を積分消去し、長距離の演算子を安定化させるRGフローとして扱われる。

2.3 理論的定式化

論文は、この「固体」相の出現に関する厳密な数学的条件を提示している：

• 横方向の収縮（定理 6.1）： もし線形化されたダイナミクスが、無関係な方向（横方向の部分空間）を因子 $q < 1$ で収縮させるならば、横方向の共分散は指数関数的に減衰し、スペクトルの崩壊を招くことを証明している。
• 混合モデル（定理 6.3）： もし潜在状態が $k$ 個の離散的なプロトタイプ（混合モデル）の周囲にクラスター化しているならば、共分散行列は必然的に低ランク構造（等方的ノイズを上回る信号固有値が最大 $k-1$ 個）を示すことを実証している。

3. 主な貢献

1. 相転移仮説： 深層トランスフォーマーは、対称性の破れが生じる臨界的な深さの割合 $\gamma_c \approx 0.42$ を示し、ダイナミクスが「液体」（高エントロピー、MP的なバルク）から「固体」（低エントロピー、スペクトルのギャップ）へと移行するという提案。
2. 過渡的クラスオブジェクト（TCOs）： 推論ステップを通じて変数の表現や概念を維持する、潜在マニフォールド内の安定した盆地（ベイスン）の形式的な定義。TCOsは、近似的な不変性、横方向の収縮、およびクラスの安定性によって特徴付けられる。
3. 理論的保証：
   • 横方向の収縮によるスペクトル崩壊の十分条件。
   • 離散的なクラス構造（論理的分離可能性）が、特定の冪乗則の仮定に依存せず、低ランクのスパイク付き共分散を伴うことの厳密な証明。
4. 熱力学的解釈： アテンションの重みの先鋭化を「冷却」プロセスに関連付けた、自由エネルギー最小化としての変分的なアテンションの特性付け。

4. 結果

著者らは、1.5Bから30B以上のパラメータを持つ一連のモデル（Qwen、Gemma、Llama、および推論指向の30Bモデルを含む）を分析している。

• 臨界深さ ($\gamma_c$)： オブジェクト完全性の秩序変数 $m(\gamma)$ の経験的分析により、大規模モデル（例：30B）において $\gamma \approx 0.42$ 付近で急激なジャンプが見られ、$\Omega$ が大幅に増加すること（例：~0.69 から ~0.90 へ）が明らかになった。中規模モデルも同様だがより小さな転移を示す一方、小規模モデルは実用的な閾値を越えられず、「液体」レジームに留まり続ける。
• 二峰性： 有能なモデルでは、$\Omega$ の分布が二峰性となり、高完全性のオブジェクトを示す明確な「固体」バンドが背景から分離される。小規模モデルは単峰性のままとなる。
• スペクトル異常： 大規模モデルの臨界以降のレイヤーでは、以下が観察される：
  • 実効ランクおよび参加比率の減少。
  • マルチェンコ・パストゥル・バルクから逸脱するスペクトルの裾（テール）と、混合モデルによって予測される低ランク信号構造と一致する「スパイク」（外れ値となる固有値）。
• スケーリング： 転移の振幅はモデルサイズとともにスケールし、「固体」相がスケールの副産物である創発的特性であることを示唆している。

5. 意義と主張

論文は、潜在空間における幾何学的相転移と、創発的な推論能力を結びつける数学的に明示的なフレームワークを提供していると主張している。その意義は以下の点にある：

• メカニズムの統一： 熱力学的原理（自由エネルギー）、ランダム行列理論（スペクトルのスパイク）、および繰り込み群フロー（次元の収縮）を結びつけ、LLMがいかにして離散的な推論を実現するかを説明すること。
• オブジェクト恒常性の説明： 多段階の連鎖を通じて変数や概念の安定した表現をどのように維持するかについて、浅いレイヤーの「特徴量の重ね合わせ」という見方を超えたメカニズム（TCOs）を提示すること。
• 予測的診断： 臨界深さ $\gamma_c$ とスペクトルギャップの出現が、モデルの複雑な推論能力のための操作的な診断指標となることを提案すること。

著者らは、自身の研究を完全な認知理論ではなく、一連の「十分条件」および「診断的仮説」として位置づける控えめな姿勢を保っている。彼らは、「固体」相が深さとスケールの幾何学的な帰結であり、それが多段階推論に必要な論理的分離を容易にしていることを強調している。