技術的サマリー：スケールが言語モデルの表現幾何学を予測のために組織化するかどうかを決定する

問題定義

言語モデル（LM）において、表現のセマンティックな内容は、その表現空間の幾何学、具体的には絶対的な活性化値ではなく点間の距離によって決定される。既存のツールはこの幾何学の「形状」（例えば、ランク、スペクトル減衰、モデル間収束）を特徴付けるが、「この幾何学は何のために組織化されているのか？」という機能的な問いには答えていない。

理論的枠組みでは、表現はモデルの予測タスク、具体的には隠れ状態を次のトークン分布にマッピングするアンエンベディング行列 $W_U$ の周りに組織化されるべきであると示唆されている。しかし、中間層がその距離構造をこの読み出し部分空間と整合させるかどうかは、依然として経験的な問いである。Logit Lens（個々の点のデコード可能性をテストする）やスペクトル指標（多様体の形状を記述する）といった現在の指標は、距離の「幾何学的配置」が予測に向けて機能的に組織化されているかどうかを捉え損なっている。さらに、この組織化がすべての層とモデルスケールにわたって均一に維持されているかどうかは不明である。

手法：サブスペース PGA

著者らは、層の距離構造がモデルの予測読み出しとどの程度整合しているかを定量化するために設計された指標、「サブスペース予測幾何学整合（Subspace PGA）」を導入する。

1. 読み出し部分空間の定義: アンエンベディング行列 $W_U$ を特異値分解（SVD）によって分解する。上位 $k$ 個の右特異ベクトルが、予測を生成するために $W_U$ が最も増幅する隠れ空間内の方向を表す読み出し部分空間（$V_k$）を定義する。
2. 距離保存: 与えられた層 $\ell$ について、著者らは完全な $d$ 次元空間における隠れ状態のペアワイズコサイン距離（$d_{full}$）と、投影された読み出し部分空間におけるそれ（$d_{proj}$）を計算する。
3. ヌル分布: 読み出しの特定の寄与を分離するために、著者らは $d_{full}$ と $d_{proj}$ の間のスピアマン相関を、ヌル分布と比較する。このヌル分布は、グラスマン多様体から一様にサンプリングされた 100 個のランダムな $k$ 次元部分空間に同じ隠れ状態を投影することで生成される。
4. Z スコア計算: サブスペース PGA は以下の Z スコアとして定義される：
   $$PGA(\ell) = \frac{\rho_{readout} - \mu_{null}}{\sigma_{null}}$$
   高い正の $z$ は、幾何学が予測のために組織化されていることを示す（読み出しはランダムな部分空間よりも多くの構造を保存する）。$z \approx 0$ は特別な整合がないことを意味し、$z < 0$ は読み出しがランダムな部分空間よりも距離構造と整合度が低いことを意味する。
5. 異方性補正: 支配的な分散方向（コサイン類似度を過大評価する）が指標を混乱させるのを防ぐため、著者らは距離を計算する前に平均中心化を行い、その後 CCR-1（主要成分の除去）を適用する。

主要な結果

本研究は、70M から 69 億パラメータまでの 7 つの Pythia モデルと、3 つのクロスファミリーモデル（OLMo、Phi、Gemma）を評価する。

1. スケール依存的组织化

• 大規模モデル（$d \ge 2048$）: これらのモデルは、すべての中間層を通じて強力な予測的組織化を維持する。$z$ スコアは有意に正のまま（中間層で $z=9–24$ にピークする）であり、距離構造が一貫して読み出し部分空間と整合していることを示している。
• 小規模モデル（$d \le 1024$）: これらのモデルは「迂回（detour）」レジームを示す。訓練初期および初期層では予測的組織化を確立するが、後期（ただし最終層ではない）の層でこの整合性を徐々に失う（例：Pythia-410M の層 20–23）。これらの「崩壊ゾーン」では、$z$ スコアが著しく低下する（例：$-32$ まで）が、モデルの検証損失が改善し続ける中で、距離構造が読み出しと整合しなくなることを示している。
• 回復: 小規模モデルでは、最終層が整合性を回復し、出力前に幾何学を再び読み出し部分空間へ投影する。

2. 機構：容量トレードオフとマスキング

小規模モデルにおける組織化の喪失は、予測情報の破壊ではなく、容量制約に起因するマスキング効果である。

• 支配的方向の移動: 小規模モデルの後期層では、残差ストリーム内の最大分散方向（PC1）が、読み出し部分空間から「暗い」方向（$W_U$ に直交する方向）へと回転する。
• マスキング: 支配的な分散方向が距離構造の大部分を担っているため、その分散の一部を捉えるランダムな部分空間は、読み出し部分空間と同程度、あるいはそれ以上に距離構造を保存することになる。これが $z$ スコアの低下を引き起こす。
• 復元: 上位の主要成分を除去（CCR-5 または CCR-10）することで、$d \ge 768$ のモデルのすべての層において正の $z$ スコアが回復する。これは、予測構造が intact でありながら、いくつかの支配的で予測と無関係な方向によって隠されていたことを確認する。

3. スペクトル指標および損失からの独立性

• スペクトルによる盲点: 標準的なスペクトル指標（RankMe、$\alpha$-ReQ、等方性、条件数）はこの区別を検出できない。小規模モデルの崩壊ゾーンにおいて、スペクトル指標は安定または平坦なままなのに対し、サブスペース PGA は 40 標準偏差以上変動する。
• 損失への不感応: 検証損失曲線は小規模モデルと大規模モデルの間でほぼ同一であり、中間層で起こっている幾何学的再組織化を捉え損なう。

4. クロスアーキテクチャ収束

読み出し部分空間は、クロスアーキテクチャにわたる収束構造を集中させる。異なるモデル（例：Pythia と OLMo）を比較すると、ペアワイズ距離のスピアマン相関は、完全な空間やランダムな部分空間よりも、100 次元の読み出し部分空間において高くなる。これは、独立して訓練されたモデルが幾何学的に合意するものが、具体的に予測機能に結びついていることを示唆している。

5. 下游タスクへの有用性

大規模モデルでは、高いサブスペース PGA $z$ スコアを持つ層は、下游タスク（AG News）における線形プローブの精度も高い。小規模モデルでは、$z$ が負である「崩壊ゾーン」であってもプローブ精度は高く保たれており、これは基礎となる特徴が保存されているが、単に読み出しインターフェースと整合していないことをさらに証明している。

意義と主張

本論文は、スケールがモデルがどの程度予測を行うかだけでなく、そのために表現幾何学がどのように組織化されるかも決定すると主張する。

• 2 つの幾何学的レジーム: 著者らは、幾何学が予測と整合したままの「直接」レジーム（大規模モデル）と、後期層が一時的に予測と無関係な方向を経由して計算をルーティングし、出力で修正する「迂回」レジーム（小規模モデル）を特定する。
• 機能的指向: 本研究は、表現幾何学の「形状」を特徴付けることから、その「機能的指向」を理解することへと焦点を移す。幾何学は高度に構造化されていても、モデルの目的と機能的に整合していない可能性があることを実証する。
• 現在の指標の限界: 損失曲線やスペクトル指標は、中間表現の機能的組織化を診断するには不十分であることを浮き彫りにする。サブスペース PGA は、これらの現象を検出するためのタスクフリーで次元整合した指標を提供する。
• 容量対アーキテクチャ: この現象は、特定のアーキテクチャではなく、次元が小さい場合に異なるモデルファミリーで観察されることから、表現容量（幅）に起因すると帰せられる。

著者らは、小規模モデルにおける「迂回」は、明示的に学習されたルーティング戦略ではなく、中間計算方向と読み出し整合方向の衝突を強制する限られた容量による副作用であると結論づける。この区別は標準的な訓練シグナルには見えないが、言語モデルの内部メカニズムを理解する上で極めて重要である。