技術要約：重ね合わせ（Superposition）が堅牢なニューラル・スケーリングをもたらす

問題提起

大規模言語モデル（LLM）が、モデルのサイズが大きくなるにつれて一貫して損失（loss）を減少させ、性能を向上させるという経験的な観察は、「ニューラル・スケーリング則」として確立されており、損失がモデルサイズに対してべき乗則に従って減少することが知られている。しかし、このスケーリング則の根本的な起源は依然として不明である。改善された関数近似やスキルの学習能力の向上など、さまざまな説明が存在するが、その多くは実際のLLMの挙動を十分に捉えきれない可能性のある、データ分布や無限のデータ限界に関する仮定に基づいている。具体的には、表現の重ね合わせ（representation superposition）——モデルが干渉を受けることなく、隠れ次元よりも多くの特徴量を表現する現象——が、これらのスケーリング則の原動力としてどのように影響しているのかについては、これまで十分に研究されてこなかった。著者らは、重ね合わせの度合いがモデルの次元（幅）に対する損失のスケーリングにどのように影響するか、そしてどのような条件下でこのスケーリングがべき乗則に従うのかを調査している。

手法

著者らは、トランスフォーマー層のような他のLLMコンポーネントの影響を排除し、表現学習の効果を分離するために、Anthropicの重ね合わせフレームワーク（オートエンコーダ）に基づいたトイモデルを採用している。

1. トイモデルのアーキテクチャ:

   • 入力: $n$ 個の原子的な特徴量を表すベクトル $x \in \mathbb{R}^n$。各特徴量 $i$ は、頻度 $p_i$ で活性化され、強度は $v_i \sim U(0, 2)$ である。
   • メカニズム: モデルは、データを隠れ空間 $h = W^T x$ に埋め込むための重み行列 $W \in \mathbb{R}^{n \times m}$（ここで $m \ll n$）と、出力を再構成するためのバイアスベクトル $b$ を用いて、$y = \text{ReLU}(Wh + b)$ を学習する。
   • 損失: 再構成された出力と元の入力との平均二乗誤差として定義される：$L = \langle \|y - x\|^2 \rangle$。

2. 重ね合わせの制御:

   • 重ね合わせの度合いは、訓練中の**デカップルされた重み減衰（decoupled weight decay）**項（$\gamma$）を用いて系統的に調整される。
   • 弱い重ね合わせ（Weak Superposition）: 正の重み減衰（$\gamma > 0$）を用いることで達成される。モデルは最も頻度の高い特徴量のみを完全に表現（直交基底）し、残りの特徴量は無視する。
   • 強い重ね合わせ（Strong Superposition）: 負の重み減衰（$\gamma < 0$）を用いることで達成される。モデルは次元 $m$ よりもはるかに多くの特徴量を表現するため、表現ベクトルが重なり合う。ReLU非線形性と負のバイアスにより、モデルはこれらの重なりによる干渉を打ち消すことができる。

3. 実験設定:

   • 著者らは、モデル次元 $m$、データ次元 $n$、および特徴量の頻度分布（$p_i \propto 1/i^\alpha$ における指数 $\alpha$ によって制御）を変化させる。
   • 両方の領域（弱い重ね合わせと強い重ね合わせ）において、損失のスケーリング（$L \propto 1/m^{\alpha_m}$）を分析する。
   • LLMによる検証: オープンソースのLLM（OPT, GPT-2, Qwen, Pythia）を分析し、言語モデルヘッドの重みの重なりを測定し、トイモデルの予測と経験的な損失スケーリングを比較する。

主な貢献と結果

1. 弱い重ね合わせ領域：「べき乗則が入れば、べき乗則が出る」

弱い重ね合わせ領域では、モデルは頻度の低い特徴量を無視する。損失は、表現されていない特徴量の頻度の総和によって支配される。

• 発見: 特徴量の頻度自体がべき乗則に従う場合にのみ、損失はモデルサイズに対してべき乗則に従う。
• 指数: もし特徴量の頻度が $p_i \propto 1/i^\alpha$ （$\alpha > 1$）で減衰する場合、損失は $L \propto 1/m^{\alpha-1}$ となる。
• 示唆: この領域では、スケーリング指数はデータ分布の特定の特性に対して非常に敏感である。

2. 強い重ね合わせ領域：堅牢な幾何学的スケーリング

強い重ね合わせ領域では、モデルは幾何学的な重なりを利用して、多くの特徴量を同時に表現する。

• 発見: 損失は、べき乗則に従わない広範な頻度分布のクラスにおいても、モデル次元に反比例する（$L \propto 1/m$）。
• メカニズム: この堅牢性は、表現ベクトルの幾何学から生じる。高次元において、ランダムなベクトル（または干渉を最小化するように訓練されたベクトル）は、二乗の重なりが $1/m$ でスケールする性質を持つ。著者らは、頻度が均等な場合、表現ベクトルは等方的（isotropic）になり、偏った頻度の場合、最も重要な特徴量が「等角タイトフレーム（Equal Angle Tight Frame, ETF）」のような構造を形成することを示しており、どちらも $1/m$ のスケーリングにつながることを示している。
• 指数: 均等な頻度の場合、モデルの指数 $\alpha_m$ は堅牢に 1 に近い。高度に偏った頻度の場合、$\alpha_m$ は増加する可能性があるが（最大で $2(\alpha-1)$）、幾何学的制約により $1/m$ スケーリングが支配的なベースラインとして残る。

3. 実在のLLMによる検証

著者らは、オープンソースのLLMが強い重ね合わせ領域で動作していることを確認した：

• 証拠: 言語モデルヘッドの重みの行ノルムは、すべてのトークンに対して非ゼロであり（語彙サイズ $n \gg m$）、正規化された重みベクトルの平均二乗重なりは $1/m$ でスケールする。
• スケーリング則: LLMの損失をモデル次元に対して経験的にフィッティングすると、指数 $\alpha_m \approx 0.91 \pm 0.04$ となり、これは理論的予測である $\alpha_m \approx 1$ と一致する。
• 一貫性: この発見は、総パラメータ数（$N$）に対する損失のスケーリングが、幅のスケーリング（$\alpha_m \approx 1$）と $N \propto m^{2.52}$ という関係を組み合わせることで導き出せるという、Chinchillaスケーリング則と整合している。

重要性と主張

本論文は、表現の重ね合わせがニューラル・スケーリング則の中心的駆動力であることを特定している。

• メカニズム的説明: 損失がなぜモデルサイズに対してべき乗則としてスケールするのかについて幾何学的な説明を提供しており、このスケーリングの堅牢性が、単なるデータ分布の特性ではなく、高次元ベクトルの干渉特性に起因することを明らかにしている。
• 領域の区別: 従来の理論的研究は、しば_しば弱い重ね合わせ領域（スケーリングがデータ分布に依存する領域）を暗黙のうちに想定していたが、実際のLLMは強い重ね合わせ領域（スケーリングが幾何学的に堅牢な領域）で動作していることを明確にした。
• 実用的な洞察: 結果は、重ね合わせを促進することがメカニスティック・インタープリタビリティ（機械論的解釈可能性）やAIセーフティを複雑にする可能性があることも示唆している。

要約すると、本論文は、LLMにおけるスケーリング則の成功は単なる統計的なアーティファクトではなく、限られた次元内に膨大な特徴空間を効率的に表現することを可能にする、重ね合わせの幾何学的な効率性の帰結であると主張している。