🤖 AI

Small Initialization Matters for Large Language Models

本論文は、パラメータ初期化スケールの縮小が、低複雑度の凝縮から豊かな表現への明確な発展的軌道を駆動することによって、大規模言語モデルの容量と推論能力を向上させる、極めて重要かつコストのかからない介入策であることを実証し、既存の経験的な制約を克服するための単純な $\gamma$ 初期化規則を提案するものである。

原著者： Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

公開日 2026-06-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、巨大で超スマートなロボットの脳（大規模言語モデル、LLM）を構築し、それが話し方、推論、そして問題解決の方法を学習していく様子を想像してみてください。通常、科学者たちは、ロボットをより大きくしたり、より多くの本を読み込ませたり、あるいは配線図を微調整したりすることで、ロボットが賢くなるのだと考えています。

しかし、この論文は、ロボットの脳をどのように開始（初期化）するかという点に、それと同じくらい重要な「隠された秘訣」があるのだと主張しています。それは、学習を開始する前の、ロボットの脳細胞における初期の「ゆらぎ（wiggles）」をどれほど小さくするかという点です。

彼らが発見した物語を、分かりやすく説明します：

1. 「小さな始まり」の秘密

ロボットの脳を白紙のキャンバスだと考えてみましょう。絵を描き始める時、最初から大きく大胆で乱雑な筆致で描くこともできますし（大規模な初期化）、非常に小さく繊細で、ほとんど目に見えないような点から始めることもできます（小規模な初期化）。

従来の方法（大きな筆致）： ロボットは大きなランダムな推測からスタートします。これは、まるで、本当に「考えて」いるのではなく、単にパターンを暗記しているだけの硬直した機械のように振る舞います。
新しい方法（小さな点）： 著者たちは、極めて小さく初期設定を行うことで、ロボットの学習の仕方が変わることを発見しました。デタラメに推測する代わりに、ロボットはまず単純で基本的なパターンを見つけることから始めます（小説を書く前にアルファベットを学ぶようなものです）。時間が経つにつれ、これらの単純なパターンを自然に複雑でスマートな推論へと成長させていきます。

比喩： 自転車の乗り方を学ぶ場面を想像してください。

大きなスタート： いきなり時速20マイルで自転車に飛び乗ります。おそらく転ぶか、空回りするだけでしょう。
小さなスタート： まずは止まっている自転車の上でバランスを取ることから始め、次に歩き、それからゆっくりとペダルを漕ぎ始めます。基礎を築いていくのです。論文によれば、この「小さなスタート」こそが、最終的にずっと賢いライダーを生み出すのです。

2. なぜ以前はうまくいかなかったのか（「ノイズ」の問題）

著者たちは奇妙なことに気づきました。この「小さなスタート」を非常に大きなロボットに試そうとすると、その恩恵が消えてしまうのです。まるで、ロボットが「小さなスタート」を使うのを忘れてしまったかのようでした。

彼らは、ロボットのデザインの中に、この「小さなスタート」をかき消してしまう2つの「ノブレイカー（ノイズを作るもの）」を発見しました。

「セーフティネット」（レイヤー正規化/Layer Normalization）： ロボットには、数値が極端になりすぎないようにするためのセーフティネットがあります。しかし、このネットの設定が「緩すぎ」ました。ロボットが小さな数値からスタートしても、セーフティネットはそれを無視し、あたかも通常の数値であるかのように扱ってしまったのです。
- 解決策： 彼らはセーフティネットを締め直し、小さな数値も実際に認識できるようにしました。
「最初のトークン」への執着（アテンション・シンク/Attention Sink）： ロボットには、文章の最初の単語を凝視しすぎて、残りの部分を無視してしまうという悪い癖がありました。「小さなスタート」はこの癖を悪化させました。
- 解決策： 彼らは「ゲートキーパー（門番）」（ゲート付きアテンション/Gated Attention）を追加し、ロボットが文の始まりだけでなく、文全体に注意を払うように強制しました。

これら2つの問題を修正すると、「小さなスタート」は、最大級のロボットに対しても魔法のように効果を発揮しました。

3. 「ゴルディロックス（絶妙な）」ゾーン

「小さいのが良いなら、なぜもっと『超』小さくしないのか？」と思うかもしれません。
著者たちはこう言います：「ダメです。」 そこにはスイートスポットが存在します。

もしスタートが小さすぎると、ロボットは怠け者になってしまいます。入力をそのままコピーするだけになります（コピー機のようです）。
もしスタートが大きすぎると、混沌として乱雑になります。
スイートスポット： 彼らは、特定の数値（ $\gamma = 1$ と呼ばれる設定）において、ロボットが「基礎を学ぶ」のに十分小さく、かつ「実際に機能する」のに十分大きいという、完璧なバランスを見つけました。これは「基礎を学ぶこと」と「実務に取り組むこと」の間の完璧な調和です。

4. ロボットは実際にどのように学ぶのか（「圧縮」のトリック）

この手法を用いたとき、ロボットがどのように学ぶのかという点が最も興味深い部分です。

標準的なロボット： 乱雑に始まり、乱雑なままです。
「小さなスタート」のロボット： 特殊な経路を辿ります。
1. フェーズ1（圧縮）： 最初、ロボットの脳細胞はすべて整列し、非常に単純で似通ったものになります。これは、ロボットが世界を単純なルールへと「圧縮」しているような状態です。
2. フェーズ2（拡張）： これらの単純なルールを習得した後、それらをゆっくりと複雑で豊かなアイデアへと拡張していきます。

大きなアイデア： この論文は、知性とは実は「圧縮」であることを示唆しています。最初に最も単純な説明を見つけることを強いることで、ロボットはより良く推論することを学ぶのです。これは、答えをすぐに推測しようとするのではなく、まず最も単純な公式を見つけることで数学の問題を解くようなものです。

5. 魔法が起きる場所

ロボットは、あらゆることに対して等しく上手くなるわけではありません。

「the」や「and」のような、簡単で当たり前な単語を予測することについては、あまり向上しません。
しかし、文脈や論理、推論を必要とする難しい言葉については、劇的に上手くなります。
比喩： もしロボットに「2+2は？」と聞けば、元々できていたでしょう。しかし、「もし私が赤いボールと青いボールを持っていて、赤い方を失くしたら、手元に残っているボールの色は何色ですか？」と聞いた場合、「小さなスタート」を用いたロボットの方が、文脈を利用して答えを導き出すのがずっと上手いのです。

まとめ

この論文は、未来のAIを構築するためのシンプルなルールを提案しています。
小さく始めること。
単にAIを大きくするのではなく、その初期化の方法を変えてください。「小さなスタート」（具体的には $\gamma = 1$ の設定）を用い、設計における2つの「ノイズ」の問題を修正すれば、追加の費用や時間をかけることなく、よりスマートで、より高い推論能力を持つAIが得られます。これは、ロボットの学習の旅を「推測」から「理解」へと変える、無料のアップグレードなのです。

技術要約：大規模言語モデルにおける小さな初期値の重要性

問題提起

大規模言語モデル（LLM）の進歩は通常、スケール、データ、およびアーキテクチャに起因するとされるが、パラメータの初期化は、大規模モデル時代において再び複雑な問題として浮上している。標準的なヒューリスティック（例：Xavier、Kaiming）は、しばしばコストのかかる試行錯誤的なチューニングを必要とする。有力な理論的見解によれば、小さな初期値はネットワークを「凝縮（condensed）」レジームへと導き、重みが多様化する前に共有された方向に整列させることで、推論能力や汎化性能を高める可能性があるとされる。しかし、これらの利点が現実的な規模のLLMの事前学習においても持続するのか、あるいはアーキテクチャの構成要素が意図せず小さな初期値の利点を抑制してしまうのかについては、依然として不明である。

手法

著者らは、初期化スケールがLLMの学習ダイナミクスと性能に与える影響を系統的に調査した。

初期化のパラメータ化: 重み行列 $W$ を $W_{ij} \sim \mathcal{N}(0, \sigma^2)$ として初期化する。ここで $\sigma = d_{in}^{-\gamma}$ である。パラメータ $\gamma$ がスケールを制御する。 $\gamma = 0.5$ は標準的なXavier風のスケーリングを再現し、 $\gamma > 0.5$ （具体的には $\gamma = 1$ ）はより小さな初期値をもたらす。
モデルアーキテクチャ: 密なデコーダー専用TransformerおよびMixture-of-Experts（MoE）モデルの両方で実験を行った。アーキテクチャのバリエーションには、標準的なLayerNorm/RMSNormおよびマルチヘッドアテンションが含まれる。
アーキテクチャによる介入: 観察された制限に対処するため、2つの具体的な調整をテストした：
1. RMSNorm定数（ $\epsilon$ ）の削減: 標準的な $\epsilon = 10^{-5}$ から $10^{-12}$ へ下げることで、隠れ状態の分散が小さい場合に正規化因子が定数によって支配されてしまうのを防ぐ。
2. ゲート付きアテンション（Gated Attention）: アテンションヘッドの出力にクエリ依存のゲートを導入することで、「アテンション・シンク（attention sink）」（最初のトークンへの不釣り合いなアテンション）を緩和する。これは小さな初期化によって悪化する現象である。
学習設定: 高品質なバイリンガル（中国語-英語）コーパス（1兆トークン）を用い、AdamWによる次トークン予測でモデルを学習させた。実験は0.1Bから1.5Bパラメータのモデルサイズにわたって実施された。
分析指標:
- トークンレベル: 対称確率ギャップ（ $\Delta_{sym}$ ）およびトークンの難易度（平均損失）を用いて、性能向上の箇所を特定する。
- メカニズムレベル: 行方向のコサイン類似度および安定ランク（Stable Rank: $\|W\|_F^2 / \|W\|_2^2$ ）を用いて、パラメータ構造（凝縮 vs 拡張）の進化を追跡する。

主な結果

1. スケーリングの限界とその解決策

標準的な設定（ $\gamma=0.5$ vs $\gamma=1$ ）では、小さな初期化は一貫して検証損失を低下させるが、その恩恵はモデルサイズが増大するにつれて減少する。著者らは、これらを引き起こす2つのアーキテクチャ上の障壁を特定した：

RMSNormの飽和: 標準的な $\epsilon = 10^{-5}$ では、 $\sigma^2(h) \lesssim \epsilon$ となる場合、正規化因子は減少した分散に対して鈍感になる。 $\epsilon$ を $10^{-12}$ に下げることで、この感度を回復できる。
アテンション・シンク: 小さな初期化は、最初のトークンに注意を向ける傾向を強める。ゲート付きアテンションはこれを効果的に緩和し、小さな初期化と組み合わせることで損失を大幅に低下させる。
結果: これら両方の障壁を取り除くと、性能差は拡大する。これらの調整を加えた小さな初期化（ $\gamma=1$ ）は、実効的なモデルサイズを約44%向上させ、あらゆるモデルスケールにおいて一貫した利点をもたらす。

2. 最適な初期化スケール（ $\gamma=1$ ）

本研究は、初期化は恣意的に小さくすべきではないことを示している。

残差フローのバランス: Transformerにおいて、残差更新は恒等写像パスウェイと同等であり続けなければならない。理論的解析によれば、残差フローは $d^{1-\gamma}$ $d^{1 - γ}$ に比例してスケールする。
- $\gamma < 1$ の場合、残差が支配的になる。
- $\gamma > 1$ の場合、残差は消失し、ネットワークは恒等写像に近い状態となる。
- $\gamma = 1$ は、残差更新が埋め込みスケールと一致するクリティカルなバランスポイントを表す。経験的に、性能は $\gamma=1$ でピークに達し、 $\gamma > 1$ では低下する。

3. トークンレベルおよびタスク固有の利点

非一様な利点: 改善はすべてのトークンに対して一様ではない。利点は、容易なトークンや極端にノイズが多い／稀なトークンではなく、文脈の統合や推論を必要とする「中程度から高度に困難な」トークンに集中している。
ベンチマーク性能: 1.5Bモデルにおいて、最適化された小さな初期化（ $\gamma=1$ + 調整）は、標準的な初期化（ $\gamma=0.5$ ）に対し、推論重視のベンチマーク（例：GSM8K, MATH500, HellaSwag）で大幅にアウトパフォームし、いくつかのタスクで4%を超える絶対的な利点を示した。

4. メカニズムの軌跡：凝縮（Condensation）

小さな初期化は、独特な発達の軌跡を誘発する：

フェーズ1（凝縮）: 学習の初期段階において、重み行列は急速に低ランクかつ低複雑度の構造へと凝縮する（行がコヒーレントなブロックへと整列する）。
フェーズ2（拡張）: 学習が進むにつれ、これらの構造はより豊かで高複雑度な表現へと拡張される。
対照: 標準的な初期化（ $\gamma=0.5$ ）は、拡散した高ランクの構造から始まり、進化が緩やかであり、初期の低複雑度フェーズを欠いている。この「低から高へ」の複雑性の軌跡は、モデルを表面的な記憶ではなく、簡潔な推論規則へとバイアスさせるものと仮定されている。

意義と主張

本論文は、パラメータの初期化が単なる低レベルの実装詳細ではなく、モデルの容量と学習ダイナミクスを決定する「遺伝子のような」決定要因であることを主張している。

設計軸: 著者らは、初期化スケール $\gamma$ をLLM設計における明示的なハイパーパラメータとして扱うことを提案している。
実践的な推奨: 彼らは $\gamma$ -初期化ルール を提唱しており、初期化スケールを操作可能なノブとして公開し、デフォルトとして $\gamma=1$ を採用することを推奨している。この介入は「ほとんどコストがかからない」一方で、事前学習を改善し、あらゆるスケールで推論能力を強化できると説明されている。
理論的洞察: 本研究は「圧縮こそが知能である」という考えを裏付ける具体的な証拠を提供しており、特定の初期化レジームがモデルを凝縮フェーズへと強制し、それが推論能力の向上と相関していることを示している。
アーキテクチャの相互依存性: これらの知見は、初期化の恩恵がアーキテクチャの構成要素（特に正規化定数とアテンション機構）に依存していることを強調しており、これらが独立してではなく、共同でチューニングされる必要があることを示唆している。