💬 NLP

SPARKLING: Balancing Signal Preservation and Symmetry Breaking for Width-Progressive Learning

本論文は、学習の不安定性を克服するために信号の保存と対称性の破れのバランスを調整する、進行的な学習における中間段階の幅拡張のための新しいフレームワークであるSPARKLINGを提案しており、これにより計算コストを最大35%削減しながら、スクラッチからの学習を上回る性能を実現している。

原著者： Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Qifan Yu, Xinyu Ma, Zhijian Zhuo, Minrui Wang, Deyi Liu, Shiyi Zhan, Yiyuan Ma, Liang Xiang, Xingyan Bin, Di He

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、人類の知識を蓄積し理解するための、巨大で信じられないほど複雑な図書館（大規模言語モデル）を建設していると想像してください。通常、最大かつ最も賢い図書館を構築するには、最初から最後まで、一度にレンガを一つずつ積み上げるように、建物全体をゼロから建設しなければなりません。これは、信じられないほど高価であり、膨大な時間とエネルギーを必要とします。

**プログレッシブ・ラーニング（漸進的学習）**は、よりスマートな方法です。これは、小さな居心地の良い読書室から始めて、進捗に合わせて徐々に新しい部屋を追加していくという手法です。これにより、宮殿全体を完成させる前に読書を開始できるため、費用を節約できます。

しかし、落とし穴があります。研究者たちは、建設の途中で「階数（深さ）」を増やすことは容易にできる方法を見つけ出しましたが、「同じフロアの部屋の数（幅）」を建設の途中で増やすことは、悪夢のような作業です。もし注意深く行わずに、既存の建物に新しい部屋をただ継ぎ足しただけでは、建物全体がぐらつき、崩壊してしまいます。

この論文は、SPARKLING（Signal Preservation And symmetry breaking for width-progressive LearnING：幅の漸進的学習のための信号保存と対称性の破壊）と呼ばれる手法を紹介しています。これは、建設の途中で図書館を安全に拡張するための、熟練した建築家のツールキットのようなものです。

その仕組みを、簡単な比喩を使って説明します。

2つの大きな問題

建設の途中で図書館の規模を2倍にしようとすると、2つの問題が発生します。

「音量のショック」（信号の保存）:
想像してみてください。図書館には「すべての廊下の騒音レベルは常に正確に同じでなければならない」という厳格なルールがあります。もし突然、大量の空っぽの部屋を追加したら、音響特性が変わってしまいます。音（データ）が新しいエリアで小さすぎたり、逆に大きすぎたりして、司書たち（モデルのニューロン）を混乱させてしまうのです。
- SPARKLINGによる解決策: 彼らはRMSスケールの一貫性という手法を用います。これは、すべての新しい部屋に「ボリュームノブ」を取り付けるようなものです。新しい部屋が使用される前に、音のレベルが古い部屋と完璧に一致するように調整されます。これにより、データがシステムに衝撃を与えることなく、スムーズに流れるようになります。
「クローン・トラップ（複製の罠）」（対称性の破壊）:
既存の部屋の設計図をそのままコピーして新しい部屋を作るのが、最も簡単な方法です。しかし、ここには問題があります。もし、家具も司書も全く同じ、2つの同一な部屋があったとしたら、それらは全く同じことをしてしまいます。彼らは全く同じ指示を受け取り、全く同じ動きをします。彼らは「クローン」となり、新しいことを何も学ばず、ただ元の部屋がやっていたことを繰り返すだけになります。図書館は大きくなりますが、賢くなることはありません。
- SPARKLINGによる解決策: 彼らは2つのテクニックで「クローン・トラップ」を打破します。
  - 「リセットされた出発点」（オプティマイザの状態のリセット）: 新しい部屋は古い部屋と見た目は同じですが、彼らは新しい司書たちの記憶や習慣をリセットします。これにより、新しい司書たちは自力で物事を理解せざるを得なくなります。
  - 「特別なブースト」（非対称な学習率）: 彼らは新しい司書たちに、一時的に少しだけ大きな拡声器（高い学習率）を与えます。これにより、古い司書たちが通常のペースで働き続ける一方で、新しい司書たちは新しいことに挑戦し、探索することを促されます。これにより、新しい部屋が単に古い部屋をコピーするのではなく、独自の個性を持つことができるようになります。

結果

研究者たちは、これら2種類の図書館でテストを行いました。

Dense Models（高密度モデル）: すべての本がすべての棚にある標準的な図書館。
MoE (Mixture-of-Experts / 混合エキスパートモデル): 必要に応じて特定の「エキスパート」の部屋だけが開く、ハイテクな図書館。

彼らは、SPARKLINGが魔法のように機能することを発見しました。

コストを削減: 建設の途中で図書館を拡張することで、ゼロから巨大な図書館を構築する場合と比較して、最大**35%**の総建設コスト（計算資源）を節約できました。
より優れた性能: 消費エネルギーは少ないにもかかわらず、完成した図書館は、伝統的な高価な方法で作られた図書館よりも実際に「賢く」、テストにおいて優れたパフォーマンスを発揮しました。

まとめ

SPARKLINGは、AIモデルを成長させるための新しい方法を提示しています。それは、「単に新しいパーツをコピー＆ペーストするのではなく、既存の音に合うように調整し、その上で個性を出すための後押しを与える」というものです。これにより、システムが崩壊することなく、これまでよりもはるかに速く、安価に、大規模で強力なAIシステムを構築することが可能になります。

技術要約: SPARKLING

問題定義

漸進的学習（Progressive Learning, PL）は、モデルの全スケールを最初から学習するのではなく、学習中にモデルの規模を段階的に拡大することで、大規模言語モデル（LLM）の計算オーバーヘッドを削減することを目指している。既存のPL研究では、深さの拡張（例：レイヤーのスタッキング）については広く探索されてきたが、**幅の拡張（width expansion）**は依然として著しく研究が進んでいない。先行する幅拡張手法の多くは、学習の初期段階（例：トークンの10〜30%未満）に限定されており、ターゲットとなる幅のモデルを最初から学習する場合と比較して、計算上の利点はほとんどない。

**中間段階（mid-stage）**での事前学習における幅の拡張は、計算コストの節約を最大化するために不可欠であるが、非常に困難な課題を伴う。本論文は、このレジームにおいて学習の不安定化と性能低下を引き起こす2つの核心的な問題を特定している：

信号保存の失敗（Signal Preservation Failure）: 拡張点におけるナイーブな初期化は、中間層の活性化（具体的には、二乗平均平方根、すなわちRMSスケール）の統計的分布を乱す。このミスマッチはレイヤーごとの信号の大きさを変化させ、たとえ即座に損失（loss）が急増しなくても、最適化を不安定にする。
対称性のロック（Symmetry Locking）: コピーベースの初期化は、フォワード関数（順方向の関数）は維持するものの、**バックワードの対称性（backward symmetry）**を誘発する。複製されたチャネルは同一の勾配を受け取り、もしオプティマイザの状態も対称であれば、それらは同一に進化する。これにより、新しく導入された容量が異なる特徴へと多様化することを妨げ、拡張されたパラメータを機能的に冗長なものにしてしまう。この問題は、要素ごとのオプティマイザ（AdamW）やスペクトル型のオプティマイザ（Muon）を含む、異なるオプティマイザ・ファミリー全体にわたって持続する。

手法: SPARKLING

著者らは、幅の漸進的学習における信号保存と対称性の打破のバランスを取るために設計されたフレームワークであるSPARKLING（Signal Preservation And symmetrRy Keeping for LearnING）を提案している。このフレームワークは、4つの具体的なメカニズムで構成されている：

1. RMSスケールの整合性による信号保存

著者らは、真の信号保存には、単なる関数保存（損失の連続性）だけでなく、隠れ表現の統計的分布、特にRMSスケールを維持することが必要であると主張している。

メカニズム: 出力のRMSスケールが不変であることを保証するために、拡張時の重みの再スケーリング係数を導出する。
- Fan-out拡張: 新しい出力チャネルは、既存の重みと同じ分布からコピーまたはランダムサンプリングによって初期化される。
- Fan-in拡張: 新しい入力チャネルには特定の重みの再スケーリングが必要である。新しい座標がランダムまたは片側コピーの場合、重みは $\sqrt{d_{in}/d'_{in}}$ でスケールされる。両側がコピーされる場合（既存の次元を複製する場合）、共分散の二次的な寄与を考慮して、重みは $1/\sqrt{1+3c}$ （ここで $c$ はコピー比）でスケールされる。
- RMSNorm拡張: 新しいRMSNormパラメータは、線形層に対してパラメータ数が無視できるため、追加の再スケーリングなしにコピーまたはランダムサンプリングによって初期化される。

2. 非対称な介入による対称性の打破

コピーされたコンポーネントが多様化できないという「対称性ロック」を解決するために、SPARKLINGは、フォワード関数を維持しつつ、バックワードのダイナミクスにのみ作用するターゲットを絞った介入を導入する。

非対称なオプティマイザ状態のリセット: オプティマイザの状態（モーメンタム）をコピーしたりグローバルにリセットしたりする代わりに、このフレームワークは元のパラメータ（ $W$ ）のオプティマイザ状態を保持し、新たに導入されたパラメータ（ $\tilde{W}$ ）の状態をゼロにリセットする。これにより、勾配の結合が即座に打破され、新しいパラメータが分岐できるようになる。
非対称な学習率の再ウォームアップ: 拡張点において、元のパラメータはベースラインの学習率スケジュールに従い続ける。新しいパラメータは、現在の学習率（ $\eta_e$ ）から、短期間のウィンドウ（ $\tau_w$ ）にわたって高いピーク（ $\hat{\eta}_{max} = \rho \cdot \eta_e$ ）へと向かう再ウォームアップを行う。これにより、高度に適合された事前学習済みモデルをグローバルに摂動させることなく、制御された最適化の非対称性を注入し、特徴の多様化を促進する。

主な貢献

中間段階の課題の特定: 本論文は、中間段階の幅の拡張の成功が、2つの補完的な原則、すなわち信号保存（RMS整合性による活性化統計の安定化）と対称性の打破（コピーベースの初期化における勾配結合の解消）にかかっていることを確立した。
SPARKLINGフレームワーク: RMS保存スケーリング、コピーベースの初期化、非対称なオプティマイザ状態のリセット、および非対称な学習率の再ウォームアップを組み合わせた実用的な実装。
実証的検証: デンスモデル、Mixture-of-Experts (MoE) アーキテクチャ、複数の幅の軸（隠れ次元およびMoEエキスパートの中間次元）、およびオプティマイザ・ファミリー（AdamWおよびMuon）にわたる広範な実験。

結果

性能: 固定されたトークン予算の下で、SPARKLINGは、ダウンストリーム評価（例：ARC, MMLU, HellaSwag）において、フルスケールのモデルを最初から学習する場合を一貫して上回り、ナイーブな関数保存ベースラインと同等またはそれを上回る性能を示す。
効率性: SPARKLINGは訓練コストを大幅に削減する。2倍の幅の拡張において、拡張されたモデルを最初から学習する場合と比較して、最大35%の訓練FLOPs削減と最大1.49倍のウォークロック（実時間）スピードアップを達成した。
収束: RMS保存スケーリングは、ナイーブな無スケール初期化と比較して、後半の段階の収束を改善する。非対称な介入（状態リセットと再ウォームアップ）は、対称性を打破するために極めて重要であり、コピー・コピー初期化とこれらの介入を組み合わせることで、すべてのバリアントの中で最高の最終損失を達成した。
汎用性: この手法は、デンスモデル、異なるオプティマイザ（Muonを含む）、および反復的なマルチステージ拡張（例：256→512→1024）に汎用できる。

重要性と主張

本論文は、SPARKLINGが中間段階の幅の拡張を実用可能にし、漸進的学習の主要な動機である「ターゲット幅のモデルの性能を維持または上回りつつ、訓練コストを削減する」という目的を達成すると主張している。

著者らは、彼らのアプローチが、フォワードの連続性（事前学習された関数の維持）とバックワードの多様性（新しいパラメータが異なる特徴を学習できるようにすること）の間の緊張関係を解決することを強調している。これら2つの側面を切り離すこと（信号統計を保存しつつ、最適化ダイナミクスにおける対称性を打破すること）により、SPARKLINGは効率的なLLMのスケーリングを可能にする。この研究は、フレームワークがより有利な計算量-損失スケーリング挙動を提供し、一致した計算予算において、最初から学習する場合よりも低い損失を達成することを示唆している。

最後に、論文は、有望な結果が得られている一方で、幅と深さを同時に拡張するための統一された原理を確立すること、およびRMS保存戦略がハイパーパラメータの転送可能性に関する $\mu$ P（maximal update parameterization）条件を満たすかどうかを調査する必要があることを述べている。