Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate

技術的概要：Frozen Substrate 上におけるモジュール構成と層ごとの拡張による Growing Transformers

1. 問題定義

大規模言語モデルのトレーニングは、パラメータ数そのものではなく、オプティマイザ状態のメモリによって頻繁に制約される。標準的な密なモノリシックな事前学習では、すべての学習可能パラメータに対するオプティマイザ状態を維持することが、固定されたアクセラレータメモリ予算の下でスケーリングのボトルネックを生み出す。

本論文は、特定の実現可能性の問いに答えるための制約付きトレーニング体制を調査する：トークンインターフェースを固定し、以前にトレーニングされた密なブロックを凍結し、かつアクティブな学習可能パラメータセットを概ね一定に保つ場合、モデルの深さは引き続き成長し得るか？ 著者はこれを、調整された密なモノリシック事前学習を上回るという主張ではなく、トレードオフと実現可能性に関する研究として明確に位置づけている。

2. 手法

提案された体制は「構築的成長（Constructive Growth）」と称され、以下の 4 つの厳格な制約の下で動作する：

1. 固定トークンインターフェース: 入力埋め込み層はトレーニング全体を通じて固定かつ確定的である。本論文は 2 つの変種を研究する：
   • 先行研究からの凍結された視覚的 Unicode インターフェース。
   • 極限のストレステスト：凍結された 16 次元のバイナリトークン ID コード。ここでは、各トークンは 16 ビットのバイナリコード（そのトークン ID）として表現され、座標反復を通じてモデル次元（$d_{model}$）へ確定的にリフトアップされる。これにより、ランクが最大 16 の入力埋め込み行列が生成され、入力において学習された高次元の意味が存在しないことを保証する。
2. 凍結された基盤（Substrate）: ブロック（またはブロックのグループ）がトレーニングされると、それは凍結される。それは全パラメータ更新のために再び開かれることはない。
3. 有界なアクティブ予算: 深さが増加するにつれ、最も新しく追加されたブロックと言語モデル（LM）ヘッドのみがトレーニングされる。アクティブな学習可能パラメータの数は概ね一定に保たれる。
4. オプションの LoRA 再調整: 長期の実行では、成長フェーズの間に LoRA（低ランク適応）フェーズが挿入される。これらのフェーズは、密な重みを再開することなく限定的なグローバル再調整を可能にするために、すべての層のアダプターに対して同じアクティブな学習可能予算を再配分する。

トレーニング手順:

• 固定インターフェースの上に浅いモデルを初期化する。
• 現在のトップスタックをトレーニングする。
• トレーニングされた密なブロックを凍結する。
• 上に新しいブロックグループを追加する。
• 新しいグループと LM ヘッドのみをトレーニングする。
• （オプション）アクティブなパラメータ予算を維持しながらグローバル表現を調整するために、LoRA フェーズを挿入する。

3. 主要な貢献と主張

本論文は、広範なアルゴリズム的優位性の主張ではなく、狭く経験的に裏付けられた主張を行う：

• 制約付き体制の定義: 著者は、固定された確定的トークンインターフェース、凍結された下位ブロック、および有界なアクティブパラメータ予算を組み合わせた特定のトレーニングプロトコルを定義する。
• 最小インターフェース上での成長の実現可能性: 本研究は、入力部分空間の次元が最大 16 である 16 次元のバイナリトークン ID インターフェースの上であっても、有用な継続学習が可能であることを実証する。これは、深層において有用な内部表現を形成するために、意味的に豊かな学習可能な入力埋め込みが厳密な前提条件ではないことを示唆する。
• 品質とメモリのトレードオフ: 本論文は、アクティブなパラメータ数と最終的なパープレキシティの間のトレードオフを定量化する。
  • 制御された 9 層の研究において、構築的凍結モデルは、インターフェース一致のモノリシック凍結ベースラインの 180.5M、および完全に学習可能なモノリシックベースラインの 247.6M に対して、105.0M のアクティブ学習可能パラメータを使用する。
  • このアクティブパラメータの削減にはコストが伴う：最終トレーニングパープレキシティは、モノリシック凍結の3.71から構築的凍結の4.12へと増加する。
• 長期成長の実現可能性: 16 次元のバイナリインターフェースと挿入された LoRA フェーズを使用した FineWeb-Edu と Cosmopedia の 689 億トークンデータセット上での 16 層実験は、28.92% の MMLU に到達した。これは、極限の制約下でも成長が進行し得ることを示す実現可能性のデモンストレーションであり、データミックスの変化によりクリーンな因果比較は妨げられる。

4. 結果

• 制御された 9 層研究:
  • 構築的成長は安定しており、新しい層をスタックした際の過渡的な損失スパイクを示した後、急速に回復した。
  • 構築的モデル（105M アクティブパラメータ）は、パープレキシティは高いものの、モノリシックベースラインと同様の広範な範囲で下游タスク（MMLU、ARC、SQuAD）のパフォーマンスを達成した。
  • 16 次元のバイナリインターフェース上でトレーニングされた構築的モデルは安定して収束し、極限のランク制約（ランク $\le$ 16）がモデルが上位層で有用な表現を学習することを妨げないことを証明した。
• 長期 16 層実行:
  • 挿入された LoRA フェーズでトレーニングされた 2.697 億パラメータモデル（ベースサイズ）は、28.92% の MMLU を達成した。
  • 著者は、データミックスがフェーズ間で変化した（指示/SFT ミキシングの増加）ため、この結果は成長効率の因果推定というよりは、実現可能性のデモンストレーションとして解釈されると指摘している。

5. 意義と限界

意義:
本論文の主な貢献は、「狭いが有用な主張」である：有界なアクティブ学習可能パラメータ予算の下で、固定された最小インターフェースの上で有用な継続学習が進行し得るということである。これは、モデル全体に対するオプティマイザ状態の維持というメモリオーバーヘッドなしにモデルの深さを拡張したい、メモリ予算が限られた実務家にとって重要である。これは、学習された高容量の入力埋め込みが深さ成長に厳密に必要であるという仮定に挑戦する。

謙虚さと限界:
著者は、本論文が主張しないことについて明確に述べている：

• 構築的成長が調整された密なモノリシック事前学習の品質に匹敵するとは主張しない（パープレキシティは劣る）。
• ランダム初期化によるスタッキングが、機能保存方法（例：Net2Net）と比較して最良の汎用的成長戦略であるとは主張しない。
• 制御された比較は単一実行の実験であり、小さな指標の違いは統計的に確立されていない。
• 9 層研究は、ベースライン固有のハイパーパラメータ調整なしに共通プロトコルを使用しており、最適化されたベスト対ベスト比較というよりは体制比較である。
• 長期実行は、変化するデータミックスにより因果帰属を混乱させている。
• 16 次元のバイナリインターフェースは特定の確定的コード割り当てを使用しており、代替コード割り当ての体系的比較は今後の課題として残されている。

結論として、本論文は、リソースが許す場合、密なモノリシックトレーニングが品質において依然として強力なベースラインである一方で、アクティブパラメータ予算を厳密に有界にしなければならないシナリオでは、凍結された基盤上での層ごとの拡張という制約付き体制が実用的な代替案であることを確立している。