🤖 machine learning

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

本論文は、ゼロ初期化されたゲートを用いて関数的ヤコビアンにおけるランク分離を誘発することで、忘却をほぼゼロに抑えつつ制御された関数的ドリフトを伴う安全な容量拡張を可能にする、関数保存型の継続学習フレームワークである「gate-zero growth」を導入するものである。

原著者： Dante Lok

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dante Lok

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、たった一つの、最高に美味しいレシピを完成させるために長年を捧げてきた、熟練のシェフだと想像してください。あなたは、その味を完璧に仕上げる方法を正確に知っています。さて、誰かがあなたに、少人数のディナー用の材料しかない状態で、千人のための大規模な宴会を作ってほしいと頼んできたとしましょう。明快な解決策は、もっと大きなキッチンを買い、より多くの料理人を雇うことですが、ここには落とし穴があります。もし、ただ新しい人々をキッチンに放り込んで調理を始めたとしたら、元のレシピが台無しになってしまうかもしれないのです。新しい料理人が古い料理のスパイスを誤って変えてしまったり、新しい鍋が古いものと衝突したりして、突然、あなたの有名な料理が泥のような味になってしまうかもしれません。これは、人工知能における「継続学習（Continual Learning）」の日常的な苦闘です。AIモデルは、それらの熟練シェフのようなものです。彼らはデータから学びますが、新しいことを教えたり、規模を大きくしようとしたりすると、以前知っていたことをすべて忘れてしまう「破滅的忘却（catastrophic forgetting）」に陥ることがよくあります。科学者たちは、古いものを捨てて最初からやり直すことなく、既存の機能が壊れないようにAIの脳を成長させる方法を見つけ出そうとしてきました。

この論文は、そのキッチンの災難を解決するための、「ゲート・ゼロ・グロース（Gate-Zero Growth）」と呼ばれる巧妙で新しいトリックを紹介しています。AIモデルを多層のケーキだと考えてみてください。通常、ケーキを高くしたい場合は、単に上に層を積み重ねます。しかし、単に新しい層を置くだけでは、下のケーキを押しつぶしたり、全体の味を変えてしまったりするかもしれません。著者たちは異なる方法を提案しています。新しい層を追加しますが、それらを「ゲート」によって取り付けます。このゲートは最初は完全に閉じられた状態（ゼロに設定）になっています。ゲートが閉じているため、新しい層はケーキにとって目に見えない存在となります。つまり、元の味や質感には一切干触れません。ケーキは、以前と全く同じ味のまま、それでいてずっと大きくなっているのです。これは「関数保存型（function-preserving）」の成長と呼ばれます。なぜなら、元の関数（味）が完璧に保存されているからです。

研究者たちは、このアイデアを検証するために、中規模のAIモデル（約3億パラメータ）を取り上げ、それを巨大なもの（約8億5700万パラメータ）へと成長させました。彼らはこれらの「ゼロ・ゲート」を用いて新しい層を追加し、その後、その巨大なモデルに新しい言語タスクを教えようとしました。結果は素晴らしいものでした。「ゲート・ゼロ」法を使用したとき、モデルは以前の知識をほぼ完璧に保持しており、忘却はほとんどゼロでした。実際、古い知識は非常に強固に保たれていたため、モデルの旧タスクに対するパフォーマンスはほとんど変化しませんでした。

しかし、この論文は、もしこのトリックを使わなかった場合に何が起こるかについても警告しています。彼らは、ゼロ・ゲートを使わずに単に新しい層を積み重ねた「ナイーブ（素朴な）」手法（彼らはこれを「Gstack」と呼んでいます）をテストしました。これは、まるで新しい層のケーキを足した瞬間に、古いケーキを押しつぶし始めるようなものです。結果は悲惨でした。モデルは以前の知識をほぼ完全に忘れ去り、新しいケーキはひどい味になりました。これは、単にパーツを追加するだけでは不十分であり、古い部分を守るための適切な「ゲート」メカニズムが必要であることを証明しています。

また、この論文は、これらの新しい巨大なモデルを訓練する方法についても興味深い発見をしています。彼らは、主に2つの訓練方法を見つけました。1つ目は「アイソレーション（隔離）」です。これは、モデルの古い部分を完全に凍結（固定）し、新しい部分だけに学習させる方法です。これは最も安全な策であり、元のレシピが全く変わらないことを保証します。2つ目は「フリーズ・ナッシング（何も凍結しない）」です。これは、モデル全体に一緒に学習させる方法です。驚くべきことに、この2番目の方法の方が、モデルを新しいタスクに対してより優れたものにしました。しかも、古いタスクを台無しにすることもありませんでした。単に、間違いではなく「改善」としての風味の変化をもたらしただけなのです。

著者たちは、これがAIの背後にある数学的な隠れた幾何学的構造によって機能している理由を説明しています。ゲートがゼロであるとき、モデルの新しい部分は数学的に「平坦」であり、古い部分と干渉しません。それは、現在密閉されている家に新しい部屋を増築するようなものです。あなたがドアを開けることに決めるまで、新しい部屋をどのように作ろうとも、古い部屋のレイアウトが変わることはありません。この論文は、「ゲート・ゼロ」のアイデアが単なる一回限りのトリックではなく、他のいくつかの人気のあるAI技術の背後にある基礎的な原理と同じであることを示しており、AIの脳を安全に成長させるための根本的なルールであることを示しています。

要約すると、この論文は、私たちがすでに持っている知識を失うことなく、より大きく、より賢いAIモデルを構築したいのであれば、単に新しいパーツを古いものに投げつけるべきではない、ということを示しています。代わりに、準備ができるまで邪魔にならないように「ゼロ・ゲート」を用いて追加すべきなのです。これにより、AIは根を揺らすことなく、新しい枝を増やす木のように成長することができ、過去の知恵を保ったまま未来を築き上げることができるのです。

技術要約：Gate-Zero Growth

問題提起

言語モデルの能力を向上させるための支配的なパラダイムは、より大きなモデルをゼロから訓練することである。モデル成長（Model growth）——既存の訓練済みモデルにパラメータを追加して拡張すること——は、拡張されたモデルが、より小さなモデルによって獲得された知識の**破滅的忘却（catastrophic forgetting）**を起こさずにファインチューニングできるのであれば、魅力的な代替案となる。

**関数保存型（Function-Preserving; FP）**の成長手法（例：Net2Net、bert2BERT）は存在するが、これらは通常、構築上の性質として成長の瞬間におけるみ保存を満たすものである。パラメータ空間においてこれらの初期化によって生成される幾何学的構造、およびなぜ特定の継続学習（CL）戦略（例：古いパラメータの凍結）が成長したモデルに対して成功または失敗するのかという理由は、これまで不明確であった。既存の文献は、CLの挙動を、成長オペレータの基礎となる幾何学を通じてではなく、操作的に説明することが多い。

手法：Gate-Zero Growth

著者らは、CLにおけるFP深度拡張のための幾何学的フレームワークであるGate-Zero Growthを提案する。コアとなるメカニズムは、スカラー $\alpha_\ell$ によって寄与が制御され、 $\alpha_0 = 0$ として初期化される新しい残差ブロックを挿入することである。

理論的枠組み

本論文は、**横断性条件（transversality condition）**の下で、Gate-Zero Growthが関数ヤコビアンおよびフィッシャー情報行列において特定の幾何学的構造を誘導することを確立している：

ランク分離（Rank Separation）： 成長点（ $\alpha=0$ ）において、関数ヤコビアン $J(\theta')$ は明快に分解される。 $K$ 個の新しい重みの方向は完全に平坦（出力への勾配寄与がゼロ）であり、新しいゲートの方向のみが関数的な変動の一次ソースとなる。
ヤコビアンの分解： 成長後のヤコビアンのランクは $rank(J(\theta')) = r + rank((I - P_{old})J_\alpha)$ を満たす（ここで $r$ は旧ヤコビアンのランク）。横断性の下では、新しいゲートの方向は古いパラメータ空間に対して線形独立である。
疎なフィッシャー構造（Sparse Fisher Structure）： 経験的フィッシャー情報行列は、疎なブロック構造を示す。具体的には、新しい重みのフィッシャーブロック、および新しい重方を含むすべての交差項は恒等的にゼロである。これは、二次手法（EWCなど）が成長点において新しい重みの移動に対してペナルティを課さないことを意味する。
制御された逸脱（Controlled Departure）： CL中にゲートが開くにつれ（すなわち $\alpha$ が 0 から離れるにつれ）、FP軌跡からの逸脱は有界となる。関数ドリフトは $O(\|\alpha\|^2)$ であり、ヤコビアンのリークは $O(\|\alpha\|_\infty)$ である。

統一

著者らは、この幾何学的解析が以下の、一見すると異なる手法を統一すると主張している：

LoRA（ $B=0$ 初期化による）
ReZero（残差スケーリング）
Zero-init Adapters
Gate-Zero Growth

これらはすべて、ゼロ初期化されたゲートを介した加法的ブランチを通じてパラメータを追加するという構造的特性を共有している。対照的に、Gstack（ゼロ初期化なしにブロックを複製するもの）のような非FP手法は、ヤコビアン構造を保持できず、即座に関数的ドリフトを引き起こす。

主な貢献

Gate-Zero Growth オペレータ： ゼロ初期化されたゲートを介して残差ブロックを追加する、CLのための特定のFPオペレータ。これは、スケール（300M $\to$ 857M）において、成長時の正確な関数保存と、CL中のほぼゼロの忘却（ $\Delta A < 0.1$ ）を達成する。
幾何学的フレームワーク： ゼロ初期化がランク分離、疎なフィッシャーブロック、および正確な座標投影の隔離を誘発することを証明する、統一された理論体系。このフレームワークは LoRA、ReZero、および zero-init adapter に適用可能であり、Gate-Zero Growth をこれら共通の局所幾何学を司る標準的な事例として確立している。
予測的構造検証： 本論文は、経験的に検証された3つの反証可能な予測を提供している：
- 座標凍結は、FP成長の下でのみ正確な保存を実現する（Gstack + Isolation は構造的に未定義である）。
- LoRA-CL は、その凍結されたベース構成が構造的にすでに Isolation であるため、独立した「Isolation」行を持たない。
- テストされたすべての zero-init FP オペレータにおいて、Isolation 下で $\Delta A < 0.1$ となる。

実験結果

フレームワークは、WikiText-103（Task A）から BookCorpus（Task B）へと適応させた 300M $\to$ 857M Transformer を用いて評価された。

成長時における関数保存

Gate-FP： 正確な関数保存（高密度モデルではビット単位で一致、MoEでは数値許容範囲内）。 $\Delta PPL_A = 0.00$ 。
Gstack（負の対照実験）： いかなるCL訓練も開始される前に、即座に Task A の性能低下が発生する（ $\Delta PPL_A = +46.11$ ）。

継続学習の性能

Isolation プロトコル（すべての古いパラメータを凍結）の下での結果：

Gate-FP + Isolation： $\Delta A = +0.04$ （ほぼゼロの忘却）を達成しつつ、Task B のパープレキシティを 560.75 から 28.41 へと減少させた。
Gstack + Isolation： 構造的に失敗した。Gstack は成長時に関数を保存しないため、古いパラメータを凍結しても関数は保存されない。この手法は破滅的な忘却（ $\Delta A > +1000$ ）に見舞われた。
Scratch（ゼロからの学習）との比較： 両方のデータセットに対してゼロから訓練されたモデル（857M）は、最終的な状態として $PPL_A=43.23$ に達したが、その最良の検証チェックポイントは $17.40$ であった。著者らは、Gate-FP + Isolation は必ずしも適切に停止された scratch モデルを上回るものではないが、保存の構造的保証を提供するものであると述べている。

MoE による検証

混合エキスパート（MoE）設定（706M $\to$ 2.5B）において、Gate-FP + Isolation は $\Delta A = +0.20$ を達成し、保存メカニズムがアーキテクチャを越えて転移することを確認した。しかし、**可塑性（plasticity）は密なモデルよりも低かった（Task B の PPL 改善は、密なモデルの 20 倍に対し、MoE では 12 倍にとどまった）。これは、新しいエキスパートが凍結されたソースから十分に差別化できていないというクローン・ブロックの冗長性（clone-block redundancy）**に起因すると考えられる。

アブレーション研究

凍結戦略： 保存のための「拘束条件」は、単なる古いゲートではなく、古い重みを凍結することである。「Freeze Nothing（何も凍結しない）」は、実際にはより良い共同性能（ $\Delta A = -1.98$ 、これは技術的には元の関数からのドリフトであるが、改善を示している）をもたらしたが、正確な保存という点では犠牲を払っている。
成長のタイミング： 保存特性は、ベースモデルの成熟度（訓練の 25%、50%、75%、または 100% での成長）に対して頑健である。
ゲート初期化： 小さな非ゼロのゲート（ $\alpha_0 = 0.1$ ）から開始すると、勾配フローは速くなるが、非FPの出発点となる。CL 訓練によってある程度の性能は回復できるが、正確な保存は失われる。

意義と主張

本論文は、Gate-Zero Growth が、「古いパラメータを凍結する」ことがなぜ機能するのかについて、初の統一的な幾何学的説明を提供すると主張している。成功する Isolation の理由は、単なるヒューリスティックではなく、ゼロ初期化によって誘発されるランク分離と正確な座標直交性の結果であると位置づけている。

標準的な事例（Canonical Instance）： 著者らは、Gate-Zero Growth を、LoRA、ReZero、およびアダプターを一つの理論的傘の下に統合する、安全な容量活性化を司る共通の局所幾何学の標準的な事例として確立している。
二つの動作点： フレームワークは、二つの異なる動作点を推奨している：
1. Isolation： 正確な保存（ $\Delta A \approx 0$ ）のためのものであり、元のデータに対してビット等価な挙動が求められる規制や A/B テストのシナリオに適している。
2. Freeze-Nothing： 最良の共同フロンティア最適化（両方のタスクに対する最高の性能）のためのものであり、元の関数からの制御された逸脱を受け入れる。

著者らは明示的に限界についても述べている。幾何学的推定器（ヘシアン、勾配共分散）は粗い局所診断であり、MoE の可塑性のギャップは、MoE 特有のオペレータに関するさらなる調査を必要とする未解決の問題である。本論文は、すべての CL 問題を解決すると主張するものではなく、特に成長オペレータの構造的幾何学に焦点を当てている。