🤖 machine learning

Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling

本論文は、アテンション機構の線形投影を非線形な「Nexus-Rank レイヤー」に置き換えることで、既存の知識を維持したまま損失なくモデル容量を拡張し、トレーニング計算コストを大幅に削減しながら安定したスケーリングを実現する「Nexusformer」を提案しています。

原著者： Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

公開日 2026-04-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 今までの問題点：「硬い箱」の限界

これまでの AI モデル（Transformer）は、非常に優秀ですが、**「硬い箱」**のような弱点を持っていました。

ゼロから作り直す必要があった：
今の AI は、大きくなりたいと思ったら、一度中身を全部捨てて、最初からゼロで勉強し直すしかありませんでした。これは、大人になってから新しいことを学びたいのに、子供の頃の知識を全部忘れて、幼稚園からやり直すようなものです。とても非効率で、お金と時間がかかります。
思考の幅が狭い：
従来の仕組みは、情報を処理するときに「直線的な線」しか引けませんでした。これは、複雑な問題を解こうとすると、単純な足し算や引き算しかできないようなもので、本当の「理解」や「創造」には限界がありました。

2. 新技術「Nexusformer」のアイデア：「伸び縮みする魔法の部屋」

この論文の著者たちは、その「硬い箱」を壊し、**「伸び縮みする魔法の部屋」のような新しい仕組みを作りました。これを「Nexus-Rank（ネクサス・ランク）」**と呼びます。

① 直線ではなく、曲がりくねった道を作る

これまでの AI は、情報を処理するときに「一直線」の道を進んでいました。しかし、Nexusformer は、**「一度大きく広げて、複雑に曲がりくねってから、また元のサイズに戻す」**という 3 ステップの道を作ります。

例え話：
狭い部屋（元の AI）で、いきなり大きな家具を入れようとしても入りません。
でも、一旦部屋を**「広大な倉庫」（中間的な大きな空間）に拡張して、家具を分解したり組み立てたり（非線形な処理）してから、また元の部屋に戻すことができます。
これにより、AI は「複雑な意味」**をより深く理解できるようになります。

② 知識を捨てずに「足し算」で成長する

これがこの技術の最大の特徴です。

従来の方法：
モデルを大きくするには、新しい部屋を建てて、家具を全部入れ替える必要がありました（ゼロから学習）。
Nexusformer の方法：
**「ゼロから始まる新しいブロック」を、既存の部屋に「足し算」**します。
- 新しいブロックは最初は**「何もない（ゼロ）」**状態です。
- だから、既存の知識（家具）を壊すことなく、新しいスペースを空けることができます。
- その後、新しいスペースに新しい知識をゆっくりと入れていくと、**「過去の知識はそのまま残ったまま、能力だけが増える」**という魔法が起きます。

3. なぜこれがすごいのか？（3 つのメリット）

① コストが激減する（41.5% 節約！）

「大人になってから新しいことを学ぶ」ので、子供の頃からの勉強（ゼロからの学習）が不要になります。実験によると、同じ性能の AI を作るのに、必要な計算コストが 41.5% 減りました。これは、同じ予算でより賢い AI が作れるということです。

② 安定して成長する（「离心力」と「求心力」）

新しい知識を加えるとき、AI は一時的に混乱します（离心力：外へ飛び出す力）。しかし、Nexusformer は**「ゼロから始める」という特別なルールのおかげで、その混乱の後、必ず「元の知識と新しい知識が調和する」**方向（求心力：中心へ戻る力）に落ち着くことが分かりました。

例え話：
新しいメンバーがチームに加わるとき、最初はぎこちなくても、ルールを守ってゼロから始めれば、必ずチームの雰囲気を壊さずに溶け込める、という仕組みです。

③ 予測が簡単になる

この「安定して成長する仕組み」のおかげで、AI をどれくらい大きくすれば、どれくらい賢くなるかを、**「半径 R（エネルギーの距離）」**という数式で正確に予測できるようになりました。まるで、車の燃費を計算するのと同じように、AI の成長を設計できるのです。

4. まとめ：AI 開発の「パラダイムシフト」

この論文が伝えたいことはシンプルです。

「AI を大きくするには、ゼロから作り直す必要はありません。既存の知識を壊さずに、新しい能力を『足し算』で追加できる仕組みを作れば、もっと安く、もっと賢く、もっと安定して成長させられます」

Nexusformer は、AI 開発を「毎回ゼロからやり直す大変な作業」から、「既存のビルに新しい階を足していく、スムーズな拡張作業」へと変える、画期的な技術なのです。

一言で言うと：
「AI の頭脳を、**『知識を捨てずに、ゼロから新しい能力を足し足しして、安く・賢く成長させる魔法の箱』**に変えました！」

Nexusformer: 安定した継承可能なトランスフォーマースケーリングのための非線形アテンション拡張

本論文は、大規模言語モデル（LLM）のスケールアップにおける既存の課題を解決し、学習済み知識を失わずに効率的にモデルを拡張できる新しいアーキテクチャ「Nexusformer」を提案しています。以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

現在のトランスフォーマーモデルのスケールアップは、主に「ゼロから大規模なモデルを再学習する」というパラダイムに依存しています。このアプローチには以下の重大な欠点があります。

計算資源の浪費: 各モデルサイズごとにゼロから学習させるため、小規模で学習された表現が破棄され、膨大な計算コストがかかります。
線形投影のボトルネック: 標準的な Multi-Head Attention は、Query (Q), Key (K), Value (V) の計算に線形変換（ $W_Q, W_K, W_V$ $W_{Q}, W_{K}, W_{V}$ ）を使用しています。
- 表現力の限界: 特徴変換が低ランクの線形混合に制限され、複雑な意味的解離を深層に押しやっています。
- 拡張の硬直性: 既存の線形行列の次元を直接増やすと、分布シフトが発生し、パフォーマンスが低下するため、大規模な再学習が必要になります。
既存手法の限界: LoRA などのパラメータ効率化手法は線形制約のままであり、Net2Net や Tokenformer などの拡張手法も根本的な線形制約を解消できていません。

2. 提案手法：Nexusformer

Nexusformer は、Attention メカニズム内の線形投影層を「Nexus-Rank レヤー」と呼ばれる非線形拡張層に置き換えることで、これらの課題を解決します。

2.1. Nexus-Rank レヤーの構造

従来の線形投影（ $D \to D$ ）を、3 段階の非線形マッピング（ $D \to M \to A \to D$ ）に置換します。

アップリフト（Uplift）: 入力次元 $D$ $D$ から中間次元 $M$ $M$ ( $M > D$ $M > D$ ) へ線形変換し、GeLU 活性化関数 $\sigma$ $σ$ を適用します。
- $Z_M = \sigma(X W_M)$
拡張（Expansion）: 中間次元 $M$ $M$ から過剰容量空間 $A$ $A$ ( $A > M$ $A > M$ ) へ線形変換し、再度活性化関数を適用します。
- $Z_A = \sigma(Z_M W_A)$
投影（Projection）: 深層特徴を元の次元 $D$ $D$ に戻します。
- $\tilde{Q} = Z_A W_D$

この設計により、Q/K/V 生成前に高次元の非線形多様体上で特徴を解離・合成し、標準的なトランスフォーマーの線形ボトルネックを打破します。

2.2. 双軸成長メカニズムとゼロ初期化

モデルを拡張する際、以下の戦略を採用して「損失のない拡張」を実現します。

双軸拡張: 中間容量次元 $M$ と拡張次元 $A$ の 2 つの軸を同時に拡張します。
ゼロ初期化: 拡張時に追加される新しいパラメータブロック（ $W_M^{new}, W_A^{new}, W_D^{new}$ $W_{M}^{n e w}, W_{A}^{n e w}, W_{D}^{n e w}$ ）をすべてゼロで初期化します。
- これにより、拡張直後のモデル出力は元の学習済みモデルと完全に一致し、既存の知識を破壊することなく学習を継続できます。
- 学習を通じて、ゼロ初期化されたブロックが既存の知識と協調的に進化し、新しい容量を吸収します。

3. 主要な貢献

Nexusformer アーキテクチャの提案: 線形アテンション投影を深層非線形 Nexus-Rank レヤーに構造的に置き換え、表現能力を向上させました。
ゼロ初期化による双軸成長メカニズム: パラメータの非破壊的拡張と効率的な継続学習を可能にするメカニズムを確立しました。
成長ダイナミクスの統計的分析: 成長のタイミングや分布シフトを定量化する非パラメトリックな分析手法を提供し、最適な拡張タイミングの基準を示しました。

4. 実験結果と評価

言語モデリングおよび推論ベンチマーク（PIQA, OBQA, HellaSwag, ARC-E/C）を用いた評価を行いました。

性能の優位性:
- 170M から 640M の幅広いスケールで、ベースライン（Qwen3, Tokenformer, Transformer++）を上回る性能を達成しました。
- 特に 640M サイズでは、ARC-Easy で Tokenformer より 15.8%、Qwen3 より 33.4% 高いスコアを記録し、複雑な論理的推論において顕著な優位性を示しました。
計算効率:
- 240M ベースから 440M へ段階的に拡張する際、Tokenformer と同等のパープレキシティ（PPL）を達成するために、トレーニング計算コストを 41.5% 削減しました。
- 推論時のトークンあたりの FLOPs も、標準的なトランスフォーマーと同程度かそれ以下に抑えられています。
成長ダイナミクスの発見:
- ゼロ初期化により、パラメータ空間において「遠心（拡散）→ 求心（収束）」という安定した軌道が形成されることが確認されました。
- この軌道は、新しいパラメータがゼロ状態から出発し、学習を通じて事前学習済み知識と整合性を取りながら収束するプロセスを反映しています。

5. スケーリング則と理論的洞察

幾何学的スケーリング則: 成長の安定性を示す指標「半径エネルギー $R$ 」（パラメータ方向のシフトと直交摂動の強さを組み合わせた指標）と、モデルのパープレキシティ（PPL）の間には、対数空間で強い負の線形相関（ $\ln(PPL) = -0.0991 \cdot |\ln(R)| + 2.4804$ ）が確認されました。
ゼロ初期化の重要性: ゼロ初期化は単なる技術的な工夫ではなく、幾何学的な自己組織化（求心的進化）を維持するための統計的な必要条件であることが示されました。わずかなガウスノイズ（10% 程度）の追加でも、この構造化された進化パターンは崩壊し、ランダムな探索へと陥ることが確認されています。

6. 意義と結論

Nexusformer は、トランスフォーマーの「線形ボトルネック」と「拡張の硬直性」という根本的な課題を解決しました。

効率的な継続学習: ゼロからモデルを再学習するのではなく、既存の知識を継承しつつ非破壊的に拡張できるため、大規模モデル開発のコストを劇的に削減できます。
表現力の向上: 非線形マッピングを導入することで、固定された線形部分空間の制約を超え、より複雑な意味的関係性を捉える能力を向上させました。
将来展望: 本手法は、パラメータ効率化ファインチューニング（LoRA など）の代替として、新しいタスクやデータセットに対して非線形特徴チャネルを段階的に追加する新しいアプローチを提供します。

結論として、Nexusformer は、計算効率と推論精度のバランスが優れており、段階的に成長可能な基盤モデル（Foundation Model）の実用的なアーキテクチャとして確立されました。