🤖 machine learning

Sparse Layers are Critical to Scaling Looped Language Models

本論文は、エキスパート混合（MoE）アーキテクチャを層ループおよび早期終了メカニズムと組み合わせることで、標準的なトランスフォーマーよりもスケーリング効率を向上させつつ、メモリおよび推論コストを大幅に削減できることを実証している。

原著者： Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

原著者： Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

超賢いロボット脳（大規模言語モデル）を構築しようとしていると想像してください。それは人間のように読み書きできるものです。問題は、これらの脳は巨大だということです。保存には大量のメモリを必要とし、情報を部屋（層）の長い曲がりくねった廊下を一つずつ処理しなければならないため、実行も遅いです。

この論文は、それらの脳を「愚か」にすることなく、小さく、速くするための巧妙なトリックを探求しています。以下に、彼らが発見したことをシンプルに説明します。

問題：「コピー＆ペースト」脳

通常、ロボット脳は思考プロセスの各ステップごとに固有の部屋を持っています。16 ステップあれば、16 個の異なる部屋が必要です。これは構築と保存に高価です。

コストを節約するため、研究者たちは異なるアイデアを試みました：ループ化です。16 個の固有の部屋を構築する代わりに、8 個の部屋だけを作り、ロボットにそれらを 2 回通るように指示しました。

アイデア: 部屋 1 から 8 を通り、その後、再び部屋 1 から 8 を通る。
結果: 8 個の部屋しか構築していないため、ストレージ容量を節約できます。
欠点: ロボットが同じ部屋を 2 回通るとき、それは 1 回目と全く同じことを行います。よりよく理解しようと期待して、本の同じページを 2 回読むようなものです。ロボットは混乱し、16 個の固有の部屋を持つロボットよりもパフォーマンスが低下します。

解決策：「専門家チーム」（MoE）

著者たちは、問題が部屋が一般的すぎることにあると気づきました。それらは、漏れのある配管の修理、壁の塗装、電球の配線をすべて一度に行おうとする総合請負業者のようです。

彼らはこれらの一般的な部屋を**専門家混合（Mixture-of-Experts: MoE）**の部屋に置き換えました。

比喩: 賢い受付係（ルーター）がいる部屋を想像してください。訪問者（データの一部）が入ってくると、受付係は全員に同じ人を見せるわけではありません。代わりに、訪問者の必要に応じて、特定の専門家へ案内します。
- 訪問者が数学を必要とするなら、数学の専門家へ行きます。
- 詩を必要とするなら、詩の専門家へ行きます。
魔法: ループ化された MoE モデルでは、受付係は 2 回目のループで考えを変えるのに十分なほど賢いです。
- 1 回目: 訪問者が部屋 1 に入り、数学の専門家へ送られます。
- 2 回目: 訪問者が再び部屋 1 に入りますが、今回は受付係が彼らを詩の専門家へ送ります。

結果: 物理的な部屋は同じであっても、内部で起こる作業は毎回異なります。これにより、ループ化されたモデルの「退屈さ」が解消されます。論文は、ループ化された MoE モデルは、より少ない固有の「設計図」（パラメータ）を保存しているにもかかわらず、標準的な巨大モデルよりも実際には賢くなることを発見しました。

ボーナス：「早期退出」のドア

この論文は、2 番目のスーパーパワーである早期退出も発見しました。

標準的なロボット脳では、最終的な答えを得るために 16 個の部屋をすべて通らなければなりません。ロボットが 8 個の部屋で答えを解き明かしても、他の 8 個を通らなければならず、時間とエネルギーを浪費します。

ループ化モデルでは、「退出ドア」が各ループの終わりに配置されています。

比喩: 工場の組立ラインを想像してください。標準的なラインでは、製品の良し悪しを確認するためにラインの最後まで待たなければなりません。ループ化されたラインでは、1 回目の通過後、次に 2 回目の通過後に製品をチェックします。
なぜよりうまくいくか: ループの終わりにある部屋は、最終的な答えを作るために使用される同じ部屋であるため、ロボットははるかに早く「十分良い」答えを出すことを学びます。
発見: 論文は、ループ化されたモデルは品質を失うことなく、標準モデルよりもはるかに頻繁に早期に停止（エネルギー節約）できることを発見しました。これは、主要な点にすでに合意しているため会議を早めに退出できるようなもので、標準的な会議では全体を通らなければならないのと対照的です。

大きな教訓

この論文は、より良く、安価な AI を構築するためのシンプルなレシピで結論付けています。

単に標準的な部屋をループ化しないこと。（それでは AI は悪化します）
「専門家」の部屋（MoE）をループ化すること。（これにより AI はより賢く、小さくなります）
ループの境界を退出ドアとして使用すること。（これにより計算能力を節約します）

これらを組み合わせることで、保存コストが安く、実行が速く、今日の巨大モデルと同じくらい（あるいはそれ以上）賢いモデルが得られます。この論文はこれをループ化された MoE アーキテクチャと呼んでいます。

技術的サマリー：スパース層はループ型言語モデルのスケーリングに不可欠

問題定義

大規模言語モデル（LM）は、膨大なパラメータ数に起因する大幅なストレージコストと推論コストに直面しており、各パラメータは通常、推論ステップごとに一度しか使用されません。深度を通じてパラメータを再利用する（ループ化する）アプローチは、メモリコストを削減し、自然な早期終了ポイントを提供する道を開きますが、このアプローチを採用した以前のアーキテクチャは、同等のトレーニング計算資源で比較した場合、ユニークな層を持つ標準トランスフォーマーよりも性能が劣っていました。著者らは、ループ型 LM における表現力のボトルネックは、すべてのトークンに同じ操作を適用する**密なフィードフォワードネットワーク（FFN）**に起因すると仮説を立てています。この不変性は層がループ化されることで増幅され、モデルが複雑な表現を学習する能力を制限します。

手法

著者らは、層のループ化とスパースなミクスチャー・オブ・エキスパート（MoE）層の効果を分離するために、4 つのトランスフォーマーアーキテクチャを比較する制御された研究を実施しました：

ベース：ユニークな層と密な FFN を備えた標準トランスフォーマー。
ループ型：繰り返しスタックされた層（重み共有）と密な FFN を備えたトランスフォーマー。
MoE：ユニークな層とスパースな MoE FFN を備えた標準トランスフォーマー。
ループ型-MoE：繰り返しスタックされた層とスパースな MoE FFN を備えたトランスフォーマー。

実験設定：

スケーリング則分析：本研究では、学習率の再調整なしに異なる幅でモデルを効率的にスケーリングするために、**最大更新パラメータ化（µP）**を採用しました。モデルは、 $5 \times 10^{16}$ から $10^{18}$ FLOPs の範囲で固定された計算予算（IsoFLOP）の下でトレーニングされました。
アーキテクチャの詳細：ループ型バリアントは、非ループ型の対応モデルの 16 層の実効深度に一致させるため、8 つのユニークな層を 2 回繰り返す（ $8 \times 2$ ）構成を使用しました。MoE 構成では、8 つのエキスパートからトップ 2 のルーティングを使用しました。
早期終了評価：著者らは、出力エントロピーに基づくトレーニング不要の早期終了基準を用いて、計算と品質のトレードオフを評価しました。ループ型モデルでは、終了はループ境界（ユニークな層スタックを 1 回完全に通過した後）に制限されますが、非ループ型モデルは任意の中間層で終了できます。
ダウンストリームベンチマーク：計算最適化されたモデルは、AI2 OLMES ベンチマークスイートで評価されました。

主要な貢献と知見

1. スパースエキスパートによるループ化スケーリング不足の解消

主要な発見は、ループ型-MoE モデルは標準的な密なベースラインよりも著しく良好にスケーリングする一方で、密なループ型モデルは厳密に劣ってスケーリングするということです。

表現力の回復：著者らは、この改善をルーティングの発散に起因すると特定しました。ループ型-MoE モデルでは、ルーターが同じ物理的層に対して、各ループパスごとに異なるエキスパートのセットを選択します。これにより、共有層が反復ごとに異なる計算を実装できるようになり、パラメータを追加することなく重み共有によって失われた表現力を回復します。
スケーリング則：計算最適化ポイントにべき乗則を当てはめた結果、ベースモデルのスケーリング指数（ $\alpha$ ）は 0.076、ループ型-MoE は 0.077 となり、確立されたスケーリング則と一致しました。対照的に、密なループ型モデルは同等の性能を達成できませんでした。
ダウンストリーム精度： $10^{18}$ FLOP の予算において、計算最適化されたループ型-MoE モデルは、AI2 OLMES Core 9 ベンチマークで最高平均スコア（39.6）を達成し、より少ないユニークなパラメータ（216M 対 246M）を格納しながらベースモデル（38.7）を上回りました。

2. 早期終了による優れた計算 - 品質トレードオフ

ループ型モデルは、標準トランスフォーマーと比較して、早期終了を利用する際により高い効率を示します。

ループ境界を終了点として：ループの末尾にある層は最終出力を生成する層と同一であるため、ループ境界は優れた終了点となります。
より速い収束：ジェンセン・シャノンダイバージェンス（JSD）の分析により、ループ型モデルは非ループ型モデルよりもはるかに早く最終的な出力分布に収束することが明らかになりました。最初のループ反復の終了時には、大多数のトークンが安定した予測に達しています。
効率性の向上：10% の FLOP 削減目標において、ループ型モデルは非ループ型の対応モデルと比較して、著しく低いパープレキシティを維持します。特に、この恩恵は MoE 成分ではなく、ループ化アーキテクチャ自体に起因するものであり、密なループ型モデルも早期終了効率において MoE ベースラインを上回ります。

3. ループ数の増加の影響

本研究では、ループ数の増加（例： $4 \times 4$ および $2 \times 8$ 構成）を調査しました。結果は、ループ型-MoE モデルにおいてより多くのループは一般的に計算 - 品質トレードオフを厳密に改善することを示しています。これは、出力が十分に収束した高品質な終端ポイントの頻度が増加するためです。

意義と実用的含意

本論文は、ループ型 LM において密な FFN をトップ k MoE 層に置き換えることが重要なアーキテクチャの転換であると結論付けています。このアプローチは、以下の言語モデルへの明確な道筋を提供します：

保存コストが低い：保存されるパラメータ数を減らしながら競争力のある精度を達成する。
実行が高速：ループ境界でのトレーニング不要な早期終了を通じて大幅な推論節約を可能にする。
スケーラブル：密な層の表現力ボトルネックを解消することで、ループ型アーキテクチャの歴史的な性能不足を克服する。

著者らは、ループ型-MoE をスケーリングのための実用的な解決策として位置付けており、早期終了の結果は理論的な計算節約を示しているものの、最適化された自己回帰設定におけるエンドツーエンドのスループット向上は将来の検証の対象 remain すると指摘しています。本研究は範囲が限定的であり、大規模スケールの性能を予測するためにµP 転送に依存しており、計算資源の制約により深度スケーリングの拡張は探索されなかったことを認めています。