💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

本論文は、Mixture-of-Expertsモデルにおいて連続するトランスフォーマー層間でエキスパートのパラメータを共有する手法であるExpert Tyingを紹介するものであり、これにより性能への影響を極めて小さく抑えつつメモリ要件をほぼ半分に削減し、大規模言語モデルの学習およびスケーリングにおける計算量とメモリのトレードオフを大幅に改善する。

原著者： Martin Jaggi

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Martin Jaggi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「巨大な図書室」対「小さな読者」

あなたは、物語を書いたり問題を解決したりするのを手助けするために、超スマートで巨大なロボット司書（大規模言語モデル）を作っていると想像してください。

この司書を驚異的に賢くするために、あなたは数十億冊の本（これらは「パラメータ」や「エキスパート」と呼ばれます）がある巨大な図書室へのアクセス権を与えます。しかし、司書を高速かつ効率的に動かし続けるために、一文を読むごとに、答えを見つけるための特定の1〜2冊の本だけを開くことに決めました。これがMixture-of-Experts (MoE) モデルと呼ばれるものです。

落とし穴： 司書は一度にほんのわずかな本しか読んでいないとしても、図書室にあるすべての本を物理的にその部屋に置いておかなければなりません（コンピュータのメモリ内に）。もし図書室に1,000冊の本があっても、司書が一度に開くのが10冊だとしても、1,000冊すべてを収容できる広さの部屋が必要です。これにより、「読む（計算）」作業は小さくても、「部屋（メモリ）」が巨大になるため、システムは非常に高価で低速になってしまいます。

解決策：「ループを結ぶ（Tying the Loop）」

著者たちは、**Expert Tying（エキスパートの共有）**と呼ばれる巧妙なトリックを提案しています。

司書は32個の部屋（レイヤー）がある長い廊下の中で働いていると想像してください。標準的な設定では、すべての部屋にそれぞれ独自の1,000冊の本があります。

従来の方法： 部屋1には本A〜Zがあり、部屋2には（別のコピーですが）本A〜Zがあり、部屋3には（また別のコピー）本A〜Zがあります。あなたは32セットの本を用意する必要があります。
新しい方法（Expert Tying）： 部屋1、部屋2、部屋3にある本は、実は非常によく似た仕事をしていることに気づきました。そこで、それらを結びつけ（tie）ます。単一のセットの本を移動式のカートに乗せ、部屋1から部屋2、部屋3へと移動させます。司書はすべての部屋で、この同じ物理的な本を使用します。

結果： 32セットの本はもう必要ありません。3部屋に1セットのセットだけで済みます。これにより、「図書室（メモリ）」のサイズはほぼ半分になりますが、司書は依然として一度に一冊の本しか開かないため、読むスピードは変わりません。

秘訣：何を共有し、何を分けるべきか

研究者たちは、ただ盲目的にすべてを共有したわけではありません。彼らは、司書を愚かにすることなく、何が共有可能かを突き止めるために実験を行いました。

図書室の一つの部屋を、4つのパーツに分けて考えてみましょう。

本（エキスパート）： 実際の知識。
司書の眼鏡（アテンション）： 言葉をどのように見るか。
インデックスカード（ルーター）： どの本を選ぶか。
デスク（正規化）： メモをどのように整理するか。

発見：

本を共有しても大丈夫： 複数の部屋で同じ本を共有することができます。**眼鏡（アテンション）**が各部屋で異なっているため、司書は優れた仕事をし続けることができます。眼鏡が変わることで、司書の言葉の見え方が変わるため、たとえ本が同じであっても、それぞれの部屋がユニークなものとして機能します。
眼鏡を共有してはいけない： もし眼鏡まで共有してしまうと、司書は混乱し、品質が低下します。
「序曲と終止符（Prelude and Coda）」のルール： 司書が本を受け取る最初の部屋と、答えを書き出す最後の部屋には、独自の（共有されない）本が必要です。もし最初の部屋と最後の部屋に共有のカートを使うよう強制すると、品質が損なわれます。したがって、最初の2つと最後の2つの部屋は個別のものとし、中間の層を結合させてください。

結果：より速く、より小さく、そして同じくらい賢い

この論文は、3つの有名なAIモデル（OLMo-E、Qwen、DeepSeek）でテストを行いました。結果は以下の通りです。

メモリの節約： エキスパートを4つずつのグループで共有することで、必要な総メモリ量を40%から50%削減しました。これは、図書室のサイズを半分にカットするようなものです。
知能の維持： 「賢さ（パープレキシティと精度）」はほとんど低下しませんでした。オリジナルの巨大なモデルとほぼ同等の性能を維持できました。
スピードアップ： コンピュータがメモリに読み込む本の量が減ったため、トレーニングプロセスが23%高速化しました。
「再投資」のトリック： 本を共有することで多くのスペースを節約できたため、彼らはその節約したスペースを使って、共有カートにより多くの本を追加しました。これにより、同じメモリ量を使用しながらも、元のモデルよりも実際に優れたモデルを作り出すことができました。

要約の比喩

高層ビルを建設している建設チームを想像してください。

従来の方法： すべてのフロアに、独自の、完全に装備された道具箱があります。すべての道具箱を運ぶトラックは巨大で、コストもかかります。
新しい方法（Tying the Loop）： 3階から28階までは、エレベーターで運び上げられる同じ道具箱を共有します。1階、2階、29階、30階は、それぞれ独自の特別な道具箱を持ちます。
結果： トラックのサイズは半分になり（コストとスペースを節約）、余計な重さを運ばなくて済むため、作業スピードも上がります。さらに、トラックの費用を節省できたので、その分で共有の道具箱により良い道具を購入でき、結果として建物は以前よりも強固になります。

結論： 各層の「眼鏡（アテンション）」をユニークに保ち、最初と最後の層をそのままにしておけば、モデルのいくつかの層で同じ「知識」を再利用することで、AIモデルをより小さく、より速くすることができます。

テクニカル・サマリー：Tying the Loop — Mixture-of-Experts 言語モデルにおけるエキスパート層のタイイング（Tied Expert Layers）

問題提起

Mixture-of-Experts (MoE) アーキテクチャは、トークンあたりの計算量と総パラメータ数を切り離すことで、大規模言語モデル（LLM）をスケールさせるための標準となっています。各トークンに対して少数のエキスパート・フィードフォワード・ネットワーク（FFN）のみを活性化させることで、MoEモデルは高い容量を実現しつつ、効率的な推論を可能にします。しかし、決定的なボトルネックが依然として残っています。それはメモリ・フットプリントです。フォワードパス中に活性化されるパラメータはごく一部であるにもかかわらず、全パラメータセット（エキスパートの重みによって支配される）が訓練および推論メモリ内に存在しなければなりません。

これは、「推論やループ型深度モデルにおけるパラメータ効率」という新たな潮流との間で緊張関係を生んでいます。これらのモデルは、各固有パラメータからより多くの計算を抽出することを目指しています。標準的なMoEアーキテクチャは、あるパスにおいてアイドル状態となるパラメータによってメモリを膨張させてしまうため、この観点からは非効率であると見なされます。本論文は、モデルの品質を損なうことなく、MoEの「低いトークンあたり計算量」と「高い固有パラメータあたり計算効率」という目標をどのように両立させるかを追求しています。

手法：エキスパート・タイイング（Expert Tying）

著者らは、層固有のコンポーネントを維持しつつ、一連の連続するトランスフォーマー層間でエキスパートFFNパラメータを共有するアーキテクチャ変更案であるエキスパート・タイイングを提案しています。

コア・メカニズム

パラメータ共有: $g$ 個の連続する層のグループに対して、ゲート、アップ投影、およびダウン投影の重みをエイリアス化（共有）します。これにより、一意のFFNパラメータが $g$ 分の係数で減少します。
維持される独立性: 決定的なことに、ルーター（ゲーティング・ネットワーク）、セルフアテンション投影（Q, K, V, O）、および正規化層は、各層で独立したまま維持されます。
実装: この手法は、モデルコード（例：Hugging Face Transformers）における単純なポインタ代入として実装されます。タイドされたパラメータの複数の使用箇所から勾配を正しく累積するようにオプティマイザを調整する以外、訓練や推論のインフラストラクチャに変更を加える必要はありません。
学習率のスケーリング: $g$ 層からの勾配累積を管理するため、タイドされたエキスパートの重みの学習率は $1/\sqrt{g}$ にスケールされます。

設計の根拠

著者らは、層ごとのアテンションが各層の実効的なオペレーターを明確に区別するため、FFNエキスパートのプールは近接する層間で共有可能であるという仮説を立てています。たとえエキスパートの重みが同一であっても、異なるトークン位置の混合（mixture）に対してアテンションをかけることで、各深度において異なる変換が生成されます。

主要な貢献

1. 制御されたコンポーネント・アブレーション

プロダクションモデルへのスケールアップの前に、著者らは、品質を低下させることなくどのコンポーネントをタイイングできるかを判断するために、小規模なアーキテクチャを用いた制御されたアブレーション研究を実施しました。

知見: 層ごとのアテンションが、層の区別性を生む主要な要因です。アテンションをアンタイ（独立性を維持）することは、ルーターをアンタイにすることよりも大幅に損失（loss）を改善します。
ルーターの影響: ルーターをアンタイにするとルーティングの多様性は増しますが（クロスループの一致度は低下する）、アテンションがタイされている場合、最終的な損失への影響は無視できる程度です。
結論: 最適な戦略は、エキスパートの重みをタイにし、アテンションを層ごとに独立させ、ルーターについてはタイイングまたはアンタイイングのどちらでもコスト差は最小限である、というものです。
Prelude/Coda: スタックの最初と最後の層（埋め込み入力およびLMヘッド出力）は、タイイングせずに残すべきです。「2+2」のアンタイドなプレリュード（前置）とコーダ（後置）を用いることが、完全に再帰的な設計と比較して最大のアーキテクチャ上の利点をもたらします。

2. プロダクション・アーキテクチャへのスケールアップ

この手法は、3つの最先端のMoEアーキテクチャ（OLMoE、Qwen3-MoE、DeepSeekMoE）に適用されました。

構成: $g=4$ の層のグループがエキスパートの重みを共有し、始点と終点に2層ずつのアンタイド層を配置します。
パラメータ削減: この構成により、パープレキシティやダウンストリームの精度をほとんど損なうことなく、総パラメータ数を29%から52%（アーキテクチャやグループサイズによる）削減できます。
スループット: 一意のパラメータの減少により、重みのロード帯域幅とオプティマイザの状態更新が削減され、23.7%のウォーククロック訓練速度向上が実現しました。

3. ヘテロジニアスな幅の拡張（Heterogeneous Width Expansion）

本論文では、節約されたパラメータの新しい活用法を導入しています。それは、タイドされた中間層にパラメータを再投資することです。

単にモデルを圧縮するのではなく、元の総パラメータ数に一致させるために、タイドされた中間層の幅を広げ（エキスパートの数を増やす）、「アイソ・パラメータ（iso-parameter）」化します。
結果: 幅を拡張したタイド層を持つモデルは、同じパラメータ数における標準的なアンタイド・ベースラインを一貫して上回る性能を示しました。これは、エキスパート・タイイングが単なる圧縮技術ではなく、「深度 vs 幅」の設計軸であることを再定義していますきました。

4. 大規模な検証

実験は 7B パラメータ モデル（OLMoE-1B-7B）まで拡張されました。

$g=4$ のタイドモデルは、総パラメータ数が半分以下（3.50B vs 7.12B）であるにもかかわらず、アンタイド・ベースラインと同等の損失およびダウンストリーム精度を達成しました。
幅を拡張したバリアントはさらに性能を向上させ、半分のパラメータでありながら、2倍のトークン数で訓練された公式の OLMoE-1B-7B チェックポイントを凌駕しました。

結果の要約

メモリ効率: エキスパート・タイイングは、パープレキシティの低下をほとんど伴わずに、メモリ・フットプリントをほぼ 2倍（最大52%のパラメータ削減）減少させます。
品質の維持: $g=4$ において、損失のペナルティは最小限であり（例：検証損失で +0.05 〜 +0.7）、ダウンストリームの精度低下は最大でも 1.9% です。
パフォーマンスの向上: データ移動とオプティマイザのオーバーヘッドが減少したことにより、訓練スループットが 15.7% から 23.7% 向上しました。
アイソ・パラメータの優位性: 節約されたパラメータをタイド層の拡張に再投資した場合、得られるモデルは、同サイズの標準的なアンタイド MoE を上回ります。

意義と主張

本論文は、エキスパート・タイイングが、MoEのスケーリング（低いトークンあたり計算量）とパラメータ効率（高い固有パラメータあたり計算量）という相反するトレンドを、見事に調和させるものであると主張しています。MoEパスウェイにおけるパラメータの冗長性を利用することで、この手法は、スパース性そのものを取り除くことなく、メモリのペナルティを取り除きます。

著者らは、自らの貢献は単なる設定（Megrez2のような先行研究との類似性がある）ではなく、どのコンポーネントが共有可能であるかを特定した制御された研究にあることを強調しています。彼らは、アテンションこそが層の区別性を維持するための決定的な要素であり、それによって最大のパラメータプール（エキスパート）を、最小の品質コストで共有できることを実証しました。

本研究は、エキスパート・タイイングを既存のMoEコードベースに対する「ドロップイン（そのまま置き換え可能な）」修正として位置づけ、次世代LLMの効率的な訓練とスケーリングを前進させるものであり、極めて有利な「計算量対メモリ」のトレードオフを提供します。なお、著者らは、現在の実験が7Bパラメータに限定されていることや、専用のタイド層カーネルを使用していないため、効率性の向上は下限値であることなど、限界についても謙虚に述べています。