🤖 machine learning

MMOE: Modernizing Diffusion Transformers with Efficient Expert Design

本論文は、ModernMOE（MMOE）という近代化された拡散トランスフォーマー・アーキテクチャを紹介しており、これはルーテッド・エキスパート、共有軽量エキスパート、および残差ルーティングといった効率的なLLMスケーリングの原則を適応させることで、アクセシブルな単一マシンでの学習予算内で、高密度型および従来のスパース型ベースラインと比較して、より速い収束と優れた品質・コストバランスをAIGC生成において実現するものである。

原著者： Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

公開日 2026-07-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yanhao Jia, Jiepeng Wang, Haibin Huang, Chi Zhang, Erik Cambria, Xuelong Li

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コンピュータがゼロから絵を描き、夢を見、芸術を生み出すことを学習している世界を想像してみてください。これは人工知能、特に「生成AI」と呼ばれる分野の領域であり、そこでは機械が新しい画像、動画、物語を生み出します。これを行うために、彼らは「基盤モデル」と呼ばれる巨大なデジタル脳を使用します。これらのモデルを、パターンの巨大な図書館だと考えてください。読んだ本（データ）が多く、棚（パラメータ）が大きければ大きいほど、彼らはより優れたものを作れるようになります。しかし、ここには落とし穴があります。これらの図書館を大きくするということは、通常、それらを読み終えるのに永遠に時間がかかり、実行するためにスーパーコンピュータが必要となり、非常に高価で時間がかかることを意味します。

最近、科学者たちは言語モデル（テキストを書くもの）がこの問題を解決するために使用した、巧妙なトリックを発見しました。質問ごとに図書館にあるすべての本を読む代わりに、彼らは多くの異なる「専門家」を備えたシステムを構築しました。質問が入ってくると、賢い門番がどの数人の専門家が必要かを判断し、残りのメンバーはコーヒーブレイクを取ることができます。これは「混合専門家（Mixture of Experts: MoE）」と呼ばれます。これは、配管トラブルがある時にだけ配管工を呼び出し、医師やシェフ、整備士のチーム全員を起こすのではなく、必要な専門家だけを呼ぶようなものです。大きな疑問は、画像生成器において、この「必要な専門家だけを呼ぶ」トリックを使うことで、創造性を損なうことなく、画像生成をより速く、より安価にできるか、ということでした。

この論文は、その問いに答えるために「MMOE（ModernMOE）」と呼ばれる新しいシステムを紹介しています。研究者たちは、通常は脳のあらゆる部分がすべてのピクセルに対して働くことを強制する標準的な画像生成器を取り上げ、それに現代的なアップグレードを施しました。単に専門家を増やして上手くいくのを待つのではなく、彼らはチームのワークフローを再設計しました。画像をコピーしたり、何もしなかったりといった単純なことができる特別な「怠け者」の専門家を数人追加し、エネルギーを節約できるようにしました。また、「ゲート・レジデュアル（gate-residual）」システムを追加しました。これにより、門番は前のステップで何を決定したかを記憶でき、すべてを一から考え直す必要がなくなります。最後に、専門家たちが脳の異なる層を越えて互いにメモを共有できるようにし、情報がよりスムーズに流れるようにしました。

チームは、8枚のグラフィックスカードを搭載した1台の強力なコンピュータを使用し、40万ステップのトレーニングを行いながら、この新しいMMOEシステムをテストしました。彼らは、常にすべてが稼働している古い「密（dense）」なモデルや、単に専門家は多いもののスマートな近道を持たない他の「疎（sparse）」なモデルと比較しました。結果は、MMOEが効率性のレースにおける勝者であることを示唆しています。MMOEは、他のモデルよりも速く高品質な画像を生成することを学習し、あらゆるチェックポイントにおいて、より低いエラースコア（FIDと呼ばれる）に到達しました。単に向上しただけでなく、より「安価に」向上したのです。分析によれば、システムは画像の生成過程の初期段階において、「怠け者」の専門家を頻繁に使用することを学習しており、専門家たちが混乱することなく、異なるタスクに特化していることが示されました。

この論文は、単にモデルを大きく、複雑にすることが、モデルを改善する唯一の方法ではないと主張しています。代わりに、軽量な専門家を使うことや情報を共有することなど、言語モデルからスマートな効率化のトリックを借りることで、高品質でありながら、より小さな予算でも実行可能な画像生成器を構築できるとチームは示唆しています。この研究は特定の画像タイプに限定されており、あらゆるシナリオをテストしたわけではありませんが、結果は、この「近代化された」アプローチが、画像の見た目の良さと、それを作るためのコストとの間で、より良いバランスを提供し、有望な道であることを強く示唆しています。

技術要約：MMOE: 効率的なエキスパート設計による拡散トランスフォーマーの近代化

問題提起
大規模言語モデル（LLM）は、疎なMixture-of-Experts（MoE）や効率化メカニズム（例：ゼロ計算エキスパート、ゲート・レジデュアル・ルーティング）を用いることで、総パラメータ容量と活性化される計算量を分離し、スケーリングに成功してきました。一方で、AIGC基盤モデル（AFM）、特に拡散トランスフォーマーのバックボーンは、主に異なる軌跡を辿ってきました。現在の拡散トランスフォーマーへのMoE適用（例：DiT-MoE、Race-DiT）は、主にエキスパートの総プール数やスパース比率を拡大することに焦点を当てており、LLMのスケーリングを実用的なものにしている効率化メカニズムの導入には至っていません。このアプローチは、モデルを訓練やリソース制約のあるデバイスへのデプロイを困難にし、生成品質と訓練・デプロイコストのバランスを取ることに失敗しています。本論文は、以下の問いを投げかけます。「生成品質を向上させつつ、実効的な計算量や訓練負担を比例して増大させることなく、効率的なLLMスケーリングの背後にあるアーキテクチャ原則をAFMに適応できるか？」

手法：ModernMOE (MMOE)
著者らは、SiTスタイルの拡散トランスフォーマーの近代化として、LLMで実証された4つの効率化メカニズムを拡散バックボーンに体系的に統合した**ModernMOE (MMOE)**を提案しています。極めて重要な点として、MMOEは外部インターフェース（デノイジング目的関数、コンディショニング、潜在表現、サンプラー）を変更せず、内部のブロックレベルの計算のみを変更しています。

このアーキテクチャは、以下のコンポーネントを導入しています：

MoE++ エキスパート層： 標準的なルーテッドMLPの代わりに、以下のエキスパート・プールを含みます：
- ヘビー・エキスパート（Heavy Experts）： 標準的なMLP。
- 軽量なゼロ計算エキスパート（Lightweight Zero-Computation Experts）： 「コピー（Identity）」、「ゼロ（出力ゼロ）」、「定数（学習されたベクトル混合）」エキスパート。これらにより、重い更新が不要なトークンに対して、フルMLPの実行をスキップすることが可能になります。
ゲート・レジデュアル・ルーティング（Gate-Residual Routing）： ルーターは前層のエキスパート層のゲート決定からのレジデュアル（残差）を取り込み、ルーティングの傾向を層間で継承させることで、決定を安定させます。
共有エキスパート（Shared Experts）： トークン依存の特化型エキスパートと共に、常にアクティブな共有デンス・エキスパートを提供します。
アテンション・レジデュアル集約（Attention-Residual Aggregation）： 完了したブロック状態からの情報を再利用します。アテンションおよびMLPの両サブレイヤーの前に、学習された疑似クエリを用いて完了したブロック状態のリストから表現を集約し、新たな生成目的関数なしにクロスデプス（深さ方向）の情報再利用を可能にします。

フォワードパスは、この集約とルーティングを促進するために、再帰的な状態（完了したブロック状態、現在の部分状態、ゲート・レジデュアル）を保持します。

主な貢献

AFM近代化の定式化： 本論文は、単にパラメータ数やスパース比率を膨張させるのではなく、LLMのMoE設計が拡散トランスフォーマーを改善できるかどうかを体系的に検証することで、AFMのスケーリングを「近代化問題」として定義しました。
統一されたアーキテクチャ： ルーテッド・エキスパート、共有エキスパート、軽量なゼロ計算エキスパート、ゲート・レジデュアル・ルーティング、およびアテンション・レジデュアル集約を、単一のSiTスタイル・バックボーンに統合したMMOEを提案しました。
制御された実証研究： 著者らは、一致させたアクセシブルな訓練予算（シングル8枚のH100ノード、バッチサイズ256、400kステップ）の下で、近代化の経路（Dense SiT $\to$ Standard MoE $\to$ Shared MoE $\to$ MoE++ $\to$ AttnRes-MoE $\to$ MMOE）を厳密かつ制御された比較を行いました。

結果
クラス条件付きImageNet-256生成による評価：

収束と品質： MMOEは、記録されたすべてのチェックポイントにおいて、デンスなSiTおよび中間的なスパース・エキスパート・ベースラインと比較して、より低いFréchet Inception Distance (FID) を達成しました。また、訓練ステップあたりの収束も速く、デンスなベースラインのFID 5.20に対し、400kステップで3.75のFIDに到達しました。
効率性： 標準的なMoEバリアントはルーティングのオーバーヘッドにより壁時計時間（実時間）の訓練時間が増加しましたが、MMOEはスパース・バリアントの中で最高の品質とコストのバランスを実現しました。最も高価なバリアント（AMOE）の訓練時間を、優れたFIDを維持しながら120時間から67時間に短縮しました。
スケーラビリティ： 改善は異なるモデルスケール（S/2, B/2, L/2）および解像度（ImageNet-512）においても維持されており、これらの利点がXL/2設定に限定されないことを示しています。
ルーティング分析： 収束したモデルの分析により以下が判明しました：
- 安定した特化： 一様な使用ではなく、強力なブロック単位のエキスパート特化（高い負荷Gini係数）が見られました。
- 深さに依存する軽量化の使用： 軽量エキスパート（コピー/ゼロ/定数）は、初期ブロックで多用され（44.6%のルート）、後半のブロックでは減少（23.4%）しました。これは、初期のデノイジングステップが安価な変換から恩恵を受けるという仮説を支持しています。
- 低いスイッチ率： 隣接するデノイシングステップ間でのトップ2エキスパートのセットの変化はわずか1.4%〜2.7%であり、安定したルーティング決定を示しています。
メモリ節約： 軽量エキスパートの使用により、軽量エキスパートを持たないAttention-Residual MoEと比較して、ブロックあたりのフォワード活性化メモリを約20%、バックワードメモリを約32%削減しました。

意義と主張
本論文は、単に総パラメータ数やスパース比率を増やすのではなく、証明された効率的な設計をインポートすることで、AFMがLLMの「バランスの取れたスケーリングパス」に従えることを主張しています。MMOEの意義は、以下のことを示した点にあります：

品質とコストのバランス： 単に大きなエキスパート・プールに頼るのではなく、疎なルーティングと安価なエキスパート・パス、および表現の再利用を組み合わせることで、より優れた品質とコストのトレードオフを持つ高品質な生成が可能であること。
アクセシブルな予算での実現可能性： これらの改善は、大規模なマルチノード・クラスターを必要とする従来の作業とは異なり、シングルマシン予算（8x H100）内で達成可能であること。
メカニズムの転移： LLMの効率化メカニズム（ゼロ計算エキスパート、ゲート・レジデュアル、アテンション・レジデュアル）は、拡散トランスフォーマーにも効果的に転移し、収束速度と特化の安定性を向上させること。

著者らは、自身の主張に対して謙虚であり、より大規模なスケール（例：7Mイテレーション）で訓練された手法と比較して最高水準のFIDを主張しているのではなく、あくまで制御された近代化研究であり、制約されたシングルノード予算下での優れた性能を実証したものであると述べています。また、クラス条件付き生成に焦点を当てていることや、現在は通信がボトルネックとなっている分散訓練の効率性に関するさらなる研究が必要であるといった限界についても認めています。

関連論文