Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search

技術要約：自動化されたパイプライン探索による4エキスパート異種混合エキスパート（Mixture-of-Experts）の系統的な探索

問題提起
本論文は、異種混合エキスパート（Mixture-of-Experts: MoE）アーキテクチャの膨大な組合せ空間を探索するという課題に取り組んでいる。具体的には、29種類の異なるベース・アーキテクチャ・ファミリーを含むLEMURニューラルネットワーク・データセットを用いた、4エキスパートMoE（MoE4）アンサンブルの構築を対象としている。29個のファミリーから4つのユニークなファミリーを選択する理論的な探索空間は、$\binom{29}{4} = 23,751$ 通りの組み合わせが存在する。LEMURエコシステム内における先行研究では、ごく少数の構成しか手動で設計されておらず、この空間の大部分は未探索のまま残されていた。著者らは、以前の2エキスパートのシナリオにおいて限定的な成功しか示せなかったLLM（大規模言語モデル）による生成ループに頼ることなく、高性能な異種混合アンサンブルを自動的に発見することを目指している。

手法
著者らは、NNGPTフレームワーク上に構築された、4つの連続したステージからなる、28日間の完全自動化された28日間の探索パイプラインを開発した。

1. エキスパート・プールの構築: システムはLEMURデータベースにクエリを送り、CIFAR-10で訓練された29種類の確立されたベース・アーキテクチャ・ファミリーを取得する。LLMによって生成された変異体、既存のMoEモデル、および小文字で始まる生成モデルを除外することで、明確に区別されたアーキテクチャ・ファミリーのクリーンなプールを確保する。
2. 決定論的なコード・アセンブリ: ジェネレーター・スクリプト（AlterHeteroMoE4.py）が、候補となるMoE4モデルをプログラム的に組み立てる。これは、選択された4つのファミリーのソースコードを取得し、クラス名の衝突を避けるためにリネームを行い、インポートを統合し、ラッパー・テンプレートをインスタンス化する。アーキテクチャには、入力をルーティングするためのHeterogeneousGate（温度スケーリングを備えた畳み込みゲーティング・ネットワーク）を採用している。出力は、エキスパート・ロジットの加重和である：$y = \sum_{i=1}^{4} g_i(x) \cdot f_i(x)$。訓練にはAdamWを用い、mixup拡張（$\alpha=0.2$）、ラベル平滑化、およびコサインアニーリング学習率を使用する。
3. 多段階検証: GPU評価の前に、候補は3つのフィルタを通る：
   • 構文チェック: Pythonのcompile()がコードの正当性を検証する。
   • CPUフォワードパス・プローブ: 次元不一致（構文チェックでは検知できないもの）を検出するため、ダミーバッチ（2, 3, 256, 256）をCPU上で通過させる。
   • データベース重複排除: MD5チェックサムにより、評価されるモデルの重複を防ぐ。
4. キャンペーン自動化: フォルトトレラントなオーケストレーター（CampaignMoE4.py）が、197個のバッチにわたる生成・評価ループを管理する。状態をJSONファイルに保存することで、中断後のSSH経由での安全な再開を可能にし、1,000回の評価成功を目標とする。

主な貢献
本論文は、主に以下の3つのエンジニアリング上の貢献を提示している：

• 決定論的コード・ア assembly ジェネレーター: 既存のゲーティングおよび訓練構成を再利用し、LLM呼び出しを必要とせずに、構文的に有効でフォワードパスが検証されたMoE4モデルを体系的に組み合わせるツール。
• 多段階検証パイプライン: 構文エラー、解決依存の次元不一致、および重複を捕捉することで、計算リソースの浪費を大幅に削減する、GPU実行前のフィルタリング・システム。
• フォルトトレラントなキャンペーン自動化: 永続的な状態管理を備え、中断のない長期間（28日間）の実行を可能にする堅牢なオーケストレーション・システム。

結果
キャンペーンはNVIDIA RTX 4090上で28日間実行され、4,463個の候補モデルを生成し、1,021個のモデルの評価に成功した。

• 探索空間の被覆バイアス: キャンペーン後の重要な事後分析により、深刻な被覆バイアスが明らかになった。ソートされたリストに対してitertools.combinationsを使用したため、ジェネレーターは辞書順で組み合わせを列挙した。名称がアルファベット順で最初である「AirNet」を使用しているため、ジェネレーターは次のファミリーに進む前に、AirNetを含むすべての$\binom{28}{3} = 3,276$通りの組み合わせを使い果たしてしまった。キャンペーンは1,146個の組み合わせで停止したため、探索された空間の100%がAirNetに固定されており、理論的な探索空間のわずか**4.8%**しかカバーしていなかった。
• パフォーマンス指標: AirNetに固定された範囲内において、最良のモデル（AirNet + AlexNet + DPN68 + ResNet）は、CIFAR-10において単一のエポックで**68.0%**のTop-1精度を達成した。成功したモデルの平均精度は0.5221であった。
• ファミリーレベルの分析:
  • 高収益ファミリー: ShuffleNet（平均精度: 0.632）およびMobileNetV3（平均精度: 0.621）は、成功率96%以上で、一貫して最も高精度なアンサンブルを生成した。
  • 低収益ファミリー: FractalNetは、頻繁なメモリ不足（OOM）エラーおよび形状の不一致により、成功率がわずか0.7%であった。MNASNetは、一貫してアンサンブルの品質を低下させた（平均精度: 0.218）。
• 失敗分析: 失敗の99.7%はCUDAのOOMエラーによるものであり、主に256×256解像度で4つのフルネットワークを組み合わせる際のメモリ需要に起因していた。

意義と主張
本論文は、手動のチューニングなしに、異種エキスパートの自動組み立てが競争力のある候補を生み出せることを主張しており、これは単一エポックで達成された68.0%の精度によって裏付けられている。しかし、著者らは、特定の精度ランキングの汎用性については、被覆バイアスによりAirNetの存在に条件付けられているとして、慎重な姿勢を示している。

主要な科学的貢献は、スループットベースの停止条件を伴う大規模な組合せ探索において固有の**被覆の盲点（coverage blind spot）**を特定したことである。著者らは、将来の実行におけるこのバイアスを排除するために、組み合わせリストの層化ランダムシャッフルという単純な修正策を提案している。また、将来のキャンペーンの効率と品質を向上させるために、エキスパート・プールから除外すべき特定のアーキテクチャ・ファミリー（FractalNet, MNASNet）も特定している。パイプライン、分析アーティファクト、および修正されたジェネレーターはオープンソースとして公開されている。