技術的サマリー：InstructMoLE

問題定義

マルチ条件付き画像生成（例：複数被写体の構成、画像編集）における拡散トランスフォーマー（DiT）のパラメータ効率型ファインチューニング（PEFT）は、LoRA のような単一のアダプターを使用する場合、タスク間の干渉と破滅的忘却に起因する重大な課題に直面しています。エキスパートの混合（MoE）アーキテクチャは、異なるタスク向けにエキスパートを多様化させることでモジュール化された解決策を提供しますが、その拡散モデルへの応用は、言語モデルから継承されたルーティングポリシーによって制限されてきました。

現在のアプローチは通常、各画像パッチが局所的な隠れ状態に基づいてエキスパートを独立して選択するトークンレベルのルーティングを採用しています。本論文は、この局所的な意思決定プロセスがユーザー指示のグローバルな性質と根本的に整合していないと主張しています。複雑な生成タスク（例：「芝生を這う赤ちゃん、その近くに白い馬、そしてフットボールヘルメット」）において、指示はグローバルな意味的関係を確立します。トークンレベルのルーティングはこれらの関係を維持できず、以下の問題を引き起こします：

1. 空間的断片化： スタイルや色調における領域ごとの不連続性。
2. ルーティングのジッター： 高周波ノイズの増幅。
3. 意味的ドリフト： 指示の全体的な意図への準拠失敗により、非整合な被写体や無視された属性が生じる。

手法

著者らは、トークンレベルのルーティングを、一貫性があり指示に導かれたグローバルなポリシーに置き換えるInstructMoLEを提案します。このアーキテクチャは Flux.1 Kontext バックボーンに基づいて構築され、低ランク適応（LoRA）エキスパートを利用します。

1. 指示導向ルーティング（IGR）

トークンごとにエキスパートを選択する代わりに、InstructMoLE はインスタンスレベルのルーティングポリシーを採用します。

• グローバル信号蒸留（$Z_{global}$）： ユーザーのテキスト指示（$I_c$）からグローバルなルーティング信号が蒸留されます。この信号は 2 つの表現を融合します：
  • CLIP 埋め込み： 堅牢で包括的な意味的アンカーを提供します。
  • Perceiver 型蒸留： 学習可能な潜在クエリが T5 エンコーダーからのトークンレベル特徴に反復的に注意を払います。これにより、単純なプーリングされた CLIP 埋め込みが平均化してしまうような、微細な構成的詳細（例：特定の色彩と被写体の関連付け）を捉えます。
• 統一されたエキスパート評議会： モデルの各層において、ルーターは $Z_{global}$ に基づいて一組のゲート重みを計算します。この「エキスパート評議会」（Top-$k$ のエキスパート集合）は、その層内のすべての空間トークンに対して同一にブロードキャストされます。これにより、特定の抽象化レベルにおける画像生成プロセス全体が、ユーザーの意図と整合した一貫したエキスパートの集合によって支配されることを保証します。

2. 出力空間直交性損失

エキスパートの崩壊（異なるエキスパートが冗長な機能を学習すること）を防ぐため、著者らは新規の正則化項を導入します。

• 標準的な負荷分散損失は、均等な使用頻度を保証するだけであり、機能的な多様性を保証するものではありません。
• **直交性損失（$L_{ortho}$）**は、すべてのエキスパートのゲート前出力に対して作用します。これは、すべてのエキスパートのペアの平坦化された出力ベクトル間の二乗コサイン類似度を計算します。
• この損失を最小化することで、モデルは各エキスパートに対して相互に直交する機能的役割を学習することを強制され、選択された評議会が冗長な解決策ではなく多様な能力のセットを提供することを保証します。

3. 訓練目的

総損失関数は 3 つの構成要素を組み合わせます：
$$L_{total} = L_{flow} + \lambda_{aux}L_{aux} + \lambda_{ortho}L_{ortho}$$

• $L_{flow}$：生成精度のための標準的なフローマッチング/拡散損失。
• $L_{aux}$：少数のエキスパートへの過度な依存を防ぐための補助的な負荷分散損失。
• $L_{ortho}$：機能的な多様性のための提案された直交性損失。

主要な貢献

1. ルーティングの不一致の特定： マルチ条件付き画像生成において、局所的なトークンレベルのルーティングとグローバルな指示意味論との間の決定的な不一致を特定しました。
2. 指示導向ルーティング（IGR）： ユーザーの指示から導かれたグローバル信号に基づいてエキスパート選択を完全に条件付ける新規フレームワークであり、画像全体にわたる構造的および意味的一貫性を保証します。
3. 直交性正則化： エキスパート間の機能的な多様性を明示的に促進する新しい損失関数であり、負荷分散のみよりも効果的に表現の崩壊を軽減します。
4. 実証的検証： 困難なマルチ条件付きベンチマークにおいて、InstructMoLE が既存の LoRA アダプターや MoE 変種（トークンレベルのルーティングベースラインを含む）を上回ることを示す広範な実験。

実験結果

このモデルは、合成データおよび公開データ（顔の入れ替え、スタイル転送、複数被写体の構成、空間制御を含む）の多様なデータセットを使用して、Flux.1 Kontextバックボーン上でファインチューニングされました。

• 複数被写体生成（XVerseBench）： InstructMoLE は最高平均スコア（71.07）を達成し、強力な Flux.1 Kontext ベースライン（68.04）および DreamO-v1.1（69.57）を上回りました。特に、アイデンティティ保持（ID-Sim）と物体忠実度（IP-Sim）において顕著な強みを示しました。
• 単一画像編集（GEdit-EN-full）： 比較されたモデルの中で最高平均スコア（6.17）を達成し、OmniGen2（5.45）を 13% 以上上回り、Flux.1 Kontext ベースライン（6.06）も凌駕しました。グローバルおよびローカルな操作の両方を必要とするタスクにおいて卓越した性能を発揮しました。
• コンテキスト内生成（OmniContext）： 公開されたモデルの中で最高平均 ID-Sim スコア（38.85）を達成し、指示への準拠とアイデンティティ保持のバランスを OmniGen2（指示追従は高いがアイデンティティ保持は低い）よりも優れて行いました。
• アブレーション研究：
  • ルーティングポリシー： IGR は、空間整合タスク（Depth RMSE、Canny F1、Pose F1）においてトークンレベルのルーティング（Standard、Expert Choice、Expert Race）を大幅に上回り、構造的完全性にとってグローバルな一貫性が重要であることを確認しました。
  • 構成要素： 直交性損失または Perceiver 型信号蒸留を除去すると、測定可能な性能低下が生じ、機能的な多様性と微細な指示エンコーディングの両方の必要性が実証されました。

意義と主張

本論文は、**指示導向ルーティング（IGR）**が、生成モデルの指示駆動型ファインチューニングにおいて、従来のトークンレベルのルーティングよりも効果的なパラダイムであると主張しています。エキスパート選択をユーザーの全体的な意図と整合させることで、InstructMoLE は以下を実現します：

• 優れた構成的制御： 断片化なしに、複数の被写体と特定の空間的関係を持つ複雑なシーンを描画する能力。
• ユーザー意図への忠実度： 複雑な連鎖思考指示への準拠の向上と、編集タスクにおけるアイデンティティの保持。
• 堅牢性： 複雑な指示を処理する場合でも高い忠実度を維持しますが、著者らは、深刻なテキスト破損や極端な参照負荷（3 つ以上のエンティティのバインディング）の下では限界があることを指摘しています。

この研究は、単一のアダプターや局所ルーティング MoE モデルが解決できないマルチ条件付き生成の特定の課題に対処する、拡散トランスフォーマーのパラメータ効率型適応のための堅牢で汎用性の高いフレームワークを確立します。