MMCORE: 多モーダル接続と表現整合された潜在埋め込みによる技術的概要

本論文は、ByteDance Seed によって提案されたMMCORE（MultiModal COnnection with Representation Aligned Latent Embeddings）という、多モーダル画像生成および編集のための統合フレームワークについて述べています。MMCORE は、事前学習されたビジョン・ランゲージモデル（VLM）の高度な意味理解能力を、拡散モデル（Diffusion Model）による高忠実度な視覚生成プロセスに効率的に転送することを目的としています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と課題 (Problem)

現在のマルチモーダル生成分野では、主に 2 つのモデルファミリーが支配的です。

1. 自己回帰モデル (AR): LLM や VLM の基盤であり、意味論的推論に優れる。
2. 拡散モデル (Diffusion) / フローマッチング (FM): 画像や動画の合成において高忠実度な生成に優れる。

これらを単一のトレーニングフレームワークに統合しようとする試み（例：Transfusion, BAGEL）は存在しますが、以下の重大な課題に直面しています。

• トレーニング効率の低下: 画像生成では、理解用の「クリーンな特徴」と生成用の「ノイズのある特徴」を同時に最適化することが難しく、単一のパスでの最適化が困難です。
• 計算コスト: 自己回帰モデルと拡散モデルを密結合させると、大規模な事前学習やリソースを必要とし、トレーニングコストが膨大になります。
• 品質のトレードオフ: 純粋な自己回帰モデルで画像生成を行う場合、量子化や非逐次的な事前分布により、拡散モデルに比べて生成品質が劣る傾向があります。

2. 手法 (Methodology)

MMCORE は、生成品質とトレーニング効率のバランスを取るための多段階トレーニングフレームワークを提案しています。アーキテクチャは、VLM から学習された潜在視覚埋め込みを拡散モデルの条件付け信号として利用する、シンプルで効率的な設計です。

2.1 アーキテクチャ概要

• ベース: 事前学習されたマルチモーダル大規模言語モデル（MLLM）。
• 生成ヘッド: 拡散トランスフォーマー（MMDiT）。
• 接続: 学習可能なクエリトークン（Query Tokens）を通じて、MLLM の意味情報を拡散モデルに伝達します。

2.2 主要な技術的革新

従来の「MetaQueries」などの手法における限界（固定されたクエリ数による文脈の不足、拡散損失のみの指導による弱い整合性）を克服するために、以下の 3 つの重要な変更を導入しています。

1. MLLM バックボーンの共同微調整 (Joint Fine-tuning):

   • 従来の軽量アダプターのみで LLM を凍結するのではなく、理解と生成の両方のデータセットで MLLM のバックボーン全体を微調整します。これにより、視覚トークンの合成に特化した重みへの適応を可能にします（理解能力のわずかな低下は、カリキュラム学習の問題として捉えられています）。

2. 蒸留による意味的視覚整合 (Semantic Visual Alignment via Distillation):

   • 拡散損失のみではノイズが多く、視覚トークンの学習が不安定になります。そこで、SigLIP や ViT などの SOTA なビジョンエンコーダ（凍結）の潜在特徴空間を「足場（Scaffold）」として利用します。
   • MLLM が生成するクエリトークンを、これらの高密度な視覚埋め込みに対して回帰させることで（コサイン類似度損失）、安定した高レベルな意味視覚表現を学習させます。

3. 二経路条件付け (Dual-Pathway Conditioning):

   • 固定されたクエリ数では複雑な指示の細部が失われる可能性があります。これを解決するため、学習された視覚クエリトークン（グローバル意味とクロスモーダルなグラウンディングを担当）と、元の全シーケンステキスト埋め込み（微細な語彙的詳細と指示遵守を担当）の両方を拡散モデルに条件付けとして入力します。

2.3 トレーニング戦略

1. 第 1 段階（MLLM 微調整）: 視覚整合損失（$L_{vis}$）と言語モデル損失（$L_{llm}$）の組み合わせで MLLM を微調整します。フローマッチング損失は使用せず、計算コストを抑制します。
2. 第 2 段階（拡散ヘッドのトレーニング）: 微調整済みの MLLM を凍結し、その出力（視覚潜在埋め込み）を条件として拡散モデル（MMDiT）をトレーニングします。
   • 独立埋め込みドロップアウト: テキストと視覚の条件付け経路に独立したドロップアウト率を適用し、特に初期段階でテキストへの依存を減らし、VLM からの視覚信号への依存を強めることで、両者の統合を促進します。
3. SFT と RLHF: 高品質な指令データセットによる教師あり微調整（SFT）と、人間のフィードバックに基づく強化学習（RLHF）を行い、最終的な整合性と制御性を向上させます。

3. 主要な貢献 (Key Contributions)

• 効率的な統合フレームワーク: 自己回帰モデルと拡散モデルを密結合させることなく、VLM の推論能力を拡散生成に転送する軽量なアーキテクチャを提案しました。これにより、ゼロからトレーニングする場合と比較して約 30% の計算コストで同等以上の性能を達成しています。
• 表現整合の導入: 単なるクエリトークンの学習に留まらず、事前学習されたビジョンエンコーダとの表現整合（Distillation）を導入することで、トレーニングの収束を加速し、生成品質を大幅に向上させました。
• 複雑なタスクへの対応: テキストから画像への生成だけでなく、複数の画像を参照するインタリーブ生成（Interleaved Generation）や、空間推論、視覚的グラウンディングを必要とする複雑な編集タスクにおいて、高い性能を発揮します。

4. 結果 (Results)

MMCORE は、DreamBench などの内部ベンチマークおよび人間評価において、State-of-the-Art (SOTA) ベースラインを凌駕する結果を示しました。

• 定量的評価:
  • テキスト - 画像整合性: 自動評価メトリクスにおいて、Seedream 4.0、Gemini 2.5、Flux Kontext などの主要モデルを上回るスコアを記録しました（Fig. 1a）。
  • 画像編集: 指示の整合性と一貫性において、特に複数画像のコンテキストを扱う編集タスクで顕著な改善が見られました（Fig. 1b, 1c）。
  • 人間評価: 7 つの指標（テキスト整合性、構造的忠実度、編集の一貫性など）における人間評価でも、MMCORE は平均 84.42% の精度で 1 位となり、GPT-Image-1 や Seedream 4.0 を上回りました。
• 定性的評価:
  • 推論能力: 「男性の目が女性の口の高さにある」のような非対称な関係性や、「縄跳びをする木」といった比喩的な表現、複雑な配置制約を正確に理解・生成できます。
  • 編集制御: 10 枚以上の入力画像を条件とした長文脈の編集や、オブジェクトの位置交換、形状変更などの精密な編集において、Seedream 4.0 よりも高い制御性を示しました。
• アブレーション研究:
  • 接続層（Connector）の深さを 6 レイヤーに増やすことで性能が大幅に向上すること。
  • 全パラメータの微調整（Full Fine-tuning）が LoRA よりも優れていること。
  • 少量の高品質データによる SFT（2k ステップ）が、大規模な事前学習（50k ステップ）以上の効果を持ち、人間の美的嗜好への整合性を劇的に向上させることを確認しました。

5. 意義と将来展望 (Significance & Limitations)

意義:
MMCORE は、大規模な計算リソースを必要とする「単一ネットワークによる完全統合」アプローチの代わりに、**「モジュール化された効率的な統合」**が実現可能であることを示しました。VLM の推論能力を維持しつつ、拡散モデルの高品質な生成能力を活用するこのアプローチは、マルチモーダル生成モデルの開発コストを劇的に削減し、実用性を高めます。

限界と将来の課題:

• 理解と生成のトレードオフ: 生成タスクへの微調整により、純粋な理解タスク（VQA や OCR）の性能が若干低下する可能性があります。
• 視覚潜在表現の冗長性: 現在のアーキテクチャでは、テキスト条件付けに対する補完として視覚トークンが機能しており、完全な置換には至っていません。
• 将来の方向性: 理解と生成の両方を単一の「Omni-Tokenizer」で表現し、VAE（再構成）と ViT（意味推論）の機能を統合した次世代アーキテクチャへの移行が今後の目標として掲げられています。

総じて、MMCORE は、計算効率と生成品質の両立を実現する、実用的かつ高性能なマルチモーダル生成フレームワークとして、この分野における重要な進展を提供しています。