論文「MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data」の技術的サマリー

本論文は、複数の視覚的参照画像（Multi-Reference）を条件として画像を生成するタスクにおける、現在のモデルが抱える「長文脈（Long-Context）処理能力の欠如」と「構造化された学習データの不足」という課題を解決するため、大規模データセットMacroDataと評価ベンチマークMacroBenchを提案した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義 (Problem)

近年の「コンテキスト内生成（In-Context Generation）」モデルは、単一または少数の参照画像を用いたタスク（アイデンティティ保持やスタイル転写など）で高い性能を示しています。しかし、現実世界の複雑なシナリオ（複数人物の合成、物語のイラスト化、新規視点の合成、動画の次フレーム予測など）では、10 枚以上の参照画像を同時に処理し、それらの間の密接な依存関係（時間的連続性、空間的一貫性、アイデンティティの維持など）を推論する必要があります。

現在のオープンソースモデル（Bagel, OmniGen2 など）は、参照画像の数が増えるにつれて性能が劇的に低下します。その根本原因は以下の点にあると指摘されています：

• データのボトルネック: 既存のデータセットは単一または少数の参照画像ペアが中心であり、10 枚近い参照画像を含む「構造化された長文脈」の教師信号が不足している。
• 複雑な関係性の学習不足: 複数の画像間の密接な依存関係（時間的ダイナミクス、空間的整合性など）を学習するためのデータが存在しない。
• 評価基準の欠如: 参照画像数が増えた場合の生成の一貫性を評価する標準的なベンチマークが存在しない。

2. 手法と提案 (Methodology)

A. MacroData (大規模学習データセット)

40 万サンプルからなる大規模データセットを構築しました。各サンプルは最大 10 枚の参照画像を含み、以下の 4 つの補完的なタスク次元に構造化されています（各 10 万サンプル）。

1. Customization (カスタマイズ): 複数の参照対象（人物、物体、シーン、衣服、スタイル）を組み合わせて、一貫性のある新規シーンを生成するタスク。
2. Illustration (イラストレーション): 交差するテキストと画像の文脈に基づき、物語を補完する画像を生成するタスク。
3. Spatial (空間): 複数の視点からの画像を入力し、新しい視点（外から見る物体、内から見るパノラマなど）を合成するタスク。
4. Temporal (時間): 動画シーケンスの過去のフレームから、次のキーフレームを予測するタスク。

データ構築パイプラインの工夫:

• 質の高いデータ収集: ウェブスクレイピングに依存せず、高度なクローズドソースモデルからの知識蒸留や、実世界のコーパスからの厳密なフィルタリングを採用。
• VLM と LLM の活用: 参照画像と生成画像の整合性を双方向で評価（Bidirectional Assessment）し、不整合なサンプルを除去。また、文脈の要約や品質スコアリングに大規模言語モデル（LLM）や視覚言語モデル（VLM）を使用。
• サンプリング戦略: 参照画像数（1-3 枚から 8-10 枚）に応じたバランスの取れたサンプリング比率（例：Customization タスクでは 2:2:3:3）を採用し、長文脈タスクへの対応力を強化。

B. MacroBench (評価ベンチマーク)

4,000 サンプルからなる標準化されたベンチマークを提案しました。

• 評価構造: 4 つのタスク（Customization, Illustration, Spatial, Temporal）× 参照画像数のカテゴリ（1-3, 4-5, 6-7, 8-10）で構成。
• 評価指標: LLM-as-Judge（Gemini-3-Flash を採用）を用いたタスク固有のスコアリング。
  • Customization: 画像一貫性 (ICS) と指示追従 (PFS)
  • Illustration: テキスト一貫性 (TCS) と画像一貫性 (ICS)
  • Spatial: 視点変換 (VTS) とコンテンツ一貫性 (CCS)
  • Temporal: コンテンツ一貫性 (CCS) と画像シーケンス一貫性 (ISCS)
• 特徴: 参照画像数が増加しても性能が維持されるか（Robustness）を厳密に評価。

C. 実験と最適化戦略

• モデル: Bagel, OmniGen2, Qwen-Image-Edit などのオープンソースモデルを MacroData でファインチューニング。
• トークン選択戦略 (Token Selection): 参照画像が増えるとトークン数が膨大になる問題に対し、Attention メカニズムにおいて重要なトークンのみを残す「Block-wise」や「Text-aligned」選択戦略を評価。特に「Text-aligned」選択が長文脈での性能維持に有効であることを示しました。
• T2I データとのトレードオフ: 標準的なテキスト生成画像（T2I）能力を維持しつつ、マルチリファレンス能力を向上させるため、学習データに 10% の T2I データを混入させるのが最適であることを発見。

3. 主要な結果 (Results)

• 性能向上: MacroData でファインチューニングされたモデル（特に Bagel）は、すべてのタスクと参照画像数において、既存のオープンソースモデルや他のデータセット（Echo4o, MICo, OpenSubject）で学習したモデルを大幅に上回りました。
  • 例：Bagel + MacroData は、平均スコア 5.71 を達成し、クローズドソースモデル（Nano Banana Pro, GPT-Image-1.5）に迫る性能を示しました。
• 長文脈への耐性: 参照画像が 6-10 枚に増えた場合でも、MacroData 学習モデルは性能の低下が緩やかであり、既存モデルで見られた「急激な性能劣化」を抑制しました。
• 汎化能力: OmniContext ベンチマーク（主に 1-3 枚のタスク）でも、MacroData 全体で学習したモデルは、カスタマイズ専用データセット（Echo4o など）で学習したモデルよりも高い性能を発揮し、データの質の高さを証明しました。
• アブレーション研究:
  • 全タスクを合同学習（Co-training）させることが、個々のタスクに特化した学習よりも相乗効果を生むことを示しました。
  • 進化的タスク（Customization など）では、高枚数サンプルの比率を高めることが性能向上に寄与しました。

4. 意義と貢献 (Significance & Contributions)

1. データセットの提供 (MacroData): 最大 10 枚の参照画像を含む 40 万サンプルの大規模データセットを公開。これにより、多参照画像生成における「構造化された長文脈」の学習が可能になりました。
2. 評価基準の確立 (MacroBench): 参照画像数とタスクの複雑さの両軸で評価できる標準ベンチマークを提案し、この分野の進捗を定量的に追跡可能にしました。
3. 技術的示唆:
   • 多参照生成において、クロスタスク学習の有効性。
   • 長文脈処理におけるトークン選択戦略（特に文脈に整合した選択）の重要性。
   • 単一タスク特化ではなく、多様なタスクを網羅的に学習させるアプローチの優位性。

結論

本論文は、マルチリファレンス画像生成の分野において、データと評価の両面から大きな飛躍をもたらしました。MacroData と MacroBench を活用することで、オープンソースモデルがクローズドソースモデルに匹敵する長文脈・多参照生成能力を獲得できることを実証し、複雑な視覚的推論を必要とする実世界アプリケーションの実現に向けた基盤を提供しました。