論文「Resolving the Identity Crisis in Text-to-Image Generation」の技術的サマリー

この論文は、テキストから画像を生成する最先端モデル（SOTA）が抱える重大な課題である**「アイデンティティ・クライシス（Identity Crisis）」を解決するための新しいフレームワーク「DISCO（Reinforcement with Diversity Constraints）」**を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義：アイデンティティ・クライシス

現在のテキスト・トゥ・イメージ（Text-to-Image）モデルは、単一の人物や風景の生成においては高い品質を達成していますが、複数の人物が含まれるシーンを生成する際に、以下の深刻な欠陥を示します。

• 顔の重複（Duplicate Faces）: 画像内に複数の人物がいるはずなのに、同じ顔が繰り返される。
• アイデンティティの融合（Merging Identities）: 異なる人物の特徴が混ざり合い、区別がつかなくなる。
• 人数の誤認（Miscounting）: プロンプトで指定された人数と実際の生成人数が一致しない（特に人数が多い場合、生成を放棄して少ない人数にする傾向がある）。

これらの問題は、グループ写真のパーソナライゼーション、一貫性のあるキャラクター生成、物語メディア、教育コンテンツ、社会的相互作用のシミュレーションなど、実用的な応用分野におけるボトルネックとなっています。既存のモデルは「美しさ」や「プロンプトへの忠実さ」を最適化する一方で、「多様性（Diversity）」、特に画像内および生成サンプル群全体におけるアイデンティティの多様性を考慮していません。

2. 提案手法：DISCO

DISCO は、フローマッチング（Flow-Matching）モデルを微調整するための強化学習（Reinforcement Learning: RL）フレームワークです。特に、Group-Relative Policy Optimization (GRPO) を採用し、画像内およびサンプル群全体でのアイデンティティ多様性を直接最適化します。

2.1. 報酬関数（Compositional Reward）

DISCO の核心は、4 つの要素から構成される複合的な報酬関数にあります。これにより、モデルは単一の画像内だけでなく、同じプロンプトから生成された複数のサンプル間でも多様性を維持するように学習します。

1. 画像内多様性報酬 ($r^{d}_{\text{img}}$):
   • 単一の画像内で、同じ顔が重複しないように罰則を与えます。
   • 顔検出（RetinaFace）と顔埋め込み（ArcFace）を用いて、画像内の顔同士の類似度を計算し、類似度が高いペアに対してペナルティを課します。
2. グループ多様性報酬 ($r^{d}_{\text{grp}}$) - 新規性:
   • 重要な発見: 画像内の多様性のみを最適化しても、重複したアイデンティティが「画像から画像へ」移動するだけで、全体としての多様性は改善されない（グローバルなアイデンティティの崩壊）ことが判明しました。
   • 対策として、同じプロンプトから生成されたサンプル群（グループ）全体を対象とし、「反事実的（Counterfactual）」な統計を用いて報酬を計算します。ある画像をグループから除外した際のグループ全体の類似度変化を評価し、グループの多様性を高める画像に対して報酬を与えます。これにより、サンプル間でのアイデンティティの繰り返しを抑制します。
3. 人数制御報酬 ($r^{c}_{\text{img}}$):
   • プロンプトで指定された人数と、実際に検出された顔の数が一致するかどうかを評価します。
   • これにより、モデルが「難しい多様性タスクを避けるために人数を減らす」という報酬ハッキング（Reward Hacking）を防ぎます。
4. 品質・整合性報酬 ($r^{q}_{\text{img}}$):
   • HPSv3（Human Preference Score）を用いて、生成画像の視覚的品質とプロンプトとの整合性を評価します。
   • これにより、多様性を追求する過程で生じる不自然なグリッド状の配置や、プロンプトからの逸脱を防ぎます。

2.2. 単一ステージ・カリキュラム学習

プロンプトの複雑さ（人数）が増加するにつれて学習が不安定になる問題を解決するため、単一ステージのカリキュラム学習を導入しています。

• 学習の初期段階では、2〜4 人の簡単なシーンのみに焦点を当てます。
• 学習が進むにつれて、徐々に最大人数（Nmax）まで均一にサンプリングする分布へ移行（Annealing）させます。
• これにより、専門特化型モデル（Specialist models）でも安定して収束し、複雑な多人数シーンに対応できるようになります。

2.3. 学習アルゴリズム

• ベースモデル: Flow-matching モデル（例：FLUX-Dev, Krea-Dev）。
• 最適化: GRPO を使用。各プロンプトに対して複数の生成サンプル（グループ）を生成し、グループ内での相対的な優位性（Advantage）に基づいてポリシーを更新します。
• データ: 実データは不要。GPT-5 によって生成された 3 万件の多様なグループシーンのプロンプトを使用して学習します。

3. 主要な貢献と発見

1. RL による多様性の直接最適化:
   • テキスト・トゥ・イメージ生成において、アイデンティティ多様性を直接最適化するために強化学習を適用した最初の手法の一つです。
2. グループ単位多様性報酬の発見:
   • 「画像内の多様性のみを強化しても、重複したアイデンティティがサンプル間を移動するだけで、グローバルな多様性は崩壊する」という重要な洞察を得ました。これを解決する「グループ相対的カウンターファクチュアル報酬」を提案しました。
3. 報酬ハッキングの特定と対策:
   • 多様性最適化のみを行うと、モデルが「人数を減らす」や「不自然なグリッド配置」で報酬を不正に得る傾向があることを特定し、人数制御と品質報酬によってこれを防ぎました。
4. アノテーション不要のスケーラブルな解決策:
   • 追加の人間によるアノテーションや実データなしで、オープンソースおよびプロプライエタリモデルを凌駕する性能を達成しました。

4. 実験結果

評価データセット:

• DiverseHumans Testset: 2〜7 人の多様なシーンを対象とした独自のテストセット（1,200 プロンプト）。
• MultiHuman-TestBench (MHTB): 既存のベンチマーク。

主要な数値結果（DiverseHumans テストセット）:

• Unique Face Accuracy (UFA): 画像内の顔がすべて一意である割合。
  • DISCO (Flux): 98.6%（ベースライン Flux: 48.2%、GPT-Image-1: 85.1%）
• Global Identity Spread (GIS): 生成されたサンプル全体でのアイデンティティの多様性。
  • DISCO (Flux): 98.3%（ベースライン Flux: 50.5%、GPT-Image-1: 89.8%）
• Count Accuracy: 指定された人数の正確性。
  • DISCO (Flux): 92.4%（ベースライン Flux: 70.8%）
• 品質: HPS スコア（視覚的品質・プロンプト整合性）はベースラインと同等かそれ以上を維持しています。

定性的結果:

• 既存モデルでは見られる「同じ顔の繰り返し」や「人数不足」が解消され、年齢、人種、外見的特徴に富んだ自然な多様性が実現されています。
• 顔の多様性のみを学習させた場合でも、衣服や体型の多様性が副次的に向上することが確認されました。

5. 意義と結論

DISCO は、テキスト・トゥ・イメージ生成における「アイデンティティ・クライシス」を解決する画期的なアプローチです。

• 技術的意義: 強化学習（特に GRPO）と多段階の報酬設計、カリキュラム学習を組み合わせることで、生成モデルの構造的な欠陥（アイデンティティの崩壊）を修正し、スケーラブルで高品質な多人数生成を実現しました。
• 実用性: 追加データやアノテーションを必要とせず、既存のオープンソースモデル（FLUX など）やプロプライエタリモデル（GPT-Image など）よりも優れた性能を発揮します。
• 将来展望: このアプローチは、動画生成、パーソナライゼーション、公平性（Fairness）の向上など、より広範な分野への応用が期待されます。

結論として、DISCO は単に「美しい画像」を作るだけでなく、「多様で正確な人間関係」を表現できる生成 AI の新たな基準を確立しました。