技術概要：Diffusion モデルを用いた視覚的物語生成における微細属性実現のための AttriStory

1. 問題定義

拡散モデルを用いた視覚的物語生成における最近の進展は、複数の物語シーン全体にわたってキャラクターの一貫性（キャラクターの同一性と外見が維持されること）を維持する上で顕著な成功を収めていますが、微細な属性の実現に関しては重要なギャップが残っています。既存の手法は、物語テキストで指定された具体的な詳細な視覚属性（衣服の色、生地の質感、アクセサリーなど）を忠実に描画することにしばしば失敗します。

著者らはこれを属性実現問題と定義します：明示的に指定された視覚属性（例：「赤いシャツ」、「青いスニーカー」、「茶色のコーギー」）が、生成された画像内の対応するオブジェクトに正しくバインドされることを保証することです。この課題は本質的にキャラクターの一貫性と直交しています。モデルがシーン間をまたいでキャラクターの同一性を成功裏に維持できても、各シーンのプロンプトで記述された特定の属性を描画することに失敗する可能性があります。現在のベンチマークや評価指標は、これらの詳細をほとんど無視し、代わりに基本的なキャラクターの同一性と動作に焦点を当てています。

2. 手法

2.1. AttriStory ベンチマーク

属性実現に対する体系的な評価の欠如に対処するため、著者らはこの目的のために特別に設計された新しいベンチマークAttriStoryを導入します。

• データセット構築：ベンチマークは、10 の異なる芸術的スタイル（写真、カートゥーン、3D アニメーション、水彩画、油絵などを含む）にわたる200 のマルチシーン物語で構成されています。各物語は 5 つのシーンを含みます。
• LLM 駆動生成：大規模言語モデル（LLM）は、構造化された詳細な仕様を持つ一貫性のある物語を生成するために使用されます。各シーンについて、LLM は以下を生成します：
  • キャラクター記述：詳細な多属性仕様。
  • シーン物語：微細な視覚属性で強化されたテキスト。
  • 正の属性 - オブジェクトペア（$P^+$）：共起しなければならないペア（例：["ピンク", "ドレス"]）。
  • 負の属性 - オブジェクトペア（$P^-$）：誤った関連付けを防ぐために共起してはならないペア（例：["ピンク", "ユリ"]）。
• 検証：データセットは、属性の多様性、ペアの正確性、シーン間の一貫性を確保するために手動レビューを受けます。

2.2. AttriLoss：潜在最適化モジュール

属性実現問題を解決するために、著者らはAttriLossを提案します。これは、拡散プロセスの初期のノイズ除去ステップ（具体的には 50 ステップ中の 1〜25 ステップ）で動作するプラグ・アンド・プレイ型の潜在最適化モジュールです。このタイミングが選ばれるのは、初期ステップが色や質感を含む構造的および意味的コンテンツの確立に重要であるためです。

• メカニズム：この手法は、拡散モデル内のクロスアテンションマップを利用します。これらのマップは、テキストトークンと空間的画像領域との間の関連性を可視化します。著者らは、これらのマップにおける曖昧な重なり（例：「ピンク」というトークンが「ドレス」ではなく「ユリ」にアテンションする）が、誤った属性バインドにつながることを観察しました。
• 目的関数：AttriLoss は、属性 - オブジェクトトークンペアの attention マップ間の空間的重なり（交差率、IoU）を最適化します：
  • 正のペア（$P^+$）については、正しい共起を促すために IoU を最大化します。
  • 負のペア（$P^-$）については、誤った関連付けを抑制するために IoU を最小化します。
  • 損失関数は以下のように定式化されます：
    $$L_{Attri} = -\sum_{(i,j) \in P^+} \text{IoU}(A_i, A_j) + \sum_{(i,j) \in P^-} \text{IoU}(A_i, A_j)$$
    ここで、$A_i$ と $A_j$ はそれぞれトークン $i$ と $j$ の空間的クロスアテンションマップです。
• 最適化：潜在コード $z_t$ は、この損失を用いた勾配降下法によって更新されます：$z'_t \leftarrow z_t - \nabla_{z_t} L_{Attri}$。
• 統合：このアプローチは、自己拡張などの既存の一貫性メカニズムに対して直交しています。これは、アーキテクチャの変更や再トレーニングを必要とせず、現在のトレーニングフリーのパイプライン（ConsiStory、StoryDiffusion など）とシームレスに統合されます。

3. 主要な貢献

1. AttriStory ベンチマーク：10 の芸術的スタイルにわたる明示的な正および負の属性 - オブジェクト注釈を備えた 200 のマルチシーン物語の包括的なデータセットであり、微細な属性実現の体系的な評価を可能にします。
2. AttriLoss：初期のノイズ除去ステップ中のクロスアテンションマップに適用されるターゲット型の IoU 損失です。これは、望ましいペアの整合性を最大化し、望ましくないペアを抑制することで、モデルが属性を正しく局所化することを導きます。
3. プラグ・アンド・プレイ統合：既存のキャラクター一貫性メカニズムを補完する手法であり、アーキテクチャの変更なしに現在の物語生成パイプラインへの即時導入を可能にします。
4. 実証的検証：属性実現がキャラクターの一貫性と並ぶ、独立した補完的な次元であることを実証し、微細な視覚的物語生成の分野を前進させます。

4. 実験結果

著者らは、AttriStory ベンチマークを使用して、Vanilla SDXL、StoryDiffusion、ConsiStory の 3 つのベースラインに対して AttriLoss を評価しました。

• 定量的指標：
  • VQAScore：すべてのベースラインで顕著な改善を示しました（例：ConsiStory + AttriLoss は 0.8136 から 0.8490 に向上）。これは、微細な属性プロンプトへのより良い準拠を示しています。
  • CLIP-T（画像 - テキスト類似性）： modest または一貫した gains を示し、AttriLoss がグローバルな意味整合性を乱すことなく属性の特定性を洗練させていることを示唆しています。
  • CLIP-I（クロスシーン一貫性）：スコアは強く維持、または改善され、属性のグラウンディングがキャラクターの一貫性を損なわないことを確認しました。
  • DreamSim（知覚的品質）：すべての手法で改善され、包括的な物語の品質の向上を反映しています。
• 定性的分析：視覚的結果は、ベースラインがキャラクターの一貫性を維持していた一方で、特定の属性のバインドにしばしば失敗していたことを示しました（例：「白いユリ」を「ピンクのバラ」として描画する、または傘の色を正しく塗らないなど）。AttriLoss を用いると、これらの微細な仕様は、キャラクターの同一性を維持しつつ、多様な芸術的スタイルにわたって忠実に実現されました。

5. 意義と主張

本論文は、キャラクターの一貫性 alongside に、属性実現を視覚的物語生成の独立した補完的な次元として位置づけています。著者らは、彼らの仕事が同一性の保持と属性制御の間のギャップを埋め、体系的なベンチマークと実用的な最適化手法の両方を提供すると主張しています。

その意義は、衣服やアクセサリーなどの視覚的詳細に対する精密な制御が高品質な物語生成に不可欠である、プロフェッショナルなクリエイティブワークフロー（アニメーション、編集イラストレーションなど）における重要なニーズに対応することにあります。AttriLoss を導入することで、著者らは拡散モデルが基本的なキャラクターの一貫性を超えて、微細な属性制御による物語生成へと進むことを可能にし、既存の手法に対して直交的に動作させ、再トレーニングを必要とせずに忠実度を向上させます。

限界：著者らは、属性実現が改善される一方で、この手法はテキストで記述された複雑な動作（例：本を読むキャラクターやいかだを操るキャラクターなど）の実現を保証するものではないことを認めています。これは、動作のグラウンディングにおける将来の改善の余地を示しています。