技術要約: ReART

問題提起

感情を考慮した芸術的な画像生成には、モデルが「意味的内容（semantic content）」「芸術的スタイル（artistic style）」「目標とする感情（target emotion）」という3つの異なる軸を同時に満たす必要があります。主な課題は、芸術的なキャプションの性質にあります。キャプションはしばしばこれらの軸を未定義で自由形式なテキストへと混同させてしまいます。これにより、特定の筆致、構図、色調の雰囲気、素材の質感といった微細な視覚的属性を具体的に接地（grounding）させることが困難になります。

具体的には、以下の2つの困難が生じます：

1. 実行における曖昧さ: キャプションは感情的な目標（例：「厳かな」）を指定しますが、それを実現するために必要な視覚的メカニズム（例：「抑制された彩度」、「平坦化された空間的後退」）を定義できていません。生成モデルは、緩やかな感情的な印象を近似することはできても、スタイルによって要求される真正かつ微細な実行レベルには到達できないことが多々あります。
2. 軸固有の失敗: 構造化されたプロンプトを用いたとしても、コンテンツ、スタイル、および属性のすべてを一度のパスで同時に整合させることは困難です。失敗はしばしば軸固有であり（例：コンテンツは正しいが、絵画的な質感ではなくフォトリアルなレンダリングになっている）、盲目的な再サンプリングは診断情報に欠け、制約のないグローバルな編集は、正しく実現された領域を損なうリスクがあります。

手法: ReART フレームワーク

著者らは、抽象的な情緒的記述を構造化された視覚的証拠に接地させ、軸固有の失敗を標的を絞った精緻化によって修正するために設計された2段階のフレームワークである ReART (Reference-Guided Retrieval and Refinement) を提案しています。

ステージ I: 検索ガイド付き芸術生成

このステージでは、プロンプトとリファレンスを構造化された視覚的フィールドへと分解することで、テキストの未定義性を解消します。

1. 構造化視覚記録の構築: GPT-5.4を用い、テスト用キャプションとEmoArtデータベース内のアノテーションを、11個の独立して対処可能な視覚的フィールド（主要な被写体、空間関係、シーン/設定、構図/レイアウト、素材/表面、筆致/質感、線の質、色彩/色調、光/影、およびムード/雰囲気）を含む統一された構造化記録へと分解します。
2. スタイル固有のフィールド別検索: スタイルの整合性を確保するため、システムはスタイル固有のリファレンス・プールを構築します（例：「水墨画」を中国画のセットで拡張するなど）。単一の包括的なクエリではなく、システムは各視覚的フィールドを BAAI/bge-m3 を用いて独立してエンコードし、コサイン類似度を計算します。重み付けされた融合スコアによって候補をランク付けし、被写体や構図といった意味的に重要なフィールドを優先します。
3. リファレンス拡張生成: 上位10件の検索された芸術作品を、その構造化されたフィールド記述とともに生成モデル (gpt-image-2) に提供します。構造化されたプロンプトは、モデルに対し、各リファレンスを包括的なスタイルのテンプレートとしてではなく、そのリファレンスが最もよく表している特定の視覚次元（例：あるリファレンスは構図のために、別のリファレンスは筆致のために使用する）に対して選択的に使用するよう指示します。

ステージ II: エージェントによる制約付き精緻化ループ

このステージでは、属性整合スコア (AAS) 駆動型のループを用いて、残存する軸固有の失敗に対処します。

1. AAS スコアリングと選択: 生成された画像は、コンテンツ、スタイル、属性の整合性の3つの軸に対して評価されます。いずれかのサブスコアが閾値（9/10）を下回る画像は、精緻化ループに入ります。
2. 診断: マルチモーダル診断モジュールが、支配的な失敗タイプ（例：テクスチャのエラー、トーンのエラー）を特定し、すでに満たされており保持すべき制約を決定します。
3. プランナー: 以下の4つのコンポーネントからなる構造化された修復計画を構築します：
   • Keep (保持): 維持すべき要素（被写体の同一性、空間関係、構図の骨格）。
   • Fix (修正): 修正すべき特定のフィールドレベルのエラー。
   • Avoid (回避): 正しいコンテンツを損なう可能性のある禁止された操作。
   • Priority (優先順位): 構造から審美的なものへの修復の順序。
4. リファレンスのルーティングと制約付き編集: リファレンスは、特定の失敗した軸に基づいて再ルーティングされます。失敗している次元に関連する上位の候補のみが選択されます。エディタは、構造的保存の制約下で標的を絞った編集を行い、失敗した視覚次元のみを修正し、残りの画像部分をロックします。このループは、すべてのスコアが閾値に達するか、反復制限に達するまで繰り返されます。

主な貢献

本論文は、主に以下の3つの貢献を述べています：

1. 構造化視覚フィールドの分解: 絡み合った芸術的キャプションを、独立して対処可能な視覚的フィールドへと分解する手法。これにより、フィールド単位の検索が可能となり、抽象的な情緒的記述を直接的な視覚的証拠に接地させることができます。
2. AAS 駆動型エージェント精緻化ループ: 軸固有の失敗を診断し、「保持/修正/回避/優先順位」の構造化された計画を構築するメカニズム。これにより、目的別にルーティングされたリファレンス選択を利用して、正しい次元を崩すことなく、特定の誤差を標的とした修正が可能になります。
3. 実証的検証: 本フレームワークの有効性は AffectiveArt 2026 Grand Challenge における性能を通じて示され、すべてのサブ軸において完全な AAS 1.00 を達成しました。

結果

システムは Local200 ベンチマークおよび AffectiveArt 2026 Grand Challenge Track 1 で評価されました。

• Local200 の性能: ReART は FID 147.43 および AAS 9.77（10点満点）を達成し、FLUX.1-dev + IP-Adapter、Qwen-Image、HiDream-O1-Image といったベースラインを上回りました。特に、キャプションのみの生成やベースラインと比較して、スタイルおよび属性の整合性スコアを大幅に向上させました。
• AffectiveArt 2026 チャレンジ: 「EmoForge」として提出された ReART は、総合スコア 0.78 で総合2位となりました。ReART は、コンテンツ、スタイル、属性のすべてのサブ軸において AAS 1.00 という完全なスコアを達成し、これは提出された全システムの中で最高の AAS です。1位のチームは、主に FID がより低かったこと（66.12 対 77.47）により、より高い総合スコア（0.80）を獲得しましたが、ReART の AAS（1.00）はそれを上回りました。
• アブレーション研究: 実験により、構造化されたフィールド分解のみでも整合性が向上することを確認しましたが、フィールド単位の検索を加えることで最大の利得が得られることが確認されました。フル精緻化ループ（ステージ II）は、さらに FID を減少させ AAS を向上させ、特に「スタイル」の軸において精緻化後に最も顕著な改善が見られました。

意義

本論文は、ReART が芸術生成における抽象的な感情表現と具体的な視覚的実行の間の溝を効果的に埋めるものであると主張しています。包括的なスタイルのテンプレートから、フィールドに整合した視覚的証拠へと移行することで、生成モデルが特定の次元（例：筆致 vs レイアウト）に対してリファレンスを選択的に活用することを可能にします。さらに、AAS 駆動型の制約付き精緻化ループは、人間による介入や正しい要素を損なうリスクなしに、潜在的な軸固有の失敗を自動的に診断し修正するメカニズムを提供します。これらの結果は、構造化された検索と標的を絞った精緻化が、特に人間が定義した美的および情緒的な基準への整合性を最大化する上で、微細な感情認識型芸術生成を実現するための効果的な戦略であることを裏付けています。