🤖 AI

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

EmoStyleは、LLMを用いて情動的な手がかりを推論し、スタイル特化型のLoRAエキスパートを用いてZ-Imageベースの生成器を調整することで、プロンプト、芸術的スタイル、および目標とする感情との整合性を確保し、感情的な画像生成における制御のギャップを埋めるAffectiveArt Challenge 2026の優勝フレームワークである。

原著者： Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは「雨の街にいる悲しげなロボット」といった、たった一つの文章に基づいて絵を描こうとしています。しかし、ここには罠があります。単にロボットを描くだけでは不十分なのです。特定の画風（例えば「印象派」や「水墨画」など）に見せかけなければなりません。そして最も重要なのは、ロボットが泣いていなくても、見る人にその「悲しみ」を感じさせる必要があるということです。

これが、EmoStyleチームが取り組んだ課題です。彼らは、超組織的なアートディレクター、スタイルの変化自在なカメレオン、そして厳格な美術評論人の役割をすべて一人でこなす、スマートなシステムを構築しました。彼らの目標は、AffectiveArt Challenge 2026（トラック1）で優勝することでした。そして、結果はどうだったでしょうか？彼らは第1位を獲得したのです。

彼らの「魔法のトリック」がどのように機能するのか、3つのシンプルなステップに分けて解説します。

1. 「心の読手」（LLM Reasoner）

通常、コンピュータに単に「悲しいロボットを描いて」と伝えても、コンピュータは悲しさをどう表現すべきかを知らないため、ロボットが幸せそうだったり、困惑していたりする絵を描いてしまうことがあります。もっと多くのヒントが必要なのです。

学習データの中では、コンピュータは「バレンス（価）：低」、「覚醒度：高」、「支配的な感情：悲嘆」といった秘密のメモ付きの「カンニングペーパー」を持っていました。しかし、テスト時（実際にアートを作成しなければならない時）には、そのカンニングペッパーは消えていました！コンピュータにあるのは、短い一文だけです。

EmoStyleの解決策： 彼らはAIの「心の読手」（LLM reasoner）を雇いました。ピクセルを一つ描く前に、この心の読手は短い文章とターゲットとなる画風を読み解き、欠落している秘密のメモを推測します。それは正確な感情の座標（画像がどれくらいポジティブ/ネガティブか、あるいは穏やか/興奮しているか）を導き出し、さらには画像が横長か縦長であるべきかまでも決定します。これにより、漠然としたアイデアを詳細で構造化された計画へと変えるのです。

2. 「スタイルのカメレオン」と「感情の注入器」

これでコンピュータには計画がありますが、まだ描画が必要です。ほとんどのAI画家は、すべてを一度に学ぼうとするため、処理が混乱しがちです。EmoStyleはもっと賢い方法をとりました。

スタイルのカメレオン（LoRA Experts）： 想像してみてください。あらゆる画風に対して、それぞれ異なる眼鏡を持っているとします。「ルネサンス」が欲しければルネサンス用の眼鏡をかけ、「浮世絵」が欲しければ浮世絵用に切り替えます。チームは、使用した8つの画風（水墨画、バロック、ソビエト写実主義など）ごとに、小さな特化型「エキスパート」（LoRAアダプターと呼ばれます）を訓練しました。コンピュータが描画する必要があるとき、単に正しい眼鏡を選ぶだけです。これにより、スタイルが非常に一貫したものになります。
感情の注入器（Affective Conditioning）： しかし、ルネサンス様式のロボットを悲しませるにはどうすればよいでしょうか？プロンプトに再び「悲しい」という言葉を加えるだけでは足りません。代わりに、彼らは「心の読手」による感情プランを「秘密のコード（ベクトル）」へと変換しました。そして、このコードをAdaLNスタイル変調という技術を用いて、描画マシンの脳（デノイジング・ブロック）に直接注入したのです。これは、アーティストが絵を描いている最中に、その特定の感情を伝えるために筆致をどのように操るべきかを、耳元で秘密の指示をささやくようなものです。

3. 「厳格な美術評論家」（VLM-Guided Refinement）

優れた計画と正しい眼鏡があっても、最初の試行がまだ少し的外れである可能性があります。ロボットが幸せすぎたり、色が間違っていたりするかもしれません。

そこで、システムは単に一枚の絵を出して終わりではありません。システムは複数の候補（例えば5つの異なるバージョンをスケッチするように）を生成します。その後、「厳格な美術評論家」（Vision-Language Model）を呼び出します。この評論家は、すべてのスケッチをチェックし、以下の4つの項目でスコアを付けます。

プロンプトに一致しているか？
正しい画風に見えるか？
実際に正しい感情を感じさせるか？
視覚的な品質が高いか？

評論家が勝者を選びます。もし十分なものがなければ、再生成をトリガーすることさえあります。これはシステム全体を再学習させる必要はなく、最後に行われるスマートな選択ステップです。

結果：うまくいったのか？

チームは、132,664点以上の絵画を含むEmoArtというデータセットを用いてシステムをテストしました。彼らは自らのフルシステムを、ベースモデルや他の有名なAI画家と比較しました。

スコア： 彼らのシステムであるUSTC_PI_LAB_TEAMは、総合スコア0.80を記録し、0.78を記録した第2位のチーム（EmoForge）を上回りました。
証明： 彼らは、画像のリアリティを測定するためにFID（Frechet Inception Distance）という指標を用いました。数値が低いほど優れています。彼らのフルシステムは、ベースモデルの75.83から58.63へとFIDを低下させました。これは、画像がよりリアルで、スタイルに忠実であることを意味しています。
「もしも」のテスト： 彼らは、システムの各パーツを取り除いたらどうなるかを調べる実験も行いました。
- もし「心の読手」（感情プランニング）を取り除くと、画像は特定の細部を捉える能力が少し低下しました。
- もし「スタイルのカメレオン」（特定のLoRAエキスパート）を取り除くと、スタイルの一貫性が著しく低下しました。
- もし「厳格な美術評論家」（精緻化ステップ）を取り除くと、最終的な画像の品質が低下しました。

彼らが「しなかったこと」

このシステムが何ではないかを知っておくことも重要です。著者らは、プロンプトを単に言葉を増やして書き換えたり、感情的なメモを説明文の中の追加テキストとして使用したりすることを明確に否定しました。それらの手法は不安定であり、コンピュータに十分な精密な制御を与えることができないと彼らは判断したからです。代わりに、彼らは感情を、マシンのレイヤーに直接注入されるあの「秘密のコード」へと変換することにこだわりました。

また、彼らはすべてを学習する単一の巨大なモデルを作ろうとはしませんでした。代わりに、メインの脳は凍結させたまま、スタイルごとの小さな「エキスパート」モジュールを入れ替える手法をとりました。

結論

EmoStyleチームは、問題を分解すること――まず感情を計画し、次に適切なスタイルのエキスパートを選び、最後に評論家に最高の選択をさせること――によって、単に正しく見えるだけでなく、「正しく感じられる」アートを生み出せることを示しました。スタイルと感情を分離し、空白を埋めるためにスマートな「心の読手」を使用することが、勝利への戦略であることを彼らは証明し、2026年のチャレンジでトップの座を勝ち取ったのです。

技術サマリー: EmoStyle

問題提起

本論文は、感情を考慮した芸術的画像生成という課題に取り組んでいる。これは、入力されたテキストプロンプトへの意味的な忠実性、指定された芸術的スタイルの遵守、そして目標とする感情状態の表現という3つの制約を同時に満たす必要があるタスクである。

核心となる困難は、利用可能なテスト時の入力と、生成に必要なきめ細かな条件との間にあるコントロール・ギャップ（制御の乖離）にある。学習データセット（EmoArtなど）には、視覚的属性、バレンス（価数）ーアローザル（喚起度）スコア、支配的な感情、治療効果ラベルを含む豊かな構造化アノテーションが含まれているが、これらの構造化された手がかりはテスト時には欠落している。モデルにはコンパクトな入力プロンプトとターゲットとなるスタイルバケットのみが与えられる。その結果、生成器は明示的なガイダンスなしに、目標とする感情を特定の視覚パラメータ（色彩、照明、筆致、構図、線、レイアウト）へとどのように翻訳すべきかを暗黙的に推論しなければならないが、標準的なプロンプト条件付き拡散モデルでは、高い忠実度でこれを実行することに苦慮する。

手法

著者らは、Z-Image拡散モデルをベースとしたフレームワークであるEmoStyleを提案している。本システムは、コンパクトなプロンプトと構造化された生成状態との間のギャップを埋めるために設計された、4段階のパイプラインを通じて動作する。

1. プロンプトから感情へのプランニング (LLM Reasoner)

プロンプトを書き換えたり、自由形式の視覚的属性を生成したりする代わりに、システムはLLM推論器（LLM reasoner）を用いて、欠落している感情的およびレイアウトの変数を推論する。入力キャプション ( $x_i$ ) とターゲットのスタイルバケット ( $y_i$ ) が与えられると、推論器は以下の要素からなる構造化された感情プラン ( $P_i$ ) を予測する：

感情サマリー ( $F_i$ ): 連続的なバレンス ( $v$ ) とアローザル ( $\eta$ ) スコア、支配的な感情ラベル ( $e$ )、および治療効果ラベル ( $H$ )。
アスペクト比の決定 ( $\rho$ ): 解像度をガイドするための予測されたキャンバスの向き。

これらの予測は、定義済みの語彙と正規化された連続範囲から導出されるため、制御信号がコンパクトかつ安定した状態に保たれる。

2. バケット固有のスタイルLoRAエキスパート

芸術的スタイルの多様性を扱うため、本フレームワークは利用可能なスタイルバケット（例：インク画、浮世絵、工筆、ルネサンス、抽象など）に特化した**混合エキスパート（Mixture-of-Experts: MoE）**アプローチを採用している。

各スタイルバケットに対して、Z-Imageのバックボーンを凍結したまま、対応するEmoArtデータセットのサブセットで専用の**LoRA（Low-Rank Adaptation）**アダプターを学習させる。
推論時には、ターゲットのスタイルバケットに対応するLoRAエキスパートを決定論的に選択する。これにより、複雑なルーティングメカニズムを用いることなく、色彩、質感、筆致、構図に関する**バケット固有の事前知識（priors）**を提供し、スタイルの整合性を確保する。

3. 感情条件のモジュレーション

推論された感情プランは、コンパクトな感情条件ベクトル ( $c_{i,aff}$ ) にエンコードされ、デノイジングネットワークに注入される。

エンコーディング: 連続的なバレンスとアローザルの座標は正弦波位置エンコーディングを用いて埋め込まれ、離散的な感情および治療ラベルは学習可能な埋め込みへとマップされる。これらは、連続的な強度と離散的な感情タイプの関係を捉えるための相互作用項と共に結合される。
モジュレーション: 感情ベクトルは**AdaLNスタイルの残留モジュレーション（residual modulation）**を介して注入される。新しい層を追加するのではなく、感情ヘッドがZ-Imageブロックのネイティブなスケールおよびゲートパラメータに対する残留オフセット ( $\Delta s, \Delta g$ ) を予測する。これにより、スタイルLoRAが芸術的な外観を処理する一方で、推論された感情的な手がかりが中間特徴量（AttentionおよびMLP層）を直接ガイドすることが可能になる。

4. VLMによる候補の精査

単一の確率的な生成では、すべての制約を同時に満たせない可能性があることを認識し、本フレームワークは**テスト時の精査（test-time refinement）**戦略を採用している。

異なるランダムシードを用いて複数の候補画像を生成する。
VLM（Vision-Language Model）判定器（Qwen3.5-397B-A17B）が、プロンプトへの適合性、スタイルの一貫性、感情プランの一致性、および参照なしの視覚的品質の4つの基準に基づいて各候補を評価する。
合計スコアが最も高い候補が最終的な出力として選択される。これには追加の学習は不要である。

主な貢献

本論文は、主に3つの貢献を述べている：

LLMベースの感情プランナー: コンパクトなプロンプトから欠落している構造化された感情的（バレンス・アローザル、感情ラベル）およびレイアウト（アスペクト比）の手がかりを推論し、それを実行可能な生成変数へと変換するメカニズム。
分離されたスタイル・感情フレームワーク: スタイル選択（バケット固有のLoRAエキスパート経由）と感情モジュレーション（AdaLNスタイルの残留注入経由）を分離した、Z-Image上の新しいアーキテクチャ。これにより、同じ感情的な手がかりを、異なるスタイル固有の事前知識を用いて描画することが可能になる。
VLMによる精査: 生成の失敗を軽減するために、多次元的な基準（コンテンツ、スタイル、感情、品質）に基づいて生成された候補をランク付けする、学習を必要としないテスト時の戦略。

実験結果

本フレームワークは、EmoArtデータセットを用い、AffectiveArt Challenge 2026のトラック1（感情認識型芸術画像生成）において評価された。

チャレンジにおける性能: USTC_PI_LAB_TEAMの提出物は、総合スコア0.80を獲得し、第2位のチーム（EmoForge, 0.78）を上回り、1位となった。
定量的指標: ローカル検証セットにおいて、フル構成のEmoStyleフレームワークは、FID（Frechet Inception Distance）をBase Z-Imageの75.84から58.64へと減少させ、視覚的なリアリズムが大幅に向上したことを示した。また、AAS（Attribute Alignment Score）は0.73から0.79に上昇し、ターゲット属性への適合性が向上したことを示した。
アブレーション研究:
- アスペクト比の予測を除去すると、FIDが最も大きく悪化（72.59）し、レイアウトプランニングの重要性が浮き彫りになった。
- スタイル固有のLoRAを除去すると、スタイル適合性が顕著に低下（0.75から0.71）し、専門化されたアダプターの必要性が確認された。
- 候補の精査を除去すると、FIDとAASの両方が低下し、VLMによる選択の有用性が検証された。
クロスバックボーン比較: モデルに依存しないコンポーネント（プランニングと精査）のみを使用して他のバックボーン（Flux2, GPT Image 2, Nano Banana 2）に適用した場合も、EmoStyleは性能を向上させたが、Z-Image上でフルアーキテクチャを用いた場合に最高の全体結果が得られた。

意義と主張

本論文は、EmoStyleが、非構造化プロンプトと、感情的な芸術生成に求められるきめ細かな制御との間のギャップを効果的に埋めるものであると主張している。感情状態の推論を明示的にモデル化し、スタイルの専門化と感情のモジュレーションを分離することで、本フレームワークは、生成器が「何を描写するかだけでなく、ターゲットとなる感情をどのように表現すべきか」までも決定することを可能にする。

著者らは、本研究を「テスト時の生成におけるコントロール・ギャップ」に対する解決策として位置付けており、構造化された推論（LLMプランニング）を、パラメータ効率の良い適応（LoRA）およびテスト時のスケーリング（VLM精査）と組み合わせることで、ベースとなる拡散バックボーンを再学習することなく、感情認識型のクリエイティブデザインにおいて最先端の結果を達成できることを実証している。AffectiveArt Challenge 2026での成功は、この構造化された感情的条件付けアプローチの経験的な裏付けとなっている。