Cross-Modal Alignment for Emotion-Consistent Text-to-Image Generation (ChinaMM 2026)

デジタル時代において、私たちは言葉から絵を描くようコンピュータに頼むことに慣れてきました。「公園で遊ぶゴールデンレトリバー」と入力すれば、機械は数秒で説得力のある画像を生成できます。しかし、そのスピードや視覚的な忠実さにもかかわらず、これらのシステムは、リクエストに含まれる最も人間的な要素、すなわち「感情」を見落としがちです。「孤独な誕生日パーティー」というプロンプトは、風船や明るい色彩に満ちた部屋を生成するかもしれませんが、それは技術的には正しくても、感情的には空虚です。なぜなら、機械はそこにある物体は見えても、その背後にある悲しみを見ていないからです。私たちが語る言葉と、機械が感じるものの間にあるこの溝こそが、現在研究者たちが埋めようとしている中心的な課題です。目標は、単に見た目が正しい画像を作ることではなく、喜び、恐怖、あるいは悲しみといった、テキストの特定の感情的な意図に共鳴するビジュアルを作り出すことです。

中国通信大学の研究チームは、この隔たりを埋めるための新しい方法を提案しました。彼らは、抽象的な感情を具体的な視覚的詳細へと翻訳する方法を機械に教えるために設計された、2段階のプロセスである「Text-to-Image Emotion Consistent Generation（テキストから画像への感情一貫性生成）」フレームワークと呼ぶアプローチを提唱しています。このシステムは、あらかじめプログラムされたラベルや外部のガイドに頼るのではなく、まず文章の感情的な核を理解し、その理解を用いて画像の生成を導こうとします。研究者たちは、現在の手法が感情を後付けの要素や別個のタグとして扱っており、画像生成プロセスそのものの中に感情を織り込んでいないために失敗しているのだと主張しています。

プロセスは、研究者が「感情知能共鳴生成（Emotion-Intelligence Resonance Generation）」と呼ぶ段階から始まります。人間のアーティストが「階段の上にいる幸せな犬」というプロンプトを読んでいる場面を想像してみてください。筆を取る前に、アーティストは「幸せ」がどのような姿をしているかを考えるでしょう。温かな日光、明るい色彩、あるいは遊び心のある姿勢などです。コンピュータも同様のことを行います。まず、テキストを分析して、喜びや怒りといった支配的な感情を特定します。一度感情が特定されると、システムは専門の視覚的手がかりのライブラリを参照します。例えば、喜びには「温かな日光」、恐怖には「暗い影」といった連想です。そして、元のプロンプトを書き換え、これらの具体的な視覚的詳細で豊かにします。したがって、「幸せな犬」という単純なリクエストは、「温かな日光の中に立ち、近くにカラフルな風船がある犬」というより詳細な指示へと変わります。この豊かにされた記述が画像生成器に送られ、元のテキスト単体よりも強い感情的なトーンを帯びた画像が生成されます。

しかし、研究者たちは、より優れた記述があっても、描画の過程で最終的な画像がその感情的なインパクトを失ってしまうことがあることを見出しました。これを修正するために、彼らは「感情誘導型クロスモーダル強化（Emotion-Guided Cross-Modal Enhancement）」と呼ばれる第2段階を追加しました。このステップは、仕上げの磨き上げのような役割を果たし、機械が作成したばかりの画像を見て、「これは本当に意図した感情を感じさせるか？」と問いかけます。もしターゲットが「恐怖」であれば、システムは主要な被写体を変えることなく、照明を微妙に調整したり、影に特定の質感を与えたりすることで、不安感を深めることができます。この洗練は、感情的な意味を画像の視覚的特徴に直接注入することによって行われ、最終的な結果がユーザーが記述した感情と一致するようにします。

この2段階の手法が実際に機能するかをテストするため、チームは、喜び、驚き、怒り、嫌悪、恐怖、悲しみの6つの基本的な人間の感情を網羅するように注意深くバランス調整された、3,000個のテキストプロンプトからなる新しいデータセットを作成しました。彼らは、強力な標準的生成器や、感情的な編集に特化した他のツールを含む、いくつかの既存モデルと比較を行いました。結果は明確な改善を示しました。生成された画像が意図した感情と一致しているかどうかを判断する際、彼らの手法は、広範なポジティブまたはネガティブな感情に対して88.43%の精度を、6つの特定の感情を区別することに対して69.23%の精度を達成しました。これらの数値は、数パーセントの差で遅れをとった最高性能の代替モデルよりも高いものでした。

研究者たちはまた、人々が画像にどのように反応するかを見るために、ボランティアを対象とした調査も行いました。参加者は、元のテキストプロンプトと、様々なシステムによって生成された4つの異なる画像を並べて示され、どの画像が最も感情をよく捉えているかを選択するよう求められました。新しいフレームワークが最も多く選ばれ、その得票率は27.04%に達し、感情的な編集に特化したツールをも上回りました。重要な点は、このシステムが元のプロンプトの意味を歪めることなくこれを行えたことです。古い手法の中には、画像を非常に感情的にする一方でシーン全体を変えてしまうもの（例えば、悲しい公園を全く別の場所に変えてしまうなど）もありましたが、新しいアプローチは、ムードを変化させつつも、シーンの認識可能性を維持しました。

まだシステムができることには限界があります。研究者たちは、「驚き」の感情を正確に捉えることは、彼らの手法を含むすべての手法にとって特に困難であることを指摘しました。これは、驚きが恐怖や喜びの両方の視覚的特徴を共有しているため、区別が難しいためと考えられます。さらに、システムは現在、安定性を確保するために、確立されたやや古い画像生成バックボーンに依存しており、そのため、最新のモデルと比較して最高の画像品質をまだ生成できていない可能性があります。しかし、核心となる発見は揺らぎません。タスクを「まず感情を理解し、次に視覚的な詳細を洗練させる」という工程に分解することで、コンピュータはより人間の経験に忠実なと感じられる画像を生成できるのです。この研究は、機械が私たちの創造的なリクエストを真に理解するためには、私たちが何を記述しているかだけでなく、それに対してどのように感じているかを学ばなければならないことを示唆しています。