技術要約：拡散モデルによる創造的な画像生成

1. 問題提起

現在のテキストから画像への生成モデル（Stable Diffusion、DALL-Eなど）は、学習データの分布に沿った高品質な画像を生成することに長けている。しかし、これらのモデルは根本的な「対創造性バイアス（counter-creative bias）」を抱えている。その損失関数や評価指標（FIDなど）は、典型性や再構成の忠実度を優先するため、出力がしばしば慣習的で退屈なもの、あるいは既存の概念を単に複製したものになってしまう。

本稿で扱う核心的な問題は、いかにして「真の創造性」を誘発するかである。ここで創造性とは、手動のプロンプトエンジニアリング、明示的な概念の混合、あるいは既知のサブカテゴリの除外に頼ることなく、低確率で存在する新規かつ高品質な出力を生成することと定義される。既存のアプローチは、画像の品質と新規性の間のトレードオフの調整に苦慮することが多く、結果として、品質の低い「ドメイン外」のノイズになるか、あるいは無難で創造性に欠ける画像になるかのどちらかになりやすい。

2. 手法

著者らは、創造性を確率の問題として再定義するフレームワークを提案する。すなわち、創造的な画像は画像埋め込み分布の**低確率の裾（low-probability tails）**に存在するという考え方である。この手法は潜在拡散モデル（具体的にはKandinsky 2.1）上で動作し、主に4つのコンポーネントで構成される。

2.1. 事前分布のサンプリング

システムはまず、拡散事前分布 $\epsilon_\theta$ によって生成される画像埋め込み（$e$）のベースライン分布を確立する。

• プロセス: 大量のサンプルを抽出し、主成分分析（PCA）を用いて低次元空間に投影し、多変量ガウス分布 $\hat{G}$ に適合させる。
• 目的: この $\hat{G}$ は、「典型的」または「退屈な」領域を表す。

2.2. 創造的最適化

創造的な出力を生成するために、モデルは $\hat{G}$ の平均から離れ、その裾へと移動するように最適化される。

• 概念空間: 最適化は、学習可能なトークン埋め込み（例：「乗り物」という主題）と、拡散事前分布のLoRA（Low-Rank Adaptation）パラメータの組み合わせ空間に対して行われる。
• 創造的損失 ($L_{creative}$): 目的は、生成された埋め込みのベースライン分布における対数尤度を最小化することである：
  $$L_{creative}(\tilde{e}) = \log \hat{G}(\tilde{e})$$
  この損失を最小化することで、埋め込みを低確率の領域へと押しやり、理論的に「覚醒ポテンシャル（aural potential）」（新規性と驚き）を高める。

2.3. プルバック・メカニズム（引き戻し機構）

低確率領域を探索する際に、モデルが支離滅裂なノイズ（ドメイン外の失敗）に劣化するのを防ぐため、2つの制約が適用される。

1. アンカー損失 ($L_{anchor}$): 生成された画像埋め込みと元のプロンプト（$P_{pos}$）のテキスト埋め込みとのコサイン類似度を最大化することで、意味的な整合性を強制する。
2. 意味的妥当性チェッカー (MLLM): 生成された画像を定期的にレンダリングし、マルチモーダル大規模言語モデル（例：JanusまたはLLaVA）を用いて、「これは依然として{subject}ですか？ はい、または いいえ」とクエリを投げる。もしMLLMが画像を拒絶した場合、最適化の試行は終了される。これは、単純なCLIPの制約では見逃してしまう可能性のある、アドバーサリアルな失敗に対する堅牢なガードとして機能する。

4. 方向性制御

単に「醜い」あるいは好ましくない低確率領域へと収束することを避けるため、システムは**負のクラスタ・モデリング（Negative Cluster Modeling）**を採用している。

• もし最適化によって視覚的に魅力のない出力が生成された場合、それらの埋め込みを収集して負のガウス分布 $\hat{G}_{neg}$ を形成する。
• この負の分布に対するペナルティ項（$L_{neg}$）を損失関数に追加し、モデルをこれらの特定の「好ましくない」方向から遠ざけ、新規でありながらも審美的に優れた領域へと探索を導く。

3. 主な貢献

1. 創造性に対する確率論的視点: 本論文は、創造性をCLIP埋め込み空間における画像の存在確率の逆数として明示的に定義し、手動の概念混合から脱却したフレームワークを導入した。
2. 創造性指向の最適化: 新規性を最大化するために、低確率の埋め込み領域へとモデルを駆動する特化した損失関数を設計した。
3. プルバックと方向性制御: アンカー損失とMLLMベースの意味的チェッカーの導入により、高い創造性が意味的な忠実度や視覚的な一貫性を損なわないようにしている。さらに、負のクラスタ・モデリングにより、望ましくない創造的な方向からモデルを逸らすことができる。
4. 効率性: 本手法は迅速な収束を示し、反復的なサブカテゴリ除外に依存する方法よりも大幅に速い時間（約50ステップ）で創造的な結果を生み出す。

4. 実験結果

• 視覚的品質: 本手法は、多様なカテゴリ（建物、乗り物、エイリアン、果物など）において、視覚的に興味深く標準的な出力とは異なる、斬新な画像を生成することに成功した。
• 分布のシフト: 埋め込み空間の可視化により、学習中に生成された分布がベースライン分布の裾に向かって段階的にシフトしていくことが確認された。
• 人間による評価: 8名の被験者によるユーザー調査において、提案手法はベースライン（ConceptLab）よりも多くのケースで好まれた（例：エイリアンの画像で70.8%、乗り物で75%の支持）。ユーザーは、出力がより創造的で魅力的であると評価した。
• アブレーション研究:
  • 最適化対象: LoRAパラメータと主題トークンを最適化すると一貫性のある創造的な結果が得られたが、画像埋め込みを直接最適化すると品質が急速に低下した。
  • プルバックの必要性: MLLMチェッカーを除去すると、「欺瞞的な」プロンプトへの適合（例：果物が果物のモチーフを持つ人間へと変形する）が発生し、アンカー損失を除去するとモデルが完全にドメイン外へ逸脱した。
  • 方向性: 負のクラスタ・モデリングは、モデルが魅力のない審美的なスタイルに定着するのを防ぎ、より多様で好ましい創造的な方向を発見させることに成功した。
• 比較: 「エイリアン」のように明確な下位クラスが存在しない概念に対しては効果的でない、サブカテゴリの特定と除外を必要とするConceptLabとは異なり、本手法は確率分布に直接作用することで、より効率的かつ広範に創造性を達成している。

5. 意義と主張

本論文は、生成モデルにおける創造性への新しい視点を提供すると主張している。それは、学習分布を模倣することから、埋め込み空間の低確率の裾を探索することへと焦点を移すものである。著者らは、本アプローチが、手動のプロンプトエンジニアリングや明示的なサブカテゴリの除外に頼ることなく、視覚的コンテンツ合成におけるイノベーションを促進するための原理的な手法を提供すると述べている。

本研究は、より表現力豊かで柔軟なAIシステムへの基礎的な一歩として提示されており、堅牢なプルバック・メカニズムを通じて意味的な妥当性を維持しながら、「覚醒ポテンシャル（新規性と驚きの心理学的概念）」を数学的に定義し最適化することが可能であることを示している。著者らは、これを、既知のサブカテゴリの存在に依存しない、テキストから画像生成のための最初の確率論的創造性フレームワークとして位置づけている。