Towards Controllable Image Generation through Representation-Conditioned Diffusion Models

技術的概要：表現条件付き拡散モデルによる制御可能な画像生成への道

問題提起
拡散モデルは高品質な画像合成と編集を革新してきたが、特定の出力を生成するように制御することは依然として大きな課題である。生成敵対ネットワーク（GAN）は、精密で微細な変更を容易にする構造化され、分離された潜在空間を提供するのに対し、拡散モデルには直接制御に同等に効果的な潜在空間が欠けている。テキストプロンプトやセマンティックマップなどの既存の条件付け手法は、大規模に注釈付けされたデータセットや複雑なプロンプトエンジニアリングに依存することが多く、精度や非構造化データへの適応性を制限する可能性がある。さらに、無条件生成の品質向上のために表現条件付き拡散モデルが探求されてきたが、制御可能な潜在空間を提供する可能性は十分に検証されていない。

手法
著者は、事前学習された自己教師ありモデルを活用して生成プロセスを誘導する「表現条件付き拡散モデル（RCDM）」を提案する。このアーキテクチャは図 1 に示すように、2 つの主要なコンポーネントから構成される：

1. 表現抽出：事前学習された自己教師ありエンコーダ（具体的には DINO）が入力画像を低次元の表現分布にマッピングする。
2. 条件付き生成：ノイズ分布を画像分布にマッピングするデノイジング U-Net（潜在拡散モデル、LDM に基づく）が、エンコーダによって抽出された表現を条件として訓練される。

訓練パイプラインは 2 つの段階を含む：まず、SSL エンコーダを使用して画像を表現空間にマッピングする段階；次に、これらの表現を条件としてデノイジングを行う拡散モデルを訓練する段階である。著者は先行研究（MoCo v3 および MAGE の使用）の手法を適応させるが、DINO 表現を条件とした LDM フレームワーク内で適用する。実験は LSUN Churches および Celeb-A データセットで行われた。

主要な貢献と実験
本論文は、制御可能な生成における表現空間の有効性を検証するための初期実験を提示し、以下の 3 つの重要な特性に焦点を当てている：

• 摂動に対する頑健性：著者は、表現ベクトルにガウスノイズを加える（$\hat{C} = C + \lambda\epsilon$）ことでモデルの安定性をテストした。結果、拡散逆変換は高いノイズレベル（$\lambda > 0.4$）で著しい品質劣化を被るのに対し、RCDM はコンテンツを変更しながらも画像の品質と一貫性を維持することが示された。
• 補間の滑らかさ：2 つの表現ベクトル間の線形補間（$\hat{C} = \alpha C_1 + (1-\alpha)C_2$）が行われた。RCDM は、中間で区別がつかなくなった拡散逆変換や、急激な遷移を示した Stable Diffusion と比較して、参照画像間で意味的に滑らかな遷移を示した。
• 意味的方向性の発見：
  • 教師あり：特定の属性（例：Celeb-A におけるブロンドの髪）の平均表現を計算し、参照ベクトルに加えることで、モデルは特徴を正常に変更した。ただし、著者はデータセットの相関（例：禿げと男性性の相関）が意図しない属性変化に影響を与える可能性を指摘した。
  • 教師なし：表現空間に対して主成分分析（PCA）を用いることで、額の大きさ、髪の長さ、背景色などの意味的変化に対応する方向性を特定した。これらの方向性は GAN ほどの分離度には達しなかったが、教師なしでの方向性発見の実現可能性を示した。

結果と主張
本論文は、表現条件付き拡散モデルが条件付け空間において、特に滑らかさとある程度の分離性という有望な特性を示すと主張している。実験は、事前学習された自己教師ありモデルからの表現を使用することが、無条件画像生成の品質を向上させるだけでなく、制御可能な生成に適した潜在空間を確立することを示唆している。

重要性
著者は、この研究を生成モデリングの有望な方向性への予備的探求として位置づけている。彼らは、テキストベースの条件付けが要求する注釈付きデータセットへの重篤な依存なしに、拡散モデルの品質と制御可能性の両方を強化する魅力的なアプローチとして表現条件付けを提唱する。本論文は、将来の研究が分離性をさらに向上させるための表現の適応や、これらの知見を無条件拡散モデルにおける画像編集やデータ拡張への応用に取り組むべきであると結論づけている。