🤖 AI

Dual Inversion for Text-to-Image Diffusion Models: From Both Prompt and Noise Perspectives

本論文は、既存手法の限界を克服し、制御可能な編集機能と共に最先端の画像忠実度を実現するために、解釈可能なテキストプロンプトとターゲット画像の正確な潜在ノイズを共同で復元する2段階のインバージョン手法であるDualinを提案する。

原著者： Xiaolong Liu, Junjian Li, Yuan Xiao, Jiaqi Deng, Dayong Ye, Tianqing Zhu, Huan Huo

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

原著者： Xiaolong Liu, Junjian Li, Yuan Xiao, Jiaqi Deng, Dayong Ye, Tianqing Zhu, Huan Huo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは魔法のレシピをリバースエンジニアリングしようとしているところだと想像してみてください。目の前には美味しいケーキがあり、あなたの目標は、どうすれば再びそのケーキを焼けるのか、その正確な方法を突き止めることです。コンピュータサイエンスの世界、特に「コンピュータビジョン」と呼ばれる分野には、テキスト・トゥ・イメージ（Text-to-Image）拡散モデルという魔法のようなプログラムが存在します。これらのモデルは、適切なテキスト指示（プロンプト）さえ与えれば、どんなケーキでも焼くことができる、信じられないほど才能豊かなシェフのようなものです。しかし、もし逆方向に行いたいとしたらどうでしょう？もし、あなたに特定の、完璧なケーキ（画像）があり、そのケーキを作るためにどのようなテキスト指示が使われたのかを正確に知りたいとしたら？これは「プロンプト・インバージョン（prompt inversion）」と呼ばれます。

長い間、科学者たちは単にケーキを見てレシピを推測することで、この問題を解決しようとしてきました。ある人々は、レシピの言葉が一致するまで数学的にレシピの言葉を微調整しようとしましたが、その結果は「小麦粉を！！加えて、ザードス」といった、しばしば支離滅裂なものになりました。またある人々は、明確で人間が読めるレシピを書こうとしましたが、その言葉を使って再びケーキを焼こうとすると、結果は元のものとは似ても似つかないものでした。特定の質感、ライティング、そして細かなディテールが欠けていたのです。大きな疑問は、「レシピの言葉が合っているように見えるのに、なぜケーキが違って見えるのか？」ということです。その答えは、ほとんどの人が無視してきた隠れた材料、すなわち「ノイズ」の中にありました。このノイズをゴミとしてではなく、ケーキの正確な形や構造を決定する特定のランダムな火花だと考えてみてください。その火花を捉えなければ、どれほど優れたレシピの言葉を持っていても、元のケーキを完璧に再現することはできないのです。

本論文は、レシピ（テキスト・プロンプト）と隠れた火花（ノイズ）の両方に同時に注目することで、このパズルを解く新しい手法であるDualin（デュアル・インバージョン）を紹介します。研究者たちは、画像をリバースエンジニアリングしようとする際にテキストだけを推測することは、家の外壁の色だけを説明して家を再建しようとするようなものであり、それでは設計図を見逃してしまうのだと主張しています。彼らのアプローチは、二段階のダンスです。まず、シーンを記述するビジョン・ランゲージ・モデル、適切な芸術的キーワードを見つけるCLIPシステム、そして完璧で人間が読めるレシピを書く大規模言語モデル（LLM）という、スマートなAIツールのチームを使用します。しかし、彼らはそれだけで終わりません。第二のステップとして、彼らは特別な「ノイズ・インバージョン」を行います。これは、ケーキのユニークな構造を作り出した正確なランダムな火花を見つけ出すために、製菓プロセスを巻き戻すようなものです。

完璧なレシピと正確な火花を組み合わせることで、Dualinは驚異的な精度で元の画像を再現することができます。著者らは数千枚の画像でこれをテストし、彼らの手法が元の画像とほぼ同一に見える画像を生み出し、従来の手法よりもはるかに優れていることを明らかにしました。また、彼らはこのテクニックによって精密な編集が可能であることを数学的に証明しました。なぜなら、「火花（ノイズ）」が構造を保持し、「レシピ（プロンプト）」が意味を保持しているため、レシピを変更して猫を犬に入れ替えたり背景を変えたりしても、新しい画像は元の画像と全く同じレイアウトとライティングを維持できるからです。この論文は、このデュアル・アプローチこそが、真に制御可能で高品質な画像編集を解き放つ鍵であり、単に言葉を推測することを超えて、これらの画像がどのように作られるかという魔法の全容を理解することへと繋がるのだと示唆しています。

技術要約：テキスト画像生成拡散モデルにおけるデュアル・インバージョン（Dual Inversion）

問題提起

テキスト画像（T2I）拡散モデルは生成AIの中核となっているが、ターゲットとなる画像を生成した特定のテキストプロンプトと潜在条件を逆エンジニアリングして復元することは、依然として大きな課題である。既存の**プロンプト・インバージョン（prompt inversion）**手法には、主に2つの限界がある：

勾配ベースの手法（例：PEZ, PH2P）は、連続的な埋め込み（embeddings）を最適化するが、それらを離散的な語彙へと投影すると、不安定で解釈不能な「意味不明な（gibberish）」プロンプトや、深刻なアーティファクトを含む画像が生成されることが多い。
勾配フリーの手法（例：BLIP-2, VGD）は、人間が読めるプロンプトを生成するが、視覚的な忠実度（fidelity）の維持に失敗する。これらは微細なディテールの整合性に欠けており、生成された画像が構造や質感においてターゲットから大きく逸脱してしまう。

著者らは、これらの限界が、プロンプト・インバージョンを「十分条件」として扱っていることに起因すると主張している。つまり、**潜在ノイズ（latent noise）**の重要な役割を無視しているのである。T2I拡散モデルにおいて、ノイズは構造情報や空間レイアウトをエンコードしている。セマンティックなプロンプトのみに依存することは、信頼性の高い再構成には不十分である。なぜなら、同じプロンプトの下でも、異なるノイズサンプルは全く異なる画像を生成するからである。

手法：Dualin

本論文では、ターゲット画像のセマンティックなプロンプトと潜在ノイズの両方を共同で復元する2段階のフレームワークであるDualin（Dual Inversion）を提案している。このアプローチは、逆エンジニアリングのプロセスを補完的なステージへと分離（デカップリング）するものである。

ステージ I：プロンプト・インバージョン

目標は、ターゲット画像のセマンティクスを反映した、忠実で人間が解釈可能な「ハード・プロンプト（hard prompt）」( $P^*$ ) を生成することである。このステージでは、以下の3ステップのパイプラインを採用する：

セマンティック・コンテンツ抽出： 学習済みビジョン・ランゲージモデル（VLM）を用いて、ターゲット画像からコアとなるセマンティック・コンテンツ（ $P'$ ）を抽出する。この際、芸術的なスタイルを幻覚（hallucination）させないよう、視覚的コンテンツに焦点を絞るよう制約をかける。
ゼロショット・コンセプト・リトリーバル： VLMが見落としがちな特定の美的属性（照明、スタイル、レンダリングエンジンなど）を捉えるため、CLIPベースの「インターロゲーター（Interrogator）」モジュールを用いて、定義済みの「コンセプト・バンク（Concept Bank）」からキーワードを検索する。ターゲット画像と候補タグとの間のCLIPコサイン類似度を計算し、上位 $k$ 個のスタイリスティックなキーワード（ $K$ ）を選択する。
プロンプト生成と選択： 大規模言語モデル（LLM）がシンセサイザーとして機能し、セマンティック・コンテンツ（ $P'$ ）とスタイリスティックなキーワード（ $K$ ）を融合させて、一連の候補プロンプトを作成する。その後、識別器（discriminator）による選択メカニズムを用いて、ターゲット画像とのCLIP類似度を最大化する最終的なプロンプト（ $P^*$ ）を選択する。

ステージ II：ノイズ・インバージョン

プロンプトが反転された後、本手法は**無条件DDIMインバージョン（unconditional DDIM inversion）**を実行し、ターゲット画像に対応する正確な潜在ノイズ（ $x^*_T$ ）を再構成する。

ターゲット画像の潜在表現（ $x_0 = E(I)$ ）から開始し、テキストプロンプトによる条件付けなしに拡散の軌跡を逆転させる。
これにより、反転されたプロンプトと組み合わせることで、ターゲット画像を高い忠実度で再構成できる特定のノイズベクトルを復元する。

理論的基礎：デカップリングと編集可能性

論文では、無条件ノイズ・インバージョンの**デカップリング特性（Decoupling Property）**に関する理論的証明（定理4.1）を提供している。これは、反転されたノイズ $x^*_T$ がプロンプト $P$ に依存しないことを示している。その結果、生成される画像 $x_0(P)$ は、無条件の再構成と、プロンプトによって導入されるオフセットへと分解できる。

系 4.2（編集可能性 / Editable Property）： 反転されたノイズ $x^*_T$ を固定し、プロンプトのトークンを変更することで、ノイズの再最適化や画像の再インバージョンを行うことなく、精密な画像編集（例：被写体の置換、スタイル転送）が可能になる。

主な貢献

ノイズの重要性の特定： 高い忠実度を持つ画像再構成は、プロンプト・インバージョンのみでは信頼性を確保できず、潜在ノイズが構造情報をエンコードするために不可欠であることを実証した。
Dualinフレームワーク： プロンプト・インバージョン（VLM、CLIP、LLMを使用）とノイズ・インバージョン（無条件DDIMを使用）へと逆エンジニアリングを分離する、新しい2段階の手法を提案した。
理論的証明： 無条件ノイズ・インバージョンが、空間レイアウトをセマンティック・コンテンツから切り離すことで、制御可能な画像編集を可能にすることを示す形式的な証明を行った。
最先端の性能： 広範な実験により、Dualinがプロンプトの解釈性と画像の再構成忠実度の両面において、既存の手法を凌駕することを示した。

実験結果

著者らは、複数のT2Iモデル（Stable Diffusion V1.5, SDXL, PixArt- $\alpha$ ）を用い、多様なデータセット（MS COCO, LAION, DiffusionDB）でDualinを評価した。

定量的メトリクス： Dualinはすべての指標において最先端（SOTA）の結果を達成した。
- プロンプト整合性 (CLIP-T)： DualinはMS COCOにおいて0.351を記録し、最良のベースラインであるVGDの0.282を大幅に上回った。
- 画像忠実度 (CLIP-I)： DualinはMS COCO (SD-V1.5) において0.906を達成し、VGDの0.804と比較して高いスコアを示した。
- 構造保存性： Dualinは、SSIM（0.627 vs. VGDの0el212）および知覚的類似度（LPIPS）において劇的な改善を示した。
LLMによる評価： 専門家評価器としてGPT-4oおよびGemini 3.0を使用し、Dualinはプロンプトの整合性（ $S_p$ ）と画像の整合性（ $S_i$ ）の両方で最高スコアを獲得し、ベースラインよりもセマンティックなニュアンスや視覚的詳細を捉える能力が高いことが確認された。
アブレーション研究： プロンプト・インバージョンまたはノイズ・インバージョンのいずれかのステージを削除すると、パフォーマンスが壊滅的に低下し、両方のコンポーネントの必要性が検証された。
効率性： ノイズ・インバージョン・ステージがあるため、一部の勾配フリー・ベースラインよりはわずかに遅いが、勾配ベースの最適化手法（PH2Pの35,293秒に対し18.73秒）よりも大幅に高速である。

意義と主張

本論文は、Dualinが精密かつ制御可能な画像編集のための強固な基盤を確立すると主張している。高レベルのセマンティクス（プロンプトが担当）と低レベルの構造情報（ノイズが担当）をうまく分離することで、Dualinは被写体の置換、背景の編集、スタイル転送といった操作を、大規模な再最適化なしに行うことを可能にする。著者らは、本手法がプロンプトの解釈性と再構成の忠実度の間のギャップを埋め、T2I拡散モデルの逆エンジニアリングに対する信頼できるソリューションを提供すると断言している。