💻 computer science

Learn Once, Edit Anywhere: Visual Direction Transfer for Diffusion Models

本論文は、モデルのファインチューニングや画像ごとの最適化を必要とせずに、拡散モデルにおける精密なゼロショットの視覚的属性転送を可能にするため、画像ペアから単一のグローバルな編集方向を学習するフレームワークであるViDiTを導入する。

原著者： Yusuf Dalva, Hidir Yesiltepe, Pinar Yanardag

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

原著者： Yusuf Dalva, Hidir Yesiltepe, Pinar Yanardag

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「言語のボトルネック」

想像してみてください。あなたには、頼んだことは何でも描いてくれる魔法のアーティスト（拡散モデル）がいます。しかし、一つだけ制約があります。あなたは単純な言葉を使ってしか、そのアーティストと話すことができません。

もしあなたが「髭を追加して」と言ったとします。アーティストは髭を追加してくれるかもしれませんが、同時にその人の年齢や肌の色、あるいは顎の形まで、うっかり変えてしまうかもしれません。なぜでしょうか？それは、人間の言葉では、非常に細かく精密な視覚的ディテールを説明するには、あまりにも不器用で大雑把だからです。「髭だけを追加し、顔の他の部分は全く同じに保ち、生え際には一切触れないでください」という文章を、簡単に書くことはできないのです。

これが「記述のボトルネック」です。私たちは、欲しいもののイメージ（「ビフォー」と「アフター」の画像）を持っていますが、それをアーティストが理解できるほど上手く言葉に翻訳することができません。

解決策：ViDiT（Visual Direction Transfer）

著者たちは、ViDiT（Visual Direction Transfer for Diffusion）と呼ばれるツールを作り出しました。アーティストに複雑な言葉を理解させようとする代わりに、ViDiTはアーティストに**「秘密の手のジェスチャー」**を教えます。

その仕組みは、以下のステップで行われます。

1. 「一度学べばOK」のレッスン

例えば、アーティストに「髭を追加する方法」を教えたいとします。プロンプトを書く代わりに、1,000組の「ビフォー」と「アフター」の写真の束（例：髭のない顔と、同じ顔に髭が生えた状態のペア）を見せます。

ViDiTはこれらのペアを観察し、それらの間の正確な数学的な差分を計算します。単に髭を見るのではありません。他の部分を台無しにすることなく、「髭のない顔」から「髭のある顔」へと変化させる、アーティストの脳内における特定の「方向（ディレクション）」を学習するのです。

比喩： アーティストの脳を巨大な3Dマップだと考えてみてください。ViDiTはそのマップ上にある特定の「矢印」を見つけ出します。その矢印の方向に進めば、髭が生えます。逆方向に進めば、髭が消えます。この矢印は非常に精密なので、それに沿って進んでも、誤って別人に変わってしまうようなことはありません。

2. 「どこでも使える」魔法

一度この「矢印（または方向）」を学習してしまえば、作業は完了です。もう何も再学習する必要はありません。

これで、世界中のどんな写真であっても（実在の人物、カートゥーン、猫の絵、あるいはスケッチなど）、その同じ矢印を適用できるようになります。

比喩： それは、ユニバーサルリモコンを持っているようなものです。一度リモコンを「チャンネルを『髭』に変える」ように設定すれば、あとはどんなテレビ（どんな画像）に対しても、そのリモコンを向けるだけで、瞬時にチャンネルを変えることができます。テレビごとに新しいリモコンを買う必要はありません。

3. ミスを防ぐ仕組み（2つの損失関数システム）

論文では、編集を完璧にするために、ViDiTが2人の異なる「先生」を使っていることが説明されています。

先生A（全体像を見る先生）： この先生は全体的なコンセプトを見ます。「これは髭に見えるか？」を確認します。これにより、編集が概念として成立していることを保証します。
先生B（細部を検査する先生）： この先生は、ピクセル単位の細かな部分を見ます。「鼻の形を変えてしまったか？メガネをぼかしてしまったか？」を確認します。この先生は、本人のアイデンティティが正確に維持され、髭だけが変わっていることを保証します。

両方の先生の指示を聞くことで、ViDiTは正確（間違いなく髭であること）であり、かつクリーン（年齢や背景を誤って変えていないこと）な編集を生み出します。

他の手法との違い

従来の方法（テキストプロンプト）： 「髭を追加」と入力します。アーティストは推測します。多くの場合、アーティストは画像全体の雰囲気まで変えてしまいます。
従来の方法（ファインチューニング）： 新しいアイデアが出るたびに、アーティストの脳全体を再学習させて新しいスキルを教えます（例：「髭」を教え、次に「メガネ」、「帽子」と、その都度やり直す）。これは時間がかかり、コストも高いです。
ViDiTの方法： 数例の例を見せるだけで済みます。アーティストは単一の「矢印」を学習します。そして、アーティストの脳を再学習させることなく、どんな画像に対しても即座にその矢印を適用できます。

この論文が実際に示していること

論文は、ViDiTが以下のことができることを証明しています。

実写写真における顔の特徴（髭、性別、年齢、髪の色）の変更。
動物の特徴の変更（例：猫にライオンのたてがみを加える）。
芸術的なスタイルの変更（写真を「ピクサー風」や「浮世絵風」に変えるなど）。
編集の組み合わせ（「髭を加える」と「笑顔にする」を同時に行う。その際、編集同士が干渉し合うことはありません）。

まとめ

ViDTは、「伝えたいことを言葉で正確に表現できない」という問題を、「画像から直接学習する」ことで解決します。数例の例から精密な「動き」を学習し、元の画像のアイデンティティを守りながら、変えたい部分だけを瞬時にあらゆる画像へ適用させることができます。

注意点（限界について）： 論文では、もし見せる「ビフォー／アフター」の例が乱れている場合（例：髭の例の中に、誤って肌の色も変わっているものがある場合）、ViDTはその乱れも学習してしまうと認めています。ViDTの精度は、与えられた例の質に依存します。また、使用する元のAIモデルに存在するバイアスも引き継ぐことになります。

技術要約: ViDiT (Visual Direction Transfer for Diffusion)

問題提起

高精度な画像を生成するデノイジング拡散モデル（DDM）および潜在拡散モデル（LDM）の急速な進歩にもかかわらず、特定の属性に対して精密かつ解きほぐされた（disentangled）制御を実現することは依然として大きな課題である。現在のワークフローは、編集をガイドするために人間が作成したテキストプロンプトに大きく依存している。しかし、自然言語には「記述のボトルネック」が存在する。自然言語は、画像ペアの間では容易に確認できるものの、言葉で表現するのが難しい微妙な視覚的差異や「デルタ（差分）」（例：微妙な質感の変化、精密な顔の構造の変化、あるいは特定の芸術的スタイル）を捉えるには、あまりに粗すぎる。

さらに、線形な意味的操作が可能な整った潜在空間を持つGANとは異なり、拡散モデルは複雑で再帰的なノイズ推定プロセスを持つため、解きほぐされた潜在方向を見つけ出すことが困難である。既存の手法は、大規模なファインチューニング、画像ごとの最適化、あるいは大規模な学習データを必要とすることが多く、多様なドメインへのスケーラビリティと適用性を制限している。

手法: ViDiT

著者らは、テキストによる記述を介さずに、画像編集ペアから連続的な編集方向を直接学習することで、学習済み拡散モデルの編集語彙を拡張するように設計されたフレームワークであるViDiT (Visual Direction Transfer for Diffusion) を提案する。

コア原理: 「一度学習すれば、どこでも編集可能 (Learn Once, Edit Anywhere)」

ViDiTは、少数の「前後」の画像ペアから、単一の、グローバルかつ連続的な編集方向（ $d$ ）を学習するという原理に基づいている。一度最適化されれば、この方向はベースとなるモデルのファインチューニングや画像ごとの最適化を行うことなく、あらゆる画像（実写、芸術的、あるいは合成画像）に対してゼロショットで適用できる。

技術的フレームワーク

本手法は、デュアル目的損失関数を用いて、拡散モデルの条件付け空間（通常はテキスト埋め込み空間）内の方向 $d$ を最適化する。デノイジングネットワーク（ $\epsilon_\theta$ ）と視覚言語エンコーダ（ $E_I$ ）は学習中、固定されたまま維持される。更新されるのは $d$ のみである。

意味的整合性損失 ( $\mathcal{L}_{sem}$ ):
この損失は、凍結された視覚言語エンコーダ（例：CLIP）を利用して、方向 $d$ が特徴空間において編集後の画像（ $x'$ ）とは幾何学的に整列し、元の画像（ $x$ ）とは整列しないように制御する。これはグローバルな意味的アンカーとして機能する：
$\mathcal{L}_{sem} = 1 - \text{cossim}(E_I(x'), \mathbf{d}) + \text{cossim}(E_I(x), \mathbf{d})$
これは高レベルの概念には効果的であるが、空間的な解像度が欠けているため、編集が絡み合う（例：髭を編集する際に肌の色を変えてしまう）可能性がある。
潜在的整合性損失 ( $\mathcal{L}_{latent}$ ):
微細な構造の詳細を捉え、ピクセルレベルの対応関係を強制するために、ViDiTは拡散モデル固有の予測空間を活用する。これは、ランダムなタイムステップにおける、ノイズが付加された編集後の画像（ $x'_t$ ）とノイズが付加された元の画像（ $x_t$ ）の間のノイズ予測の差を最大化する：
$\mathcal{L}_{latent} = -\mathbb{E}_{x_0, \epsilon, t} [ ||\epsilon_\theta(x_t', \mathbf{d}) - \epsilon_\theta(x_t, \mathbf{d})||_2^2 ]$
この項は、方向をモデルの緻密で空間的に整列した特徴空間に接地させ、毛穴、鏡面反射、皮膚の質感といった高周波のアイデンティティ・キューを保持させる。

推論と適用

方向の注入 (Direction Injection):
推論時、学習された方向 $d$ は、Classifier-Free Guidance (CFG) 定式化における標準的なテキスト条件付け残差を置き換える。ノイズ予測は以下のように誘導される：
$\bar{\epsilon}_\theta(x_t, c, \mathbf{d}) = \tilde{\epsilon}_\theta(x_t, c) + \lambda_e (\epsilon_\theta(x_t, \mathbf{d}) - \epsilon_\theta(x_t, \phi))$
ここで、 $\lambda_e$ は編集の強度を制御する。
実画像編集:
実世界の写真の場合、入力画像はまずDDPM Inversionを用いてモデルの潜在軌道へと反転される。その後、逆デノイジングプロセス中に方向 $d$ が注入される。
構成可能性 (Composability):
独立して学習された複数の方向は、推論時に加算的に組み合わせることができ、再学習なしで複雑なマルチ属性の編集が可能であり、同時に解きほつれ（disentanglement）を維持できる。

主な貢献

ユニバーサルなフレームワーク: 学習済み拡散モデルのベースモデルをファインチューニングすることなく、視覚的な例から連続的な編集方向を学習する手法。
ソース非依存性: 無条件生成空間（StyleGAN2）、ドメイン適応モデル（StyleGAN-NADA）、および拡散ベースのエディタ（Prompt2Prompt）を含む、多様なソースからの方向転送における汎用性を実証した。
「どこでも編集可能」な能力: 高い粒度での強度の制御を伴うゼロショット形式で、あらゆる画像（顔、動物、芸術的スタイル、実写写真）に対して、微細で解きほつれた編集を適用できる。
優れた解きほつれ性能: テキスト駆動型および指示追従型の最新手法と比較して、より優れたアイデンティティ保持と属性分離を実現した。
オープンソース: さらなる研究を促進するため、著者らはソースコードを公開している。

結果と評価

著者らは、ヒトの顔、猫、犬を用いて、ViDTをテキスト駆動型のベースライン（SEGA, InstructPix2Pix, Prompt2Prompt, Concept Sliders）および視覚的条件付け手法と比較して評価した。

定量的パフォーマンス: ViDTは、アイデンティティ保持指標（LPIPS, DINO, DreamSim）においてテキスト駆動型のベースラインを大幅に上回る一方で、意味的整合性（CLIP-T, SigLIP-T）においては競争力のある性能を維持している。例えば、「アジア人」および「笑顔」の編集タスクにおいて、ViDTはDINOスコア0.929を達成し、これはPrompt2Promptの0.867やInstructPix2Pixの0.851を上回る。
定性的分析: 視覚的な結果は、ViDTが背景、アイデンティティ、および芸術的スタイルを競合手法よりも忠実に保持することを示しており、競合手法はしばしばアイデンティティのドリフトや意図しない構造的変化を引き起こす。
アブレーション研究:
- 損失項: $\mathcal{L}_{latent}$ を除去すると、編集が絡み合う（例：髪を編集する際に肌の色が変わる）結果となり、デュアル損失アプローチの必要性が確認された。
- サンプルサイズ: わずか10ペアのペアからでも意味のある方向を学習できるが、1000ペアを用いた場合に最高のアイデンティティ保持が得られた。
- 反転手法: 実画像の高周波詳細を保持するには、DDIM InversionよりもDDPM Inversionが優れていることが判明した。
ユーザー調査: 40人の参加者を対象とした調査において、ViDTは解きほつれと意味的忠実度において最も高い平均推奨スコア（3.36/5）を獲得し、Concept Sliders（3.25）やPrompt2Prompt（2.74）を上回った。

意義と主張

本論文は、ViDTが自然言語の記述的限界と、精密な編集に必要な複雑な視覚的意味論との間の溝を埋めるものであると主張している。問題を「テキストプロンプトエンジニアリング」ではなく「視覚的デルタ転送」として捉えることで、ViDTは言語のボトルネックを克服し、ユーザーが視覚的な例を通じて定義した編集を、拡散モデルのネイティブな潜在空間へと翻訳することを可能にする。

著者らは、自身のアプローチが、個別のコンセプトに対するLoRAの学習や専用のアダプターモジュールのオーバーヘッドを回避する、軽量でスケーラブルなソリューションを提供することを強調している。本フレームワークは、その監督ソース（StyleGAN, CLIP, Stable Diffusionなど）に由来するバイアスを継承するが、新たなバイアスを導入するものではない。本研究は、複雑な視覚的意味論を、広範な再学習なしに任意の生成ソースから拡散モデルに組み込むための一般的なパラダイムを確立し、以前は不可能であった「一度学習すれば、どこでも編集可能」な能力を実現している。