🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

本論文は、真の拡散事後分布の非ガウスマルコフ近似を最適化することで、大規模なマスク領域や潜在拡散モデルの処理における既存手法の限界を効果的に克服し、高品質かつ多様な画像インペインティングおよびその他の逆問題を可能にする階層的変分推論アルゴリズム「VIPaint」を提案する。

原著者： Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

公開日 2026-05-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが美しい高解像度の写真を持っていると想像してください。しかし、誰かがその写真の大きな部分を、巨大で乱雑なマーカーで塗りつぶしてしまいました。あなたはそれを修復したいのですが、塗りつぶされた下には何があったのか分かりません。猫だったのでしょうか？車でしょうか？それとも山でしょうか？

これが**画像修復（インペインティング）**の問題です。長らく、コンピュータはこれらの大きな欠損部分を、ぼやけたり、奇妙に見えたり、完全に間違ったりすることなく埋めることに苦労してきました。

ここで登場するのが、この論文で説明されている新しい手法VIPaintです。VIPaint を単に推測する画家ではなく、欠落したピクセルの謎を解くために膨大な「もしも」のライブラリを活用する超スマートな探偵だと考えてください。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 「魔法の図書館」（事前学習済み拡散モデル）

まず、何百万枚もの写真を何年も研究してきたコンピュータを想像してください。それは、世界の見た目の「ルール」を学習しています。例えば、猫の耳が頭とどうつながるか、空に浮かぶ雲の見た目、あるいは車の車輪が車体にどう収まるかといったことです。論文では、これを拡散モデルと呼びます。

このモデルを、存在しうるあらゆる画像の**「魔法の図書館」**だと考えてください。「猫を描いて」と頼めば、それはこれまですべて見てきたからこそ、猫がどのように見えるかを正確に知っています。

2. 旧来の手法の問題点（「推測ゲーム」）

従来の手法は、塗りつぶされた写真を修復するために、まず推測を行い、その結果を見てから、写真の見える部分に戻すよう微調整を試みるものでした。

論文によれば、これは暗い部屋を、一歩踏み出し、よろめき、壁にぶつからないことを願って進むようなものです。もし欠落部分が巨大（例えば顔全体など）であれば、これらの古い手法はしばしば迷子になってしまいます。穴を猫の頭で埋めても、体は犬のように見えたり、色が部屋の残りの部分と合っていなかったりすることがあります。詳細を埋め込みながら「全体像」の一貫性を保つことに苦労するのです。

3. VIPaint の秘密兵器：「階層的マップ」

VIPaint は、変分推論と呼ばれる手法を用いることでゲームのルールを変えます。VIPaint は単に最終的な画像を推測するのではなく、魔法の図書館をナビゲートするための階層的マップ（段階的なガイド）を構築します。

ここでの比喩は以下の通りです：

旧来の手法は、「純粋なノイズ（静電ノイズ）」から直接「最終画像」へジャンプしようとします。そのため、つまずいて転び、混乱を招くことが多いのです。
VIPaint は、途中のいくつかの「チェックポイント」で立ち止まります。隠された谷（欠落した画像）を見つけるために山を下りるハイキングを想像してください。
- チェックポイント 1（高い場所）： 全体像を見ます。「よし、これは間違いなく都市ではなく森だ」と。
- チェックポイント 2（中腹）： 木々が見えます。「よし、これらはヤシの木ではなく松の木だ」と。
- チェックポイント 3（麓付近）： 特定の枝や葉が見えます。

VIPaint はこれらのチェックポイントを同時に最適化します。「全体像」（森）が「細部」（松の針葉）と一致し、かつ、塗りつぶされていない写真の部分ともすべて整合が取れていることを保証するのです。

4. なぜ優れているのか（「柔軟な粘土」）

論文は、VIPaint が特別である理由として、欠落した画像を硬い像ではなく**「柔軟な粘土」**のように扱う点を挙げています。

不確実性： 写真に大きな穴がある場合、正解は一つだけではありません。猫かもしれないし、犬やキツネかもしれません。VIPaint はこれを理解しています。コンピュータにすぐに一つの「正解」を選ばせるのではなく、画像の見える部分から十分な手がかりを集めて絞り込むまで、選択肢を開いたまま（「不確実性」を維持したまま）にします。
ゼロショット学習： これは大きな進歩です。VIPaint は、新しい種類の写真ごとに再学習する必要がありません。Stable Diffusion などで使われるような事前学習済みの「魔法の図書館」を受け取り、瞬時にあなたの特定の塗りつぶされた写真に適応します。まるで、料理学校に行く必要もなく、あなたが差し出した材料だけで完璧な料理を作れるマスターシェフのようです。

5. 結果：鮮明で、リアルで、多様

論文は、VIPaint をさまざまなシナリオでテストしました：

巨大な穴の埋め立て： 画像の 50〜80% が欠落していても、VIPaint は残りの画像と調和する現実的な詳細で埋め立てます。
ぼやけた写真の修復： ぼやけた画像を鮮明にする（デブラーリング）ことや、小さな写真を大きくする（超解像）ことも可能です。
テキストから画像へ： Stable Diffusion 3.5 のような最先端のテキストガイド画像生成器でも機能し、鮮明であるだけでなく、全体的に意味をなす画像を生成します。

まとめ：
VIPaint は、破損したり塗りつぶされたりした写真を修復する新しい方法です。盲目的に推測するのではなく、膨大な画像知識の図書館をナビゲートするための、賢く段階的な戦略を用います。「全体像」と「細部」を同時に確認することで、画像の大部分が欠落していても、最終結果が現実的で、鮮明で、一貫性のあるものになることを保証します。これらすべてを再学習なしで行うため、画像修復のための強力な「プラグ＆プレイ」ツールとなっています。

以下は、論文「VIPaint: Variational Inference を通じた事前学習済み拡散モデルによる画像インペインティング」の詳細な技術的要約です。

1. 問題定義

本論文は、事前学習済み拡散モデル（DMs）、特に Stable Diffusion のような潜在拡散モデル（LDMs）を用いた画像インペインティング（画像の欠損またはマスクされた領域を埋め込むこと）の課題に取り組んでいます。

核心的な難しさ: 拡散モデルはノイズから新規画像を生成する点で優れていますが、破損した画像や部分的に観測された画像（インペインティング）を条件として扱うことは容易ではありません。ここで $y$ が観測された（マスクされた）画像、 $x$ が完全な画像であるとき、真の条件付き事後分布 $p(x|y)$ からサンプリングすることが目標となります。
既存手法の限界:
- ヒューリスティック/反復法: RePaint、CoPaint、DPS（Diffusion Posterior Sampling）などのアプローチは、反復的な精緻化や「タイムトラベル」ヒューリスティックに依存することが多いです。これらは大きな領域がマスクされている場合、大域的な構造を捉えられず、不整合または非現実的な結果をもたらすことが頻繁にあります。
- 変分法（REDdiff）: 以前の変分推論の試み（例：REDdiff）は、しばしば単純なガウス近似を用いてノイズのないレベル（ $t=0$ ）で単一の画像を最適化します。これは不確実性を捉えきれず、最適化の不安定性（特に低ノイズ領域において）に陥りやすく、LDMs への汎化が困難です。
- 学習要件: 多くの最先端手法は、特定のデータセットやマスクに対して生成モデルを微調整することを必要とし、計算コストが高く、新しいタスクへの「ゼロショット」適用を妨げています。

2. 手法：VIPaint

著者らは、事前学習済み拡散モデルを事前分布として扱う階層変分推論（VI）アルゴリズムであるVIPaintを提案します。単一の画像を最適化するのではなく、VIPaint は複数のノイズレベルにおける潜在変数の分布を最適化します。

A. 階層変分事後分布

VIPaint は、真の拡散事後分布の非ガウス的マルコフ近似を定義します。これは、逆拡散軌道内の $K$ 個の「キーポイント」（中間タイムステップ） $\{h(1), \dots, h(K)\}$ （ここで $h(K)$ は高ノイズ、 $h(1)$ は低ノイズ）の集合を導入します。

変分分布は以下のように定義されます：
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$

構造:
- 高ノイズ（ $h(K)$ ）: 因数分解されたガウス分布としてモデル化されます。
- 中間/低ノイズ: 事前分布拡散予測（事前学習済みモデルから得られる）と、画像固有の学習済み変分パラメータの凸結合を平均とするガウス分布としてモデル化されます。
- 分散: 分散は学習可能であり次元固有であるため、モデルはマスクされた領域における不確実性を動的に増大させつつ、観測された領域における確実性を維持できます。

B. 目的関数

VIPaint は、観測 $y$ の周辺尤度に対する変分下限を最適化します。損失関数は以下の 3 つの項から構成されます：

再構成損失: 最低ノイズレベル（ $h(1)$ ）における生成サンプルが観測ピクセル $y$ と整合していることを保証します。これは 1 ステップのノイズ除去予測を用いて近似されます。
事前分布損失: 最高ノイズレベル（ $h(K)$ ）を正規化し、高ノイズ領域における拡散事前分布が符号化する大域的意味と整合させるものです。
階層損失: 階層内の隣接するキーポイント間の整合性を保証し、中レベルの画像詳細と構造を捉えます。

C. 最適化とサンプリング

最適化: 変分パラメータ $\lambda$ （平均、分散、混合重み）は、画像ごとに勾配降下法（Adam）を用いて最適化されます。重要なのは、アニーリングなしで行われる点です（損失にはランダムな時間サンプリングが使用されます）。これにより不偏な境界が得られ、 $T$ から $0$ へアニーリングする手法で見られる不安定性を回避します。
サンプリング: 最適化後、多様な再構成は以下の手順で生成されます：
1. 祖先サンプリング: 最適化された階層事後分布から $h(K)$ から $h(1)$ へサンプリングします。
2. 精緻化: 事前学習済みノイズ除去ネットワークを用いて、尤度勾配に導かれて（DPS と同様ですが、より良い初期化された事後分布から開始）、 $h(1)$ から $t=0$ へさらにサンプルを精緻化します。

3. 主要な貢献

階層的非ガウス近似: 事後分布を単一点（ $t=0$ ）で近似する以前の変分法とは異なり、VIPaint はノイズレベルの階層全体にわたって事後分布をモデル化します。これにより、大域的意味（高ノイズにおいて）と局所的詳細（低ノイズにおいて）を同時に捉えることが可能になります。
ゼロショット適応: VIPaint は事前学習済み拡散モデルの微調整を必要としません。各クエリに対して変分パラメータを最適化することで、新しいマスクや画像に適応するため、あらゆる事前学習済み DM（ピクセルベースまたは潜在）に適用可能です。
安定性と不確実性モデリング: 主要な最適化フェーズでノイズ除去ネットワークが非滑らかかつ不安定となる低ノイズ領域を回避し、分散を明示的にモデル化することで、VIPaint は欠損データの不確実性を反映した多様で妥当な推定値を生成します。
LDMs への汎化: この手法は明示的に潜在拡散モデルで動作するように設計されており、ピクセルベースのアプローチよりも低い計算コストで高解像度（例：1024x1024）のインペインティングを可能にします。

4. 実験結果

著者らは、VIPaint をImageNet64、ImageNet256、LSUN-Churches、およびテキスト条件付きのStable Diffusion 3.5で評価しました。

定量的性能:
- 大規模マスク: 画像の 40-80% がマスクされた大規模領域において、VIPaint はPSNR、SSIM、LPIPSの点でベースライン（DPS、RePaint、CoPaint、REDdiff）を大幅に上回ります。
- テキスト条件付きモデル: Stable Diffusion 3.5 において、VIPaint は優れた PSNR（DPS の 25.22 に対し 26.69）と LPIPS（0.061 に対し 0.050）を達成し、細部を保持しつつ大域的に整合した画像を生成します。
- その他の逆問題: この手法はデブラリングや超解像においても強力な性能を示し、PSLD や ReSample などの専門的なベースラインを上回ります。
定性的性能:
- 視覚的結果は、他の手法がぼやけたまたは不整合なアーティファクトを生成する場所で、VIPaint が大域的に整合した構造（一貫した物体の形状や照明など）を生成することを示しています。
- 同じマスク画像に対して多様で複数の妥当な完成形を成功裡に生成し、事後分布の多峰性をモデル化する能力を実証しています。
効率性:
- VIPaint は計算的に効率的です。 $K=2$ の場合、最適化に必要なノイズ除去ネットワークの呼び出し回数は約 150 回（サンプリングベースの手法では 1000 回以上）であり、多くのベースラインよりも高速でありながら、より高品質な結果を提供します。

5. 意義

VIPaint は、拡散モデルを用いた逆問題における重要な進展を表しています。ヒューリスティックなサンプリングや単一点の最適化から、原理的な階層変分推論フレームワークへの転換により、大規模マスクインペインティングにおける大域的な不整合という重要な課題を解決します。

Stable Diffusion 3.5 などの最先端基盤モデルを再学習なしでゼロショットで動作させる能力は、現実世界の画像編集、復元、完成タスクにおいて非常に実用的なツールとなります。これは、変分推論の理論的厳密さと現代の生成 AI の実用的能力の間の溝を埋めるものです。