⚡ electrical engineering

Amortized Guidance for Image Inpainting with Pretrained Diffusion Models

本論文は、固定された事前学習済み拡散モデルのバックボーン上で小型で再利用可能なガイダンスモジュールを学習させることで、インスタンスごとの最適化なしに効率的かつ高品質な画像インペインティングを実現する「Amortized Inpainting with Diffusion（AID）」を導入するものであり、決定論的ガイダンスと学習可能なランダム化目的を橋渡しするために、新規のガウス定式化とアクター・クリティックアルゴリズムを活用している。

原著者： Yilie Huang, Xun Yu Zhou

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yilie Huang, Xun Yu Zhou

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Amortized Guidance for Image Inpainting with Pretrained Diffusion Models（AID）」の、平易な言葉と創造的な比喩を用いた解説です。

問題：「修復」のジレンマ

あなたが、ゼロから美しい風景画を描くことに長けた巨匠画家（事前学習済み拡散モデル）を持っていると想像してください。さて、誰かが大きな破損部分がある風景写真（マスク付き画像）をあなたに手渡しました。あなたの目標は、その欠けた部分を、残りの絵と完璧に調和するように埋め戻すことです。

現在、これを行う主な方法は 2 つあり、どちらも大きな欠点があります。

「カスタム見習い」アプローチ：破れた写真の修復だけを学ぶ、新しい専門的な見習いを雇います。
- 欠点：この見習いを訓練するには、時間とリソースが大量に必要です。さらに、後で異なる種類の破損を修復したい場合、別の見習いを雇う必要があるかもしれません。
「その場対応」アプローチ：巨匠画家にその場で写真の修復を依頼します。しかし、画家は「破損修復」のために特別に訓練されたわけではないため、一度立ち止まり、非常に深く考え、写真 1 枚ごとに複雑なステップバイステップの計算を実行して、穴をどう埋めるか見つけ出さなければなりません。
- 欠点：遅いです。1,000 枚の写真があれば、画家は重い思考を 1,000 回も個別に行わなければなりません。

解決策：AID（「賢いガイド」）

著者たちは、AID（Amortized Inpainting with Diffusion） という中間的なアプローチを提案しています。

AID を、巨匠画家の隣に立つ**「賢いガイド」**を雇うことだと考えてください。

巨匠画家は全く変わりません。彼らを再訓練したり、脳みそを変更したりしません。彼らは最も得意とすることをし続けます。
賢いガイドは、小さく軽量な助手です。このガイドは、破れた写真の例を数千枚使ってオフライン（事前に） 訓練されます。
仕組み：新しい破れた写真が届くと、巨匠画家が描き始めます。賢いガイドは画家にささやいて指示を出します。「ねえ、写真の見える部分を見て、新しい塗料が既存の木々のスタイルと合うようにして」と。

一度ガイドが訓練されれば、どんな破れた写真でも瞬時に修復を手伝うことができます。新しい写真ごとに立ち止まって考える必要はありません。ガイドがただ自分の仕事をこなすだけです。

秘密の武器：「ランダム化リハーサル」

この論文で最も難しい部分は、ガイドをどのように訓練したかという数学的な背景です。

通常、ガイドに完璧な指示を与える方法を教えるには、写真 1 枚ごとに、巨大で不可能な数学パズルを解かなければなりません。著者たちは、「完璧な」パズルを直接解こうとするのは難しすぎると気づきました。

そこで、彼らは巧妙なトリックを発明しました。

比喩：ガイドに特定の道路を完璧に運転することを教えたいと想像してください。1 秒ごとの正確なハンドル角度を計算しようとする（これは難しい）代わりに、ガイドにハンドルがランダムに揺れるようにする目隠しをさせて、その道路の運転を練習させます。
魔法：著者たちは数学的に証明しました。この「揺れてランダムな」運転に対応するようにガイドを訓練すれば、それらすべての揺れた動きの平均が、最初から目指していた完璧で滑らかな道筋を正確に指し示すということです。
結果：彼らは、この「ランダムな揺れ」方式を使ってガイドを訓練するために、Continuous-Time Actor-Critic（強化学習の一種）という手法を用いました。訓練が完了したら、単に「平均」（滑らかな道筋）を取り出し、それをガイドの指示として使用します。これにより、訓練が可能になり、最終結果は完璧になります。

彼らが発見したもの（結果）

著者たちは、有名な画像データセット（AFHQv2、FFHQ、ImageNet）でこれをテストしました。以下が起きたことです。

速度対品質：AID は、新しい写真ごとに重い計算を行わなかったため、「その場対応」方式（RePaint など）よりもはるかに高速でした。実際、既存の最良の方法よりも約10 倍高速でありながら、より高品質な画像を生成しました。
微小な footprint：「賢いガイド」（訓練可能な部分）は信じられないほど小さいです。元の巨匠画家のサイズに1% 未満しか追加しません。図書館の本を書き換えるのではなく、付箋を貼るようなものです。
汎用性：ある種類の破損で訓練された同じガイドが、再訓練なしで異なる種類の破損（中央の穴、帯状の穴など）に対しても完璧に機能しました。

まとめ

この論文は、強力な AI モデルを使って損傷した画像を修復する際、その速度を落とすことなく行う方法を導入しています。彼らは、メインの AI に指示をささやく、小さく再利用可能な「ガイド」を訓練することでこれを実現しています。彼らは数学的に、このガイドを「ランダム化リハーサル」という技法を使って訓練でき、最終的な指示が完璧になることを証明しました。その結果、以前の方法よりも高速で、安価で、高品質な修復を行うシステムが生まれました。

技術的サマリー：事前学習済み拡散モデルを用いた画像修復のための償却ガイダンス（AID）

問題定義

画像修復は、可視ピクセルとの整合性を保ちながら、画像の欠損領域を再構築することを目的とした条件付き生成タスクである。事前学習済み拡散モデルはこの能力を大幅に向上させたが、既存のアプローチは効率性と適応性の間で二極化している。

タスク固有の学習: LaMa、MAT、BrushNet などの手法は、専用モデルまたは大規模な適応モジュールを学習する。これにより推論コストを償却できるが、膨大な学習時間を要し、モデルの複雑性が著しく増加する。
インスタンスごとの最適化: RePaint、DPS、MCG などの手法は、事前学習済み拡散バックボーンを固定したまま、テスト時に各マスク画像に対して個別に適応させる。これにより事前学習モデルを維持できるが、展開時に反復的な最適化コストが発生し、すべての画像を新たな推論問題として扱うことになる。

大規模なタスク固有モデルを学習することなく、かつテスト時にインスタンスごとの最適化を行わずに推論を償却する「中間的な」解決策の必要性が存在する。

手法：拡散による償却修復（AID）

著者は、事前学習済み拡散バックボーンを固定したまま、小さく再利用可能なガイダンスモジュールをオフラインで学習するフレームワークAIDを提案する。このモジュールは、テスト時にさらなる最適化を行うことなく、すべてのマスク画像に対して再利用される。

1. 制御定式化

本問題は決定論的制御問題として定式化される。

ダイナミクス: 逆拡散プロセスは、固定された事前学習済みスコア関数 $\hat{S}$ によって駆動される確率流 ODE によって支配される。
ガイダンス: 観測可能なマスクと可視ピクセルを表す $\xi = (M, y)$ に依存するタスク固有の制御項 $u(t, x; \xi)$ がドリフトに追加される。この制御は、隠れたクリーン画像 $x^\dagger$ に依存しない。
目的: 可視ピクセルと欠損領域への忠実度を両立させる終端損失 $\Psi$ と、ガイダンス場の大きさを罰する走行コストの合計を最小化することを目的とする。これにより、最適制御 $u^*$ が決定論的となるハミルトン・ヤコビ・ベルマン（HJB）方程式が導かれる。

2. 理論的架け橋：決定論的から確率的へ

高次元の決定論的 HJB 方程式を直接解くことは不可能である。著者は、連続時間強化学習（CT-RL）を通じて学習可能にするために、ガウス方策を用いた補助的なランダム化制御問題を導入する。

補助問題: 決定論的制御の代わりに、システムは平均 $\mu$ が候補ガイダンス法則となるガウス方策 $\pi^{(\lambda)} \sim \mathcal{N}(\mu, \sigma^2)$ を使用する。
最適化器保存の架け橋: 本論文は以下の 2 つの重要な定理を証明する。
1. 十分性: 最適決定論的ガイダンス $u^*$ は、方策の平均を $u^*$ に設定することで、最適ガウス方策へ持ち上げることができる。
2. 必要性: 補助問題に対する任意の最適ガウス方策は、その平均が最適決定論的ガイダンス $u^*$ を正確に復元しなければならない。
意義: この架け橋により、勾配ベースの更新を可能にする確率的方策を学習することが、展開時に使用される目標となる決定論的ガイダンスを変更しないことが保証される。ガウス方策の分散は固定されており、学習装置としてのみ機能し、エントロピー正則化項としては機能しない。

3. 償却アクター・クリティックアルゴリズム

理論的架け橋に基づき、著者は完全データ駆動型のアクター・クリティックアルゴリズムを開発する。

パラメータ化: アクター（ガイダンス平均 $\hat{\mu}_\phi$ ）とクリティック（価値関数 $\hat{V}_\theta$ ）はニューラルネットワークによってパラメータ化される。
学習: アルゴリズムは、補助 HJB 方程式から導出されたマルチンゲール直交条件を使用する。タスク分布からのサンプリング軌跡に基づき、確率的近似を用いてアクターとクリティックを更新する。
展開: 学習が完了すると、ガイダンスモジュールは決定論的に展開される。新しいマスク画像に対して、システムは逆時間ソルバー内で学習された平均ガイダンス $\hat{\mu}_\phi$ を使用し、方策ノイズを破棄する。

主要な貢献

手法: AID は、軽量なガイダンスモジュールをオフラインで学習し、インスタンスごとの最適化なしにタスク間で再利用することで推論を償却する、制御ガイダンスフレームワークを導入する。
理論: 本論文は、決定論的ガイダンス問題と補助的なガウス定式化との間に厳密な「方策等価性の架け橋」を確立する。補助問題が最適化器を保存することを証明し、決定論的制御場を学習するために確率的アクター・クリティック手法を使用する正当性を示す。
効率性: このアプローチは、事前学習済みバックボーンに対して 1% 未満の学習可能パラメータしか追加しない一方で、品質と速度のトレードオフを大幅に改善する。

実証結果

著者は、AID をAFHQv2、FFHQ（ピクセル空間 EDM パイプライン使用）、およびImageNet（潜在空間 EDM2 パイプライン使用）で評価した。

固定バックボーンベースラインとの比較: AID は、複数の指標（PSNR、SSIM、LPIPS）およびマスクタイプ（自由形状、中央、ストリップ）において、強力な固定バックボーンベースライン（UnGuided、Replacement、MCG、DPS）を一貫して上回る。
RePaint との比較: AID は、RePaint（強力な反復最適化ベースライン）を品質において凌駕しつつ、サンプリング予算を約 10% のみ使用している（例：RePaint の 350 ステップに対し、35 ステップ）。
LatentPaint との比較: ImageNet において、AID はすべての指標で LatentPaint（再利用可能な潜在空間適応法）を上回り、かつ 45% 未満の学習可能パラメータを持つガイダンスモジュールを使用している。
レイテンシ: AID は、非 RePaint ベースラインより優れた性能を維持しつつ、RePaint と競争力のある性能を維持する低レイテンシ動作点（12 ステップ）をサポートし、推論時間をさらに短縮する。
汎化性: 同じ学習済みガイダンスモジュールは、再学習なしに、見えないマスクタイプや異なるサンプリング予算へ効果的に転移する。

意義と主張

本論文は、AID が以下の点において画像修復のための最初の償却制御ガイダンスフレームワークであると主張する。

事前学習済み拡散バックボーンを凍結したままにする。
小さく再利用可能なガイダンスモジュールのみを学習する。
展開時に使用される決定論的ガイダンス場への、確率的アクター・クリティック学習からの正確な最適化器保存の架け橋を提供する。

著者は、この研究を、制御および RL ベースのフレームワークを用いて、拡散モデルの研究と改善のための理論的根拠のある手法を提供する一歩として位置づけている。彼らは、連続時間 RL が厳密な分析と実用的なアルゴリズム設計の両方の基盤をなしており、ヒューリスティックなインスタンスごとの最適化や重厚なタスク固有の再学習に対する原理的な代替手段を提供していると強調している。