技術的概要：線形制約下での条件付き拡散

問題定義

本論文は、事前学習済み拡散モデルを用いた線形逆問題（画像修復、超解像など）におけるゼロショット条件付きサンプリングの問題を取り扱う。これらのシナリオでは、観測値 $y$ が線形演算子 $A$ を通じてクリーンな信号 $Z$ と関連付けられ、$y = AZ$となる。目的は、条件付き分布$\text{Law}(Z \mid AZ = y)$ からサンプリングすることである。

既存の射影ベースの手法（DDRM、DDNM など）は、逆拡散プロセス中に信号の「法線」成分（$A$ によって決定される部分）を解析的に補正することで、測定の一貫性を強制する。しかし、著者らは、測定の一貫性だけでは不十分であると主張する。法線成分は観測値によって固定されるが、「接線」成分（$A$ の核空間にある部分）は未決定のまま残る。標準的な射影ベースの手法は、接線ダイナミクスを完全に事前学習された無条件スコアに委ねる。これにより、接線空間バイアスが生じ、確率質量が実行可能なアフィン集合に沿って誤って分布し、特定の観測値とは無関係な無条件事前分布の支配的なモードから累積されるエラーが発生する。

手法

著者らは、ガウスノイズ下における条件付きスコア関数の法線 - 接線分解に基づいた、2 段階のサンプリングフレームワークを提案する。

1. 法線 - 接線分解

分散発散（VE）拡散プロセス $X_t = Z + W_t$ において、条件付きスコア $s^*_t(x)$ は、$A$ の行空間に対する法線 ($P_\perp$) 成分と接線 ($P_\parallel$) 成分に分解できる：

• 法線成分: 法線スコア $P_\perp s^*_t(x)$ は、Tweedie の公式と観測値 $b = P_\perp Z$ を通じて閉形式で利用可能である。これは $\frac{1}{t}P_\perp(b - x)$ で与えられる。
• 接線成分: 接線スコア $P_\parallel s^*_t(x)$ は未知である。射影ベースの手法は、これを無条件接線スコア $P_\parallel s_t(x)$ で近似する。

著者らは、標準的なゼロショットサンプリングにおける誤差が、未知の条件付き接線スコアを無条件のものに置き換えることに起因すると特定する。この近似は、無条件スコアがすべてのデータモードからの情報を集約し、サンプルを無関係なクラスターへと引き寄せる可能性がある、高ノイズレベルにおいて最も問題となる。

2. 提案サンプラー：射影ランジュバン初期化 + 誘導付きノイズ除去

このバイアスを軽減するため、著者らは 3 段階のアルゴリズム（アルゴリズム 1）を提案する：

1. 中間ノイズレベル ($t^*$) での初期化: 逆プロセスを最高ノイズレベル ($T$) から開始するのではなく、サンプラーは中間の「安全な」ノイズレベル $t^*$ から開始する。このレベルでは、法線成分が条件付き法則 $\text{Law}(P_\perp X_{t^*} \mid P_\perp Z = b)$ から正確にサンプリングされる。
2. 射影減衰ランジュバン混合: 逆ノイズ除去を開始する前に、サンプラーは、ノイズの加わった法線成分によって定義されたアフィン集合に制限された射影減衰ランジュバンダイナミクス（BAOAB 積分器を使用）の短いフェーズを実行する。このステップでは、射影された無条件スコア $P_\parallel s_{t^*}$ を用いて接線成分を混合する。目的は、実行可能な多様体に沿ってよく混合され、かつ制約と整合性のある初期化状態を生成し、接線スコア不一致エラーの蓄積を軽減することである。
3. 誘導付き逆ノイズ除去: $t^*$ における初期化状態から、サンプラーは $t=0$ まで誘導付き逆ノイズ除去を実行する。ダイナミクスは、制約を強制するための正確な法線ドリフトと、接線方向を誘導するための事前学習された無条件接線スコアを使用する。

主要な貢献

本論文は、4 つの主要な貢献を行う：

1. 理論的分解: アフィン条件付き拡散に対する厳密な法線 - 接線分解を導出し、法線スコアが測定によって正確に決定され、ゼロショット設定における近似誤差の唯一の源として接線スコアを分離することを示す。
2. アルゴリズム的提案: 正確な法線補正と射影ランジュバン初期化フェーズを組み合わせたサンプラーを導入する。このフェーズは、誘導付きノイズ除去に先立ち、中間ノイズレベルで接線方向を明示的に混合し、単純な射影手法で見られるバイアスの蓄積に対処する。
3. 情報理論的誤差 bound: 著者らは、理想的な条件付きパスと代理パスとの間のカルバック・ライブラー（KL）発散が、条件付き相互情報 $I(Z_\parallel; Z_\perp \mid X_{t^*})$ によって上から抑えられることを示すパスごとの誤差 bound（定理 4）を証明する。これは情報理論的な基準を提供する：選択されたノイズレベルにおいて、接線成分と法線成分の間の残存統計的依存性が小さい場合、手法は高精度となる。
4. 終端保証: 潜在ガウス混合モデルの仮定の下で、論文は誤差を初期化項とパスごとの項に分離する終端 KL bound（定理 9）を提供する。さらに、潜在コードブックの分離条件（定理 11）の下で、著者らは両方の誤差項が分離対ノイズ比に対して指数関数的に減衰することを示し、手法が極めて高精度となる領域を確立する。

実験結果

提案手法 LCDM-BAOAB は、CelebA-HQ、LSUN Church、ImageNet データセットにおける標準的な線形画像逆問題（画像修復と 8 倍超解像）で評価された。

• ベースライン: 手法は、強力なゼロショット射影ベースのベースラインである DDNM と比較された。
• 指標: 性能は、一致させた計算予算（100 回のネットワーク関数評価）の下で、Frechet Inception Distance (FID) と Learned Perceptual Image Patch Similarity (LPIPS) を用いて測定された。
• 知見:
  • LCDM-BAOAB は、すべてのデータセットとタスクにおいて DDNM を一貫して上回った。
  • 改善は、ImageNet および8 倍超解像において最も顕著であった。これらは、同じ低解像度観測値と整合する多数の高解像度画像が存在する、高い接線空間の曖昧さによって特徴付けられる設定である。
  • 視覚的結果は、LCDM-BAOAB が DDNM に比べて、特に高曖昧さのシナリオにおいて、よりクリーンで一貫性のある再構成を生成し、テクスチャアーティファクトが少ないことを示した。

意義と主張

本論文は、拡散事前分布を用いた高度に不適切な線形逆問題を解決する際、法線方向における測定の一貫性を強制することだけでは不十分であると主張する。中心的な障害は、無条件スコアが実行可能な集合に沿って確率質量を正しく分布させることに失敗する接線空間の曖昧さである。

この研究の意義は以下の点にある：

• バイアスの源泉の特定: 既存のゼロショット手法におけるバイアスを引き起こす特定のメカニズムとして、接線スコア近似を特定する。
• 次元フリーの保証: 理論的 bound は次元に依存せず、代わりに条件付き相互情報と、接線条件が法線コードに対して持つ感度に依存する。
• 微調整なしの実用的有効性: 手法は、タスク固有の微調整や追加モデルの学習を必要とせず、推論時の条件付けとランジュバン混合を活用することで、最先端のゼロショット性能を達成する。
• 接線混合の理論的正当化: 中間ノイズレベルでの接線方向の混合がサンプリング品質を向上させる理由を理論的に正当化し、この向上を観測成分と未観測成分の間の残存統計的依存性の減少と関連付ける。