技術的概要：逆問題における基盤フローマッチング事前分布の保存

1. 問題定義

逆問題（IPs）は、測定値 $y \approx A(x)$ から未知の物体 $x$ を復元することを目的としており、ここで前方モデル $A(\cdot)$ は、データ不足やノイズによりしばしば不適切（ill-posed）となる。深層生成事前分布（DGPs）は逆問題の解決に革命をもたらしたが、特定のデータセット（FFHQ など）で訓練されたドメイン固有の事前分布と、ウェブ規模のデータで訓練された基盤モデル（Stable Diffusion や Flux など）である基盤事前分布の間には、大きな性能差が存在する。

本論文は、基盤フローマッチング（FM）モデルは強力な生成ツールである一方で、ドメイン固有モデルや未訓練の事前分布（Deep Image Prior など）と比較して、逆問題の事前分布として性能が低いことを特定している。基盤 FM 事前分布を逆問題に適応させる既存の試み—生成ステップと勾配更新を交互に行うことや、単純なウォームスタートを使用すること—は、解空間を効果的に制約できず、しばしば生測定値よりも劣る再構成結果をもたらす。核心的な課題は、基盤モデルが、過学習や幻覚（ハルシネーション）を起こすことなく、不適切な逆問題の曖昧さを解決するために必要な特定のセマンティックおよび構造的制約を欠いている点にある。

2. 手法：FMPlug

著者は、基盤 FM 事前分布とドメイン固有の解決策との間の性能差を埋めるために設計されたプラグインフレームワークFMPlugを提案する。この手法は、最適化変数が潜在コード $z$ であり、生成器 $G_\theta$ が固定されているプラグイン形式内で動作する：
$$z^* \in \arg \min_z \ell(y, A \circ G_\theta(z)) + \Omega(z)$$

FMPlug は、基盤事前分布を強化するために 2 つの主要なコンポーネントを導入する：

A. インスタンス誘導型、時間依存ウォームスタート

FM 事前分布の標準的な初期化戦略は、分布の不一致によりしばしば失敗する。FM モデルの訓練サンプルは、ガウスベクトルにおける測度の集中現象に起因し、潜在空間内の「極薄のシェル」に集中するのに対し、単純な初期化戦略は出発点をこのシェル外に置くため、生成器の挙動が予測不可能になる。

これに対処するため、FMPlug は時間依存ウォームスタート戦略を導入する：

• 単純歪み設定: 対象 $x$ と測定値 $y$ が近い場合（画像復元など）、この手法は学習可能な時間ステップ $t \in [0, 1]$ で $y$ をフローに直接注入することでフロー軌道を近似する。$t=0$（純粋なノイズ）から開始するのではなく、最適化は $\alpha_t y + \beta_t z$ から開始され、ここで $\alpha_t$ と $\beta_t$ はフロー係数である。
• 少 shot 設定: $x$ と $y$ が必ずしも近くないが、類似インスタンスの小さな集合 $\{x_k\}$ が利用可能な科学的逆問題の場合、この手法はこれらのインスタンスの線形結合をウォームスタートの種として使用する：$\alpha_t (\sum w_k x_k) + \beta_t z$。重み $w$ は、対象と構造的に類似したインスタンスを優先するように最適化される。

B. シャープなガウス性正則化

著者は、従来の正則化手法（ガウス性のシードの負の対数尤度を罰するものなど）は「柔らかすぎ」、FM 事前分布に必要な厳密な測度の集中を強制できないと主張する。

• 彼らは、潜在ベクトル $z$ を半径 $\sqrt{d}$ の球の周りの狭いシェル内に収めるシェル制約 $z \in S^{d-1}_\epsilon(0, \sqrt{d})$ を導入する。
• これは各最適化ステップで射影演算子を実装することで実現され、潜在コードが基盤モデルが訓練された高確率領域内に留まることを保証し、生成器が潜在空間の未知の領域で動作するのを防ぐ。

3. 主要な貢献

1. 性能差の特定: 本論文は、標準的な逆問題タスク（ガウス性デブラリングなど）において、基盤 FM 事前分布がドメイン固有の事前分布だけでなく、未訓練の事前分布（DIP）よりも著しく性能が低いことを実証的に示している。
2. FMPlug フレームワーク: 基盤モデルを逆問題に効果的に適応させるために、インスタンス誘導型ウォームスタートとシャープなガウス正則化を組み合わせた統合フレームワークの提案。
3. 科学的逆問題への少 shot 適応: データ不足によりドメイン固有の訓練が不可能な科学画像シナリオを処理するためのフレームワークの拡張。少 shot インスタンス誘導戦略を利用する。
4. 体系的な評価: FMPlug が基盤ベースのソルバー間で最先端の性能を達成し、未訓練の事前分布を上回り、ドメイン固有モデルの性能に迫ることを示す包括的なベンチマーク。

4. 実験結果

著者は FMPlug を 2 つの主要なタスクカテゴリで評価した：

• 単純歪み逆問題（画像復元）:

  • タスク: 超解像、ランダムマスクの画像修復、ガウス性デブラリング、モーションデブラリング。
  • データセット: DIV2K, RealSR, AFHQ。
  • 結果: FMPlug は、ほとんどの指標（PSNR, SSIM, LPIPS）において、他のすべての基盤ベース手法（D-Flow, FlowDPS, FlowChef）および未訓練の Deep Image Prior（DIP）を上回った。特に、基盤事前分布と交互に行う手法（FlowDPS/FlowChef）は、場合によってはぼやけた入力自体よりも劣る性能を示したが、FMPlug は高忠実度の再構成を生み出した。

• 少 shot 科学的逆問題:

  • タスク: 線形逆散乱（LIS）、圧縮センシング MRI、ブラックホール画像（BKH）。
  • 結果: FMPlug は D-Flow および DIP を著しく上回った。LIS および BKH タスクでは、FMPlug の性能はドメイン固有の事前分布を使用するRed-Diffの性能に近づいた。MRI についてはわずかな性能差が残ったが、著者はこれをテストセットが少 shot ガイダンスインスタンスよりも高い空間的変動性を持ち、インスタンスの近接性の仮定に違反していることに起因すると帰属している。

• アブレーション研究:

  • ウォームスタートまたはシャープなガウス正則化のいずれかを除去すると、性能が著しく低下し、両方のコンポーネントが必要であることが確認された。
  • 学習されたウォームスタート時間 $t^*$ は、劣化の深刻度と逆相関していた（大きなぼけ $\to$ 小さな $t^*$）。これは理論的直感を裏付けた。
  • この手法は関数評価数（NFE）の低さに強く、高忠実度を達成するために交互手法よりも少ないステップを必要とした。

5. 意義と主張

本論文は、FMPlug が逆問題における基盤フローマッチングモデルの利用のための実用的で再利用可能な経路を提供すると主張している。基盤事前分布の特定の弱点（ドメイン固有性の欠如と分布の不一致）に対処することで、著者はこれらの一般モデルを、ドメイン固有データの収集や新しいモデルの訓練という prohibitive なコストなしに、科学的および復元タスクのために効果的に「保存」し、再利用できることを実証している。

この研究は、基盤モデルが生成のパワーハウスである一方で、効果的な事前分布として機能するには（ウォームスタートと厳密な潜在制約による）特定の構造的ガイダンスが必要であることを浮き彫りにしている。このアプローチは、データ不足がカスタム生成モデルの開発を妨げるが、高品質な再構成が発見にとって不可欠である科学画像において特に重要である。著者は、データが存在するドメイン固有モデルの代替として FMPlug を位置づけるのではなく、未訓練の事前分布に対する優れた代替案であり、データが希薄な科学ドメインに対する実用的な解決策として位置づけている。