Decoupled Latent Optimization of Diffusion Models for Full Waveform Inversion

技術要約：拡散モデルを用いたデカップル・ラテント最適化によるフルウェーブフォーム・インバージョン

1. 問題提起

フルウェーブフォーム・インバージョン（FWI）は、地震波の波動場記録から高解像度の地下速度モデルを復元することを目的とした、偏微分方程式（PDE）制約付き最適化問題である。この問題は、波動方程式の非線形性と地下の照明（イリュミネーション）の制限により、極めて不良設定（ill-posed）かつ非凸な性質を持つ。これにより、最適化が誤った解に収束してしまう「サイクルスキッピング」現象に代表される、局所解が多数存在するミスマッチ・ランドスケープが生じる。これは、初期速度モデルが不正確である場合や、データにノイズや欠損がある場合に顕著となる。

古典的な正則化手法（例：ティコノフ正則化、全変動（TV）正則化）は、反転プロセスを安定させるものの、微細な構造を過度に平滑化したり、階段状のアーティファクトを導入したりするため、現実的な地質構造を再現できないことが多い。対照的に、近年の拡散モデルを用いたアプローチは、データ駆動型の事前分布を活用しようと試みているが、以下のような重大な課題に直面している：

• 物理的制約の不整合： FWIの勾配ステップと拡散サンプリングを交互に組み合わせる手法（例：DiffusionFWI）は、物理的制约束と、サンプラーが訪問するガウスノイズが付加された周辺分布との間のバランスを取るのが困難であり、ハイパーパラメータのトレードオフが脆弱になる。
• 初期化への敏感さ： ラテント空間（潜在空間）で直接最適化を行う手法（ラテント最適化）は、解を学習された多様体に拘束する一方で、サイクルスキッピングを回避するために不可欠な（平滑化された速度モデルなどの）物理的に情報に基づいた初期化の使用を妨げる。さらに、合成されたPDEソルバーとサンプラーの連鎖を通じてバックプロパゲーションを行うことは、勾配を不安定にする。

2. 手法：デカップル・ラテント最適化（DLO）

著者らは、上述の欠点を克服しつつ、事前学習済みの拡散モデルを正則化メカニズムとしてFWIプロセスに組み込むフレームワークである**デカップル・ラテント最適化（DLO）**を提案している。

核となる定式化：
DLOは、厳密なラテント最適化の定式化 $\min_z \|F(R_\theta(z)) - d_{obs}\|^2$ の代わりに、等価制約 $v = R_\theta(z)$ を、2つの変数、すなわち物理的な速度変数 $v$ と補助的なラテント変数 $z$ に関する二次ペナルティ目的関数へと緩和する。目的関数は以下の通りである：
$$\min_{v, z} \|F(v) - d_{obs}\|^2 + \lambda \|v - R_\theta(z)\|^2$$
ここで：

• $F(v)$ は順方向の波動方程式演算子である。
• $R_\theta(z)$ は、ラテントベクトル $z$ を事前分布の速度サンプルへと写像する決定論的なDDIMサンプラー（デコーダ）である。
• $\lambda$ は固定されたペナルティパラメータである。

最適化戦略：
本手法は、交互勾配降下法を採用している：

1. 物理的更新（$v$ ステップ）： 物理的な速度 $v$ は、データミスマッチの勾配（随伴状態法を用いて計算）と、現在の事前分布サンプル $R_\theta(z)$ へと $v$ を押し戻す正則化項を用いて更新される。決定的なのは、このステップが完全に物理空間で動作するため、サイクルスキッピングを回避するための標準的な平滑化速度モデルによる初期化が可能である点である。
2. ラテント更新（$z$ ステップ）： ラテント変数は、現在の物理的速度 $v$ と、デコードされた事前分布サンプル $R_\theta(z)$ との距離を最小化するように更新される。これには、決定論的なODE離散化であるアンロールされたDDIMサンプラーを通じてバックプロパゲーションを行い、$v$ を学習された事前分布の多様体へ最も良く投影するラテントコードを見出すプロセスが含まれる。

理論的正当性：
論文では、$\lambda \to \infty$ のとき、ペナルティ定式化の最小値が元の制約付きラテント最適化問題の最小値に収束するという厳密な分析が示されている。しかし、実用上では、古典的なペナルティ法に伴う悪条件化を避けるため、また学習された地質学的多様体へと反転を導くための「ソフト」な制約を維持するために、固定された適度な $\lambda$ が使用される。

3. 主な貢献

• 斬新な定式化： 物理的な反転プロセスと拡散サンプラーを分離（デカップル）することで、物理的な初期化要件と強力なデータ駆動型事前分布の必要性との間の衝突を解決したDLOを導入した。
• 勾配の安定性： 物理的更新時に合成されたPDEソルバーとサンプラーの連鎖を通じたバックプロパゲーションを回避することで、最適化のランドスケープを安定化させた。
• 堅牢な初期化： 本フレームワークは、非凸なPDE制約付き問題の収束に不可欠な、平滑化された速度モデルによる初期化能力を保持している。
• 不確実性の定量化： ラテント初期化（$z \sim \mathcal{N}(0, I)$）の確率的性質により、解のアンサンブルを生成することが可能であり、再構成誤差と正の相関を持つピクセルレベルの不確実性推定を提供する。

4. 実験結果

著者らは、OpenFWIベンチマーク（平坦、断層、湾曲、および複雑な断層を含む地質領域をカバー）および、分布外（out-of-distribution）のMarmousiおよびOverthrustベンチマークを用いてDLOを評価した。

• OpenFWIにおける性能： DLOは、クリーン、ノイズあり、およびトレース欠損のある取得シナリオにおいて、古典的な正則化（ティコノフ、TV）および既存の拡散ベースの手法（DiffusionFWI、RED-DiffEq）を一貫して上回った。特に、アーティファクトを抑制しながら複雑な断層構造や微細な詳細を復元する能力において、優れた指標（RMSE、MAE、SSIM）を達成した。
• 堅牢性： DLOは、加法的ガウスノイズ（最大 $\sigma=0.5$）および大幅なトレース欠損（最大 85.7% のデータ損失）に対して顕著な堅牢性を示し、他の手法が劣化したり非物理的なアーティファクトを生じたりする状況でも、一貫した地質構造を維持した。
• 汎化性能： $70 \times 70$ のOpenFWIモデルのみで学習された拡散事前分布が、再学習なしで、より大規模で構造的に異なるMarmousiおよびOverthrustベンチマークに直接転移できた。Dも、これらの分布外の設定において、複雑なスラストシートや傾斜層の復元に成功した。
• 初期化に対する不感性： ラテント最適化のベースラインとは異なり、DLOの性能は初期モデルの平滑化度合い（$\sigma_{init}$）の変化に対して安定しており、物理的事前分布を効果的に活用できることが確認された。
• 不確実性の相関： 実験により、アンサンブルの標準偏差（ランダムなラテント初期化によって誘発される）と絶対再構成誤差との間に強い正の相関があることが示され、アンサンブル平均が局所的な再構成品質の信頼できる予測因子であることを検証した。

5. 意義と主張

本論文は、DLOが、生成的な事前分布を物理的制約や収束に必要な初期化戦略を損なうことなく統合することに成功しており、PDE制御の逆問題解決における重要な進歩であることを主張している。

• ギャップの架橋： DLOは、拡散モデルが提供する構造的リアリズムと、古典的なFWIが必要とする物理的安定性の間の溝を埋めるものである。
• 実用的な適用可能性： ノイズ、欠損データ、および分布外の地質に対するDLOの堅牢性は、データの質や地質学的複雑性が大きく変動する実世界の地震探査アプリケーションへの強い潜在能力を示唆している。
• スケーラビリティ： 改変なしに小規模な事前分布を大規模で複雑なドメインに転移できる能力は、本アプローチの拡張性を際立たせている。

著者らは、デカップル・ラテント最適化の原理は、事前学習済みの生成的な事前分布が利用可能な他のすべてのPDE制約付き逆問題にも広く適用可能であり、より正確で堅牢な地下イメージングへの道を開くものであると結論づけている。