DC-LA: Difference-of-Convex Langevin Algorithm

技術的概要：DC-LA：凸差ランジュバンアルゴリズム

問題定義
本論文は、$\mathbb{R}^d$ におけるギブス分布 $\pi \propto \exp(-V)$ からのサンプリング問題を取り扱っており、ここでポテンシャル関数 $V$ は複合的かつ非滑らかである。具体的には、著者らは $V = f + r$ の形のポテンシャルを考慮しており、ここで $f$ はリプシッツ連続な滑らかなデータ忠実性項であり、$r$ は凸関数 $r_1$ と $r_2$ を用いて $r = r_1 - r_2$ と表される凸差（DC）関数として定義された非滑らかな正則化項である。この設定は、ベイズ推論や機械学習において頻繁に生じ、特に凸関数よりもスパース性や複雑なデータ構造をよりよくモデル化する非凸事前分布（例えば、$\ell_1 - \ell_2$、Capped-$\ell_1$、または入力凸ニューラルネットワークに基づくデータ駆動型事前分布）を使用する場合に顕著である。

既存の手法はこの領域において限界に直面している。標準的な調整済みランジュバンアルゴリズム（ULA）は微分可能性を必要とするが、非滑らかな $r$ に対してはこれが成立しない。近接ランジュバンアルゴリズム（PSGLA など）は通常、正則化項が弱凸または凸であると仮定している。しかし、多くの効果的な DC 正則化項は弱凸ではなく、標準的な収束保証を適用不可能にする。さらに、非弱凸項 $r$ 全体に単一のモロエナベロープを適用すると、不適切な問題や不連続な近接作用素が生じる可能性がある。

手法：DC-LA アルゴリズム
著者らは、正則化項の特定の DC 構造を利用するフォワード・バックワード・サンプラーである**凸差ランジュバンアルゴリズム（DC-LA）**を提案する。核心的な革新は、差 $r$ 全体ではなく、凸成分 $r_1$ と $r_2$ に個別にモロエナ平滑化を適用することにある。

平滑化パラメータ $\lambda > 0$ が与えられたとき、アルゴリズムは拡張ポテンシャル $V_\lambda = (f - r_2^\lambda) + r_1^\lambda$ 上で動作する。ここで $r_i^\lambda$ は $r_i$ のモロエナ包絡を表す。列 $\{X_k\}$ の更新則は以下の通りである：
$$X_{k+1} = \text{Prox}_{\gamma r_1^\lambda} \left( X_k - \gamma \nabla f(X_k) + \gamma \nabla r_2^\lambda(X_k) + \sqrt{2\gamma} Z_{k+1} \right)$$
ここで、$\gamma$ はステップサイズ、$Z_{k+1} \sim \mathcal{N}(0, I)$ である。

アルゴリズムは以下の基本作用素に分解される：

1. フォワードステップ： 滑らかな項 $f$ と、平滑化された凹部 $\nabla r_2^\lambda$ の勾配を含む勾配ステップ。
2. バックワードステップ： 平滑化された凸部 $r_1^\lambda$ を含む近接ステップ。

著者らは、$r_2$ が既に滑らかである場合（例えば、Geman や SCAD ペナルティのような特定の構造化 DC 正則化項において）、アルゴリズムが平滑化なしに直接 $\nabla r_2$ を使用するDC-LA-Sに簡略化されると指摘している。

理論的貢献と収束性
本論文は、ポテンシャル $V$ が遠方散逸性条件（無限遠における強凸性としても知られる）を満たすと仮定して、DC-LA の収束保証を確立する。この条件は、点が十分に離れている場合にのみドリフトが散逸的であることを要求するものであり、大域強凸性よりも弱い仮定である。

主要な理論的結果は以下の通りである：

• ワッサーシュタイン距離における収束： 任意の $q \in \mathbb{N}^*$ に対して、反復 $X_k$ の法則と目標分布 $\pi$ 間の $q$-ワッサーシュタイン距離は以下で抑えられる：
  $$W_q(p_{X_k}, \pi) \leq O(\rho^k \gamma) + O(\gamma^{1/2q}) + O(\lambda^{1/q})$$
  ここで $\rho \in (0, 1)$ である。各項は、マルコフ連鎖の収束率、離散化誤差、および平滑化誤差をそれぞれ表す。
• 一般的な正則性仮定： 解析は $r_2$ の正則性の連続体を網羅する：
  1. $r_2$ はリプシッツ連続（非滑らか）。
  2. $r_2$ は微分可能であり、その勾配は $\kappa$-ホルダー連続（$0 < \kappa < 1$）。
  3. $r_2$ は滑らか（$C^{1,1}$）。
• 非弱凸関数の扱い： 正則化項が弱凸であることを要求する先行研究（例：Renaud ら、2025a）とは異なり、DC-LA は遠方散逸性条件が成り立つ限り、非弱凸な DC 正則化項（$\ell_1 - \ell_2$ や DICNN など）に対してランジュバン型アルゴリズムの収束保証を提供する。
• 安定性解析： 著者らは、一般的なドリフトを持つランジュバン力学に対する最近の安定性結果を利用して、離散化プロセスと平滑化ポテンシャルの不変分布との距離を評価する。

実験結果
著者らは、2 組の実験を通じて DC-LA を検証する：

1. 合成データ（$\ell_1 - \ell_2$ 事前分布）： ガウス尤度を持つ 2 次元設定において、DC-LA は座標軸に沿ってスパース性を促進する挙動を示す目標密度を成功裡に捉える。ベースライン（ULA、モロエナ ULA、および PSGLA）と比較して、DC-LA は最も忠実な経験分布を生成し、最低のビン化 KL 発散を達成する。PSGLA は鋭敏であるが座標を過剰に強調する傾向があり、ULA 変種はぼやけた結果となる。
2. 実世界のコンピュータ断層撮影（CT）： 2 つの入力凸ニューラルネットワークの差に基づくデータ駆動型 DC 事前分布（DICNN）を用いて、512 $\times$ 512 の腹部スキャンに対する CT 再構成を行う。DC-LA は、有意に多くの反復を実行する近接部分勾配法（PSM）オプティマイザーと同等の高い構造的類似性（SSIM）およびピーク信号対雑音比（PSNR）で解剖学的構造を回復する。決定的な MAP 推定値が見逃す境界や微細なテクスチャなどの高不確実性領域を強調する不確実性の定量化を、ピクセル単位の事後分散を通じて提供することが、DC-LA の決定的な利点である。

意義と主張
本論文は、DC 構造を持つ非対数凹かつ非滑らかな分布からのサンプリングのための数学的に正当化された枠組みを提供すると主張する。その主な意義は以下の点にある：

• ランジュバンサンプリングの範囲の拡大： 対数凹および弱凸の領域を超え、圧縮センシングや逆問題で広く使用されるより広範なクラスの非凸正則化項を処理可能にする。
• 非弱凸性に対する頑健性： 以前の非対数凹サンプリング文献に見られる制限的な仮定を必要とせず、非弱凸な DC 正則化項に適用されるランジュバン型アルゴリズムに対して収束保証を提供する最初の手法である。
• 実用性： 本手法は合成データおよび実世界アプリケーションの両方で有効性を示しており、点推定だけでなく、医療画像診断などの安全クリティカルなアプリケーションにおいて不可欠な意味のある不確実性の定量化も提供する。

著者らは、自らの解析が遠方散逸性条件に依存しており、$r_1$ のリプシッツ連続性が現在の仮定であることを認め、将来の研究としてこれらの条件の緩和や混合成長正則化項の処理を探求することを提案している。