Ergodicity of Langevin Dynamics and its Discretizations for Non-smooth Potentials

技術的概要：非滑らかなポテンシャルに対するランジュバン動力学のエルゴード性

問題提起
本論文は、ポテンシャル $U: \mathbb{R}^d \to \mathbb{R}$ が強凸であるが、微分可能ではない可能性がある場合における、ギブス分布 $\pi(x) \propto e^{-U(x)}$ からのサンプリングという課題に取り組んでいる。具体的には、著者らは、その部分勾配が最大でも線形に増加するポテンシャルに焦点を当てている。このようなポテンシャルは、数学的イメージング（例えば、$L_1$ 損失、Lasso 事前分布）や逆問題におけるベイズ推論で頻繁に現れ、しばしば $U(x) = F(x) + G(x)$ の形式をとる。ここで、$F$ はデータ忠実度を、$G$ は正則化汎関数を表す。

既存のサンプリング手法、例えば調整されていないランジュバンアルゴリズム（ULA）は、通常、ポテンシャルが微分可能であり、かつその勾配がリプシッツ連続であることを要求する。$U$ が非滑らかな場合、標準的なアプローチはエルゴード性（定常分布への収束）の確立に失敗するか、または近似バイアスと計算オーバーヘッドをもたらす平滑化手法（例えば、モロ・ヨシダ包絡線）に依存する。さらに、マルコフ連鎖に対する大数の法則（LLN）が存在しない場合、統計量を推定するには複数の独立した連鎖をシミュレートする必要があり、これは高次元のイメージング応用において計算的に実行不可能である。

手法
著者らは、仮定 Aの下で、連続時間および離散時間の設定の両方におけるランジュバン動力学を分析する。ここで仮定 A とは、$U$ が $m$-強凸であり、その部分勾配 $\partial U$ が線形増加条件（$\|g\| \leq C(1+\|x\|)$）を満たすことである。

1. 連続時間解析:
   著者らは、以下の確率微分方程式（SDE）を考慮する：
   $$dX_t = -\nabla U(X_t)dt + \sqrt{2}dW_t$$
   ここで、$\nabla U$ は弱微分（または可測な部分勾配の選択）を表す。彼らは強解の存在と一意性を証明し、過程がワッサーシュタイン距離 $W_2$ に関して指数関数的にエルゴード的であることを確立する。定常分布はターゲット $\pi$ と特定される。

2. 離散時間離散化:
   2 つの離散化スキームが提案され、分析される。

   • 陽的スキーム（部分勾配 ULA）: 可測な部分勾配の選択 $\theta(x) \in \partial U(x)$ を用いたオイラー・マルヤマ離散化：
     $$X_{k+1} = X_k - \tau \theta(X_k) + \sqrt{2\tau}W_k$$
   • 半陰的スキーム（プロキシマル・勾配）: $F$ が滑らかで $G$ が非滑らかである $U(x) = F(x) + G(x)$ の形式のポテンシャル向けに設計されたもの。このスキームは $G$ に対してプロキシマルステップを用いる：
     $$X_{k+1} = \text{prox}_{\tau G}(X_k - \tau \nabla F(X_k) + \sqrt{2\tau}W_k)$$

   両方のスキームについて、著者らは幾何学的エルゴード性（定常分布 $\pi_\tau$ への収束）を確立し、連鎖が大数の法則（LLN）を満たすことを証明する。これにより、複数の独立した連鎖ではなく、単一の連鎖の連続する反復を用いて統計量を計算することが可能になる。

主要な貢献

1. 非滑らかなポテンシャルに対するエルゴード性: 本論文は、連続時間のランジュバン拡散に対して指数関数的エルゴード性を、また陽的および半陰的離散化の両方に対して幾何学的エルゴード性を証明する。極めて重要なのは、これらの結果がポテンシャルまたはその勾配のリプシッツ連続性を仮定せず、部分勾配の線形増加への正則性要件を緩和している点である。
2. 定常分布の収束: 著者らは、離散スキームの定常分布 $\pi_\tau$ がステップサイズ $\tau \to 0$ とともにターゲット $\pi$ に収束することを示す。具体的には、両方のスキームに対して $O(\tau)$ 次数のワッサーシュタイン距離 2 誤差 bound を示す。
3. 大数の法則（LLN）: 実用的な貢献として、離散連鎖が LLN を満たすことの証明がある。これにより、統計量の推定に単一の連鎖のRunning平均を使用することが正当化され、複数の独立した連鎖を必要とする手法と比較してメモリ消費を大幅に削減できる。
4. スキームの比較: 半陰的スキームは、特にポテンシャルが滑らかな部分と非滑らかな部分に分解可能な場合、小さなステップサイズにおいて陽的スキームよりも優れた収束率を示すことが示された。

結果と数値実験
理論的知見は、2 次元および高次元イメージング応用（画像ノイズ除去およびデコンボリューション）における数値実験によって裏付けられている。

• 2 次元実験: 著者らは、混合ノルムおよび非リプシッツ部分勾配を持つポテンシャルをテストした。結果は、$\tau$ が減少するにつれて指数関数的収束とバイアスの減少を確認した。提案された手法は、モロ・ヨシダ調整されていないランジュバンアルゴリズム（MYULA）と比較された。
• イメージング応用: 全変動（TV）正則化を用いたノイズ除去およびデコンボリューションタスクにおいて、提案された陽的および半陰的スキームは、MYULA および信念伝播（BP）と比較された。
  • 提案された手法は、モロ包絡線の近似誤差に悩まされる MYULA よりも低いバイアス（ターゲット分布に近い）を達成した。
  • 半陰的スキームは、プロキシマル演算子が明示的でない場合（例えば、線形演算子の存在下）に MYULA が必要とする反復的なプロキシマル計算を回避し、大幅な計算節約をもたらした。
  • 実験は、LLN を通じて計算された単一連鎖の統計量（平均および分散）がターゲット分布の正確な近似を提供することを確認した。

意義と主張
本論文は、非微分可能かつ非リプシッツなポテンシャルに対するランジュバン動力学のエルゴード性に関する文献のギャップを埋めると主張している。過去の研究は、しばしばより高い正則性を仮定するか、スキーム自体のエルゴード性を確立することなくエルゴード平均の収束のみを証明するか、または平滑化（バイアスの導入）によって非滑らかさを回避していた。

著者らは、彼らの結果が事前の平滑化なしに非滑らかなポテンシャルからの直接サンプリングを可能にすることを強調している。LLN の確立は、複数の独立した連鎖をシミュレートすることが計算コストが高くつくイメージングのような高次元応用において、特に重要であると指摘されている。論文は、理論的 bound が確立されている一方で、固定されたサンプル数に対するステップサイズ $\tau$ に関する正確なバイアス - 分散トレードオフが分析において明示的に定量化されていないことを控えめに注記している。

限界と将来の課題
著者らは、現在の結果が全空間 $\mathbb{R}^d$ における強凸性を仮定していることに言及している。将来の課題としては、コンパクト集合の外側でのみ強凸である関数へのこれらの結果の拡張が狙われている。さらに、彼らは非滑らかな解析を運動的ランジュバン動力学へ拡張する計画である。