技術的概要：$\ell_1$ 事前分布のサンプリングのためのアダマール・ランジュバン動力学

問題定義

本論文は、非滑らかな対数密度（特に Lasso における $\ell_1$ 事前分布）を含む高次元ベイズ事後分布からのサンプリングという課題に取り組む。対象分布は次式で与えられる：
$$\rho(x) = \frac{1}{Z} \exp\left(-\beta (\lambda \|x\|_1 + G(x))\right),$$
ここで、$G(x)$ はデータ尤度を表し、$\|x\|_1$ はスパース性を促進する非滑らかな $\ell_1$ ノルムである。

既存のランジュバンに基づくサンプリング手法（例：Unadjusted Langevin Algorithm, ULA）は、$\ell_1$ 項の微分不可能性に直面して困難をきたす。標準的なアプローチは通常、以下のいずれかに依存する：

1. 平滑化技術：非滑らかな項を近似するために Moreau–Yosida 包絡線を使用する。これは、平滑化パラメータ $\gamma \to 0$ となる場合にのみ消滅する、対象分布に対するバイアスを導入する。
2. 近接写像：近接演算子（例：Proximal Gradient Langevin Dynamics）を組み込む。これにより、連続密度と混合した点質量（例えばゼロにおけるもの）を持つ定常分布が生じたり、階層的定式化において高次元行列の逆行列計算が必要になったりする。

著者らは、平滑化バイアスと近接演算子を回避しつつ、対象事後分布 $\rho(x)$ を完全に復元する扱いやすい拡散過程を維持する手法を追求する。

手法：アダマール過剰パラメータ化

核心的な革新は、$\ell_1$ ノルムの滑らかで過剰パラメータ化された表現を利用する**アダマール・ランジュバン動力学（HLD）**である。

1. アダマール表現

著者らは以下の恒等式を利用する：
$$\|x\|_1 = \sum_i |x_i| = \min_{u \odot v = x} \left\{ \frac{1}{2}\|u\|_2^2 + \frac{1}{2}\|v\|_2^2 \right\},$$
ここで $\odot$ は要素ごとの（アダマール）積を表す。変数 $x \in \mathbb{R}^d$ を、$x = u \odot v$ となるような変数の組 $(u, v) \in \mathbb{R}^d_+ \times \mathbb{R}^d$ に持ち上げることで、非滑らかな $\ell_1$ 項は（非凸ではあるが）滑らかな二次項に置き換えられる。

2. 結合分布

ラプラス事前分布の階層的ベイズ定式化（ガウス混合表現）から出発し、著者らは持ち上げられた空間上の結合分布 $\pi(u, v)$ を導出する：
$$\pi(u, v) \propto \left( \prod_{i=1}^d u_i \right) \exp\left( -\beta \left( \frac{\lambda}{2}\|(u, v)\|_2^2 + G(u \odot v) \right) \right).$$
決定的に重要なのは、$\pi$ における $x = u \odot v$ の周辺分布が、いかなる近似バイアスもなく、完全に目標 $\rho$ となる点である。

3. 動力学

著者らは $\pi$ からサンプリングするために、持ち上げられた空間 $(u, v)$ 上でランジュバン動力学を定義する。その結果得られる確率微分方程式（SDE）は以下の通りである：
$$\begin{aligned} du_t &= -\lambda u_t dt - v_t \odot \nabla G(u_t \odot v_t) dt + \frac{1}{\beta u_t} dt + \sqrt{\frac{2}{\beta}} dW^1_t, \\ dv_t &= -\lambda v_t dt - u_t \odot \nabla G(u_t \odot v_t) dt + \sqrt{\frac{2}{\beta}} dW^2_t, \end{aligned}$$
ここで $W^1_t$ と $W^2_t$ は独立なブラウン運動である。項 $1/(\beta u_t)$ は $u$ 上の事前分布の対数密度に由来する。この動力学は定義域 $X = \mathbb{R}^d_+ \times \mathbb{R}^d$ 上で適切に定義される。

主要な貢献と理論的結果

1. 連続動力学の適切性

本論文は、連続 HLD 系（式 7）に対する厳密な適切性理論を確立する：

• 存在と一意性：著者らは、すべての $t > 0$ に対して $u_t > 0$ がほとんど確実に成り立つような、一意な強解 $(u_t, v_t)$ の存在を証明する。
• 証明手法：2 つの異なるアプローチが提供される：
  1. 円筒座標：$u = \sqrt{y^2 + z^2}$ となるように系を直交座標 $(y, z, v)$ に変換し、ドリフトの特異性を除去することで、標準的な SDE 理論（Stroock と Varadhan）の適用を可能にする。
  2. ギルサノフ変換：系を Cox–Ingersoll–Ross (CIR) 過程および Ornstein–Uhlenbeck (OU) 過程に関連付ける。このアプローチは、過程が CIR 過程の正性特性を継承し、強フレレル性質を確立することを確認する。
• エルゴード性：連続動力学は幾何学的にエルゴード的であり、データ項 $G$ が有界でない場合（例えば二次損失）であっても、$x^\top \nabla G(x)$ が下に有界であれば、不変測度 $\pi$ へ指数関数的な速度で収束することが示される。

2. 数値スキームと収束

著者らは HLD を離散化するための陰陽時間ステップスキーム（式 16）を提案する。このスキームは正則化項（$u$ の正性を保証するため）において陰的であり、データ項 $G$ において陽的である。

• 強収束：本論文は、ステップサイズ $\Delta t \to 0$ において、数値スキームが強解に強収束することを証明する。具体的には、固定された時間区間 $T$ に対して、誤差は $O(\Delta t^{1/2 - \epsilon})$ によって有界である。
• 技術的課題の克服：分析は以下の 2 つの主要な困難に対処する：
  1. 逆モーメント：ドリフトには $1/u$ 項が含まれる。著者らは、この設定において標準的な CIR 条件 $2\kappa\mu > \theta^2$ が等号で成り立つ必要があるため、2 未満（2 を除く）までの逆モーメントの上限を導出する。
  2. 大域リプシッツ性の欠如：ドリフトは凸でも大域リプシッツでもない。著者らは、大きな球内でのカップリング手法と、離散スキームの幾何学的エルゴード性を証明するための脱出確率に対する急速に減衰する上限を採用する。
• 不変測度の収束：離散化されたスキームの定常分布 $\pi_{\Delta t}$ が、$\Delta t \to 0$ において Wasserstein-1 距離で真の不変測度 $\pi$ に収束することが証明される。

3. 既存手法との関係

• リーマン幾何との関連：HLD は、凸関数のヘッシアンから導かれる計量を持つ多様体上のリーマン・ランジュバン動力学の特定の事例として特定され、Mirror-Langevin 動力学と関連付けられる。
• 近接手法との比較：ゼロにおける点質量を導入し得る Proximal Gradient Langevin Dynamics (PGLD) と異なり、HLD は連続密度を生成する。Moreau–Yosida 正則化手法（MYULA）とは異なり、HLD は平滑化バイアスを導入しない。

結果と意義

本論文は、過剰パラメータ化されたランジュバン動力学を用いた非凸・非滑らかな事後分布からのサンプリングに対する最初の理論的基盤を提供する。

• 理論的厳密性：この研究は、最適化における過剰パラメータ化のヒューリスティックな応用を超え、存在、一意性、および収束速度を含む、結果として生じる拡散過程の完全な確率的分析を提供する。
• 正確なサンプリング：この手法は、平滑化近似に内在するバイアスや、近接手法の構造的アーティファクト（点質量）なしに、正確な対象事後分布 $\rho(x)$ を復元する。
• 数値的証拠：離散化された不変測度のバイアスに関する理論的収束速度は、標準的なテイラー展開論法を直接適用できない特異性のため定量化されていないが、1 次元問題における数値実験は、バイアスが $O(\Delta t)$ であることを示唆している。実験により、HLD は PGLD や MYULA に比べて速い混合（高い有効サンプルサイズ）を達成し、ヒストグラムにおいて観測されるバイアスがないことが示された。

限界と今後の課題

著者らは控えめに、現在の分析は、標準的な半群展開手法の直接適用を特異な $1/u$ 項が妨げるため、離散化された不変測度 $\pi_{\Delta t}$ のバイアスに対する定量的な収束速度を提供していないと指摘する。今後の課題として、このバイアスを定量化すること、およびガウス混合表現アプローチを他のスパース性誘導事前分布（グループ $\ell_1$ は自明な拡張であることが示されている）へ拡張すること、さらに $q \in (0, 1)$ に対する $\ell_q$ 事前分布へ拡張することが目指されている（ただし、後者については現在、閉形式のガウス混合表現が存在しない）。