기술적 요약: $\ell_1$-사전 (Prior) 을 샘플링하기 위한 Hadamard–Langevin 동역학

문제 제기

본 논문은 비매끄러운 로그 밀도, 특히 $\ell_1$-사전 (Lasso) 을 포함하는 고차원 베이지안 사후 분포로부터 샘플링하는 문제를 다룹니다. 목표 분포는 다음과 같습니다:
$$\rho(x) = \frac{1}{Z} \exp\left(-\beta (\lambda \|x\|_1 + G(x))\right),$$
여기서 $G(x)$는 데이터 가능도 (data likelihood) 를 나타내고, $\|x\|_1$은 희소성을 촉진하는 비매끄러운 $\ell_1$-노름입니다.

기존의 Langevin 기반 샘플링 방법들 (예: Unadjusted Langevin Algorithm, ULA) 은 $\ell_1$ 항의 미분 불가능성으로 인해 어려움을 겪습니다. 표준적인 접근법은 일반적으로 다음에 의존합니다:

1. 매끄럽게 만들기 (Smoothing) 기법: 비매끄러운 항을 근사하기 위해 Moreau–Yosida 포락선을 사용하는 것으로, 이는 목표 분포에 편향을 도입하며, 이 편향은 매끄럽게 만드는 파라미터 $\gamma \to 0$일 때만 사라집니다.
2. 근사 사상 (Proximal mappings): 근사 연산자 (예: Proximal Gradient Langevin Dynamics) 를 통합하는 것으로, 이는 연속 밀도와 혼합된 점 질량 (예: 0 에서의 질량) 을 가진 정상 분포를 초래하거나, 계층적 공식에서 고차원 행렬의 역행렬을 요구할 수 있습니다.

저자들은 매끄럽게 만들기의 편향과 근사 연산자를 피하면서도 목표 사후 분포 $\rho(x)$를 정확하게 회복하는 처리 가능한 확산 과정을 유지하는 방법을 모색합니다.

방법론: Hadamard 과파라미터화 (Overparameterization)

핵심 혁신은 $\ell_1$-노름의 매끄러운 과파라미터화된 표현을 활용하는 **Hadamard–Langevin 동역학 (HLD)**입니다.

1. Hadamard 표현

저자들은 다음 항등식을 활용합니다:
$$\|x\|_1 = \sum_i |x_i| = \min_{u \odot v = x} \left\{ \frac{1}{2}\|u\|_2^2 + \frac{1}{2}\|v\|_2^2 \right\},$$
여기서 $\odot$는 성분별 (Hadamard) 곱을 나타냅니다. 변수 $x \in \mathbb{R}^d$를 $x = u \odot v$가 되도록 $(u, v) \in \mathbb{R}^d_+ \times \mathbb{R}^d$ 쌍으로 리프팅 (lifting) 함으로써, 비매끄러운 $\ell_1$ 항은 매끄러운 (비록 비볼록하지만) 2 차 항으로 대체됩니다.

2. 결합 분포

라플라스 사전 (가우스 혼합 표현) 의 계층적 베이지안 공식에서 시작하여, 저자들은 리프팅된 공간에 대한 결합 분포 $\pi(u, v)$를 유도합니다:
$$\pi(u, v) \propto \left( \prod_{i=1}^d u_i \right) \exp\left( -\beta \left( \frac{\lambda}{2}\|(u, v)\|_2^2 + G(u \odot v) \right) \right).$$
중요하게도, $\pi$ 하에서 $x = u \odot v$의 주변 분포는 어떤 근사 편향 없이 정확히 목표 분포 $\rho$입니다.

3. 동역학

저자들은 $\pi$로부터 샘플링하기 위해 리프팅된 공간 $(u, v)$에서 Langevin 동역학을 정의합니다. 결과적인 확률 미분 방정식 (SDE) 은 다음과 같습니다:
$$\begin{aligned} du_t &= -\lambda u_t dt - v_t \odot \nabla G(u_t \odot v_t) dt + \frac{1}{\beta u_t} dt + \sqrt{\frac{2}{\beta}} dW^1_t, \\ dv_t &= -\lambda v_t dt - u_t \odot \nabla G(u_t \odot v_t) dt + \sqrt{\frac{2}{\beta}} dW^2_t, \end{aligned}$$
여기서 $W^1_t$와 $W^2_t$는 독립적인 브라운 운동입니다. $1/(\beta u_t)$ 항은 $u$에 대한 사전의 로그 밀도에서 비롯됩니다. 이 동역학은 영역 $X = \mathbb{R}^d_+ \times \mathbb{R}^d$에서 잘 정의됩니다.

주요 기여 및 이론적 결과

1. 연속 동역학의 잘 정의됨 (Well-Posedness)

본 논문은 연속 HLD 시스템 (식 7) 에 대한 엄밀한 잘 정의됨 이론을 확립합니다:

• 존재성과 유일성: 저자들은 모든 $t > 0$에 대해 $u_t > 0$이 거의 확실하게 (almost surely) 성립하는 유일한 강한 해 $(u_t, v_t)$의 존재를 증명합니다.
• 증명 기법: 두 가지 구별된 접근법이 제공됩니다:
  1. 원통 좌표계: $u = \sqrt{y^2 + z^2}$가 되도록 시스템을 직교 좌표계 $(y, z, v)$로 변환하여 드리프트의 특이점을 제거하고, 표준 SDE 이론 (Stroock 및 Varadhan) 의 적용을 가능하게 합니다.
  2. Girsanov 변환: 시스템을 Cox–Ingersoll–Ross (CIR) 및 Ornstein–Uhlenbeck (OU) 과정과 연결합니다. 이 접근법은 과정이 CIR 과정의 양수 성질을 계승함을 확인하고 Strong Feller 성질을 확립합니다.
• 에르고딕성 (Ergodicity): 연속 동역학은 기하급수적 에르고딕성을 가지며, 데이터 항 $G$가 유계이지 않더라도 (예: 2 차 손실), $x^\top \nabla G(x)$가 하한을 가진다면 불변 측도 $\pi$로 지수 속도로 수렴함이 보입니다.

2. 수치적 scheme 및 수렴

저자들은 HLD 를 이산화하기 위해 암시적 - 명시적 시간 단계 scheme (식 16) 을 제안합니다. 이 scheme 은 정규화 항 (u 의 양수성 보장) 에서는 암시적이고, 데이터 항 $G$에서는 명시적입니다.

• 강한 수렴 (Strong Convergence): 본 논문은 수치적 scheme 이 단계 크기 $\Delta t \to 0$에 따라 연속 해로 강하게 수렴함을 증명합니다. 구체적으로, 고정된 시간 구간 $T$에서 오차는 $O(\Delta t^{1/2 - \epsilon})$로 제한됩니다.
• 기술적 난제 극복: 분석은 두 가지 주요 어려움을 다룹니다:
  1. 역 모멘트 (Inverse Moments): 드리프트에 $1/u$ 항이 포함됩니다. 저자들은 표준 CIR 조건 $2\kappa\mu > \theta^2$가 이 설정에서 등호로 성립하기 때문에 필수적인, 2 까지 (2 제외) 의 역 모멘트 상한을 유도합니다.
  2. 비-전역 리프시츠성 (Non-Global Lipschitzness): 드리프트는 볼록하지도 전역 리프시츠 연속하지도 않습니다. 저자들은 큰 공 안에서의 커플링 기법과 탈출 확률에 대한 급격히 감소하는 상한을 사용하여 이산 scheme 의 기하급수적 에르고딕성을 증명합니다.
• 불변 측도 수렴: 이산화된 scheme 의 정상 분포 $\pi_{\Delta t}$가 $\Delta t \to 0$일 때 Wasserstein-1 거리에서 진정한 불변 측도 $\pi$로 수렴함이 증명됩니다.

3. 기존 방법과의 관계

• 리만 연결 (Riemannian Connection): HLD 는 볼록 함수의 헤시안에서 유도된 계량을 가진 다양체 위의 리만 Langevin 동역학의 특정 사례로 식별되며, 이는 Mirror-Langevin 동역학과 연결됩니다.
• 근사 방법과의 비교: 0 에서 점 질량을 도입할 수 있는 Proximal Gradient Langevin Dynamics (PGLD) 와 달리, HLD 는 연속 밀도를 생성합니다. Moreau–Yosida 정규화 방법 (MYULA) 과 달리, HLD 는 매끄럽게 만들기의 편향을 도입하지 않습니다.

결과 및 의의

본 논문은 과파라미터화된 Langevin 동역학을 사용하여 비볼록, 비매끄러운 사후 분포로부터 샘플링하기 위한 첫 번째 이론적 기초를 제공합니다.

• 이론적 엄밀성: 이 작업은 최적화에서의 과파라미터화 휴리스틱 적용을 넘어, 존재성, 유일성, 수렴 속도를 포함하여 결과 확산 과정에 대한 완전한 확률론적 분석을 제공합니다.
• 정확한 샘플링: 이 방법은 매끄럽게 만들기 근사에 내재된 편향이나 근사 방법의 구조적 인공물 (점 질량) 없이 정확한 목표 사후 분포 $\rho(x)$를 회복합니다.
• 수치적 증거: 이산화된 불변 측도의 편향에 대한 이론적 수렴 속도는 표준 테일러 전개 논증을 방해하는 특이점으로 인해 정량화되지 않았지만, 1 차원 문제에 대한 수치 실험은 편향이 $O(\Delta t)$임을 시사합니다. 실험은 HLD 가 PGLD 와 MYULA 에 비해 더 빠른 혼합 (더 높은 유효 표본 크기) 을 달성하며, 히스토그램에서 관찰된 편향이 없음을 보여줍니다.

한계 및 향후 작업

저자들은 겸손하게 현재 분석이 표준 반군 (semigroup) 전개 기법의 직접적인 적용을 방해하는 특이한 $1/u$ 항으로 인해 이산화된 불변 측도 $\pi_{\Delta t}$의 편향에 대한 정량적 수렴 속도를 제공하지 않는다고 지적합니다. 향후 작업은 이 편향을 정량화하고, 가우스 혼합 표현 접근법을 그룹-$\ell_1$(이는 사소한 확장으로 보임) 및 잠재적으로 $q \in (0, 1)$에 대한 $\ell_q$ 사전과 같은 다른 희소성 유도 사전으로 확장하는 것을 목표로 합니다. 후자의 경우 현재 폐형식 (closed-form) 가우스 혼합 표현이 부재합니다.