A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel

기술 요약: 적응형 커널 흐름을 통한 EVI-MMD

문제 정의
본 논문은 타겟 확률 분포 $\rho^*$를 근사하기 위한 결정론적 샘플링(deterministic sampling)의 과제를 다룹니다. 이 문제는 두 가지 주요 맥락에서 발생합니다:

1. 근사 추론(Approximate Inference): 타겟 분포가 밀도 함수에 의해 완전히 지정되어 있지만(종종 다루기 힘든 정규화 상수를 제외하고), 직접적인 샘플링이 어려운 경우입니다.
2. 이표본 문제(Two-Sample Problem): 타겟 분포를 알 수 없으며 오직 훈련 데이터(경험적 분포)로만 정의되는 경우입니다. 목표는 기존의 경험적 분포를 충실히 재현하는 새로운 샘са를 생성하여, 효과적인 생성 모델 역할을 하는 것입니다.

기존 방법들은 KL 발산(Kullback-Leibler divergence)과 같은 비유사성 기능(dissimilarity functionals)을 최소화하는 데 의존하는 경우가 많으나, 이는 로그 밀도의 그래디언트 정보가 필요하며 밀도 값이 작을 때 "log 0" 문제를 겪을 수 있습니다. 대안적으로, MMD(Maximum Mean Discrepancy)는 커널 기반 접근 방식을 제공하여 두 시나리오 모두에 적합하지만, 수치적 안정성과 커널 함수의 대역폭(bandwidth) 선택이라는 오랜 "병목 현상" 문제에 직면해 있습니다.

방법론: EVI-MMD 프레임워크
저자들은 EVI-MMD라는 결정론적 샘플링 방법을 제안하며, 이는 에너지 변분 추론(Energetic Variational Inference, EVI) 프레임워크(Wang et al., 2021)에 기반합니다. 방법론은 다음과 같이 진행됩니다:

1. 변분 정식화(Variational Formulation): 문제는 입자(particles) 세트와 타겟 분포 사이의 커널 불일치(MMD)를 최소화하는 것으로 프레임화됩니다. EVI 프레임워크 내에서, 이 최소화 과정은 입자의 움직임을 지배하는 상미분 방정식(ODE)의 동적 시스템으로 변환됩니다.
2. 내재적 오일러 이산화(Implicit Euler Discretization): 불안정할 수 있는 명시적 오일러 스킴(explicit Euler schemes)을 사용하는 기존의 많은 MMD 그래디언트 흐름과 달리, EVI-MMD는 내재적 오일러 스킴을 사용합니다. 이 이산화 방식은 각 반복에서의 입자 업데이트를 **근접 최소화 문제(proximal minimization problem)**로 변환합니다:
   $$\{x_i^{(n+1)}\} = \arg \min_{\{x_i\}} \left( \frac{G}{2\tau N} \sum_{i=1}^N \|x_i - x_i^{(n)}\|^2 + F_h(\{x_i\}) \right)$$
   여기서 $F_h$는 이산화된 자유 에너지(MMD)이며, 첫 번째 항은 규제(regularization) 역할을 합니다. 이 문제는 L-BFGS와 같은 최적화 알고리즘을 사용하여 효율적으로 해결됩니다.
3. 자유 에너지 추정:
   • 완전히 지정된 분포의 경우: MMD 계산에서의 "교차 항(cross-term)"은 입자들을 중심으로 하는 가우시안 분포에서 추출된 샘플을 사용한 몬테카를로 적분을 통해 추정됩니다.
   • 이표본 문제의 경우: 교차 항은 훈련 데이터(또는 그 미니 배치)를 사용하여 직접 계산됩니다.
4. 적응형 대역폭 전략: 이 방법의 핵심 구성 요소는 가우시안 커널에 대해 정의된 동적 대역폭 선택 전략 $h_n = a/n^c + b$입니다.
   • 탐색 대 활용(Exploration vs. Exploitation): 이 전략은 "탐색"(입자를 고밀도 영역으로 이동시킴)을 장려하기 위해 큰 대역폭($h_n$)에서 시작하여, 점진적으로 "활용"(입자의 정렬을 미세 조정함)을 용이하게 하기 위해 대역폭을 감소시킵니다.
   • 매개변수: $a$는 초기 입자들의 쌍별 거리 중앙값으로 설정되며, $b$는 작은 하한값, $c$는 감소율을 제어합니다.

주요 기여
본 논문은 네 가지 주요 기여를 식별합니다:

1. 수치적 안정성: 내재적 오일러 스킴을 활용함으로써, 업데이트를 근접 최소화 문제로 전환합니다. 이는 내재적인 안정성을 제공하여, 명시적 스킴에서 흔히 발생하는 입자 붕괴나 발산의 위험 없이 더 큰 타임 스텝을 사용할 수 있게 합니다.
2. 대역폭 문제 해결: 저자들은 휴리스틱한 동적 대역폭 선택 전략을 도입했습니다. 비록 휴리스틱임이 인정되지만, 이는 커널 기반 방법의 민감도 문제인 고정 대역폭 매개변수를 해결하기 위한 중요한 진전이며, 전역적 탐색과 국소적 정교화 사이의 균형을 맞춥니다.
3. 다양성: 이 알고리즘은 (근사 추론을 위한) 완전히 지정된 타겟 분포와 이표본 문제(생성 모델링)를 모두 처리할 수 있도록 설계되었습니다. 반면 기존의 많은 MMD 방법은 후자에 국한되어 있습니다.
4. 그래디언트 프리(Gradient-Free) 작동: $\nabla \log \rho^*$가 필요한 KL 발산 기반 방법(예: SVGD, LMC)과 달리, EVI-MMD는 밀도 값이나 샘플에만 의존합니다. 이는 그래디언트 계산이 비용이 많이 들거나 실행 불가능한 분포에도 적용 가능하게 만듭니다.

결과
저자들은 세 그룹의 수치 실험을 통해 EVI-MMD를 평가했습니다:

• 토이 예제(Toy Examples): 스타 형태, 8개 성분의 가우시안 혼합, 그리고 파형(wave-shaped) 분포에서 EVI-MMD는 SVGD, LMC 및 명시적 EVI 변형 모델에 비해 MMD를 최소화하는 데 있어 우수한 성능을 보였습니다. 적응형 대역폭 덕분에 입자들이 효율적으로 수렴하며 정체 구간(plateaus)을 피할 수 있었습니다.
• 고차원 가우시안 샘플링: $d=10$에서 $d=100$에 이르는 차원에서, EVI-MMD는 에너지 거리(Energy Distance)를 최소화하는 Support-Points 방법과 대등한 결과를 냈으며, Support-Points가 수렴에 어려움을 겪는 고차원에서는 이를 능가했습니다.
• 생성 모델링: MNIST, Fashion-MNIST, CIFAR10 데이터셋에 적용했을 때, EVI-MMD는 훈련 데이터와 시각적으로 유사한 이미지를 생성했습니다. 정량적으로, 에너지 거리 기반 EVI 방법과 비슷하거나 약간 더 나은 FID 점수를 달면서, MNIST와 CIFAR10 케이스에서 약간 더 선명한 이미지를 생성했습니다.

의의 및 주장
본 논문은 EVI-MMD가 결정론적 샘플링을 위한 견고하고 안정적이며 다재다능한 대안을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 통합 프레임워크: MMD 최소화 및 내재적 이산화를 결에는 결합함으로써 일반적인 EVI 프레임워크의 강력함을 입증합니다.
• 실용적 유용성: 이 방법은 그래디언트 정보 없이도 고차원 문제와 생성 작업을 효과적으로 처리합니다.
• 휴리스틱 혁신: 적응형 대역폭 전략은 커널 방법의 고질적인 과제를 해결하기 위한 의미 있는(비록 휴리스틱이지만) 솔루션으로 제시되며, 실제 성능을 크게 향상시킵니다.

한계점
저자들은 몇 가지 한계점을 겸허히 인정합니다:

• 계산 복잡도: 목적 함수의 쌍별 상호작리(pairwise interaction)로 인해 반복당 $O(N^2)$의 복잡도가 발생하지만, 이표본 문제의 경우 미니 배칭을 통해 이를 완화합니다.
• 휴리스틱 특성: 동적 대역폭 선택은 최적의 감소율($c$)과 그것이 수렴 속도에 미치는 영향에 대한 엄격한 이론적 증명이 부족합니다.
• 매개변수 민감도: "중앙값 트릭(median trick)"이 스케일 선택을 단순화하지만, 극도로 높은 차원이나 다중 모드(multi-modal) 공간에서는 여로 감소 매개변수 $c$와 타임 스텝 $\tau$에 여전히 민감할 수 있습니다.

본 논문은 EVI 프레임워크가 유사한 알고리즘들을 위한 통일된 이론적 토대를 제공하며, 향후 연구에서 "플러그 앤 플레이(plug-and-play)" 기능을 강화하기 위한 자동 튜닝 및 라인 서치(line-search) 방법을 탐구할 수 있다고 결론짓습니다.