Constrained Density Estimation via Optimal Transport

1. 문제 정의 (Problem Definition)

이 논문은 기대값 제약 (Expectation Constraints) 하에서 밀도 추정 (Density Estimation) 문제를 해결하기 위한 새로운 프레임워크를 제안합니다.

• 배경: 전통적인 최적 수송 (Optimal Transport, OT) 문제는 소스 (Source) 측도에서 타겟 (Target) 측도로 질량을 이동시키는 최적 매핑을 찾는 것입니다. 그러나 실제 응용 (금융, 통계 추론 등) 에서는 타겟 측도가 명확히 정의되지 않고, 특정 함수들의 기대값이 주어진 값과 일치하거나 이를 초과해야 한다는 제약 조건만 주어지는 경우가 많습니다.
• 목표: 사전 분포 (Prior, $\rho$) 와 타겟 분포 ($\mu$) 간의 **워asserstein 거리 (Wasserstein distance)**를 최소화하면서, 주어진 함수 집합 $\{f_k\}$에 대한 기대값 제약 $\int f_k d\mu = \bar{f}_k$를 만족하는 타겟 밀도를 찾는 것입니다.
• 기존 방법과의 차이: 기존 연구 (예: [2]) 는 주로 KL 발산 (Kullback-Leibler divergence) 을 사용하여 사전 분포와 타겟 분포 간의 차이를 측정했습니다. KL 발산은 수직적 (vertical) 인 불일치를 측정하는 반면, 이 논문에서 사용하는 Wasserstein 거리는 수평적 (horizontal) 인 이동 비용을 측정하여 분포 간의 기하학적 거리를 더 잘 반영합니다.

2. 방법론 (Methodology)

2.1 이론적 프레임워크

• 제약 최적 수송 (Constrained OT): Monge 형식과 Kantorovich 형식을 모두 고려하되, 타겟 측도 $\mu$ 자체가 미지수인 문제를 다룹니다.
  • 목적 함수: $\min \int c(x, T(x)) d\rho(x)$
  • 제약 조건: $\int f_k(y) d\mu = \bar{f}_k$
• 해석적 해 (Analytical Solutions): 1 차원 예시 (Indicator 함수, RELU 함수 등) 를 통해 KL 기반 방법과 OT 기반 방법의 해가 어떻게 다른지 분석했습니다.
  • KL 기반: 분포를 수직으로 늘려 (stretching) 제약 조건을 만족시키며, 이로 인해 날카로운 모서리 (artifacts) 가 발생할 수 있습니다.
  • OT 기반: 분포를 수평으로 이동 (shifting) 시켜 제약 조건을 만족시키며, 이로 인해 질량이 특정 지점에 집중되거나 (accumulation) 빈 공간 (gaps) 이 생길 수 있습니다.

2.2 정규화 및 평활화 (Regularization & Smoothing)

OT 기반 해법에서 발생하는 "질량 집중"이나 "빈 공간"과 같은 비현실적인 아티팩트를 완화하기 위해 **부등식 제약 (Inequality Constraints)**을 도입했습니다.

• 제약 조건:
  1. $\int p_\mu^2(y) dy \le M_\delta$: 작은 집합에 질량이 과도하게 집중되는 것을 방지.
  2. $\int_D \frac{1}{p_\mu(y)} dy \le M_0$: 특정 영역 내에서의 밀도 0 (빈 공간) 을 방지.
• 이를 통해 추정된 분포가 더 매끄럽고 현실적인 형태를 갖도록 유도합니다.

2.3 수치 알고리즘 (Numerical Algorithm)

일반적인 문제에서는 해석적 해를 구할 수 없으므로, 샘플 기반의 수치 알고리즘을 개발했습니다.

• 샘플 기반 접근: 사전 분포 $\rho$를 이산적인 샘플 $\{x_i\}$로 근사하고, 타겟 샘플 $\{y_i\}$를 최적화 변수로 둡니다.
• 애닐링 (Annealing) 전략: 제약 함수 $f_k$가 비연속적 (예: Heaviside 함수) 인 경우, 기울기 소실 (vanishing gradient) 문제가 발생합니다. 이를 해결하기 위해 매끄러운 함수 $f_k^\epsilon$으로 근사한 후, $\epsilon$을 점차 줄여가는 (annealing) 방식을 사용합니다.
• 목표 함수:
  $$L = \frac{1}{n}\sum \|x_i - y_i\|^2 + \sum \lambda_k (\frac{1}{n}\sum f_k^\epsilon(y_i) - \bar{f}_k)^2 + \text{Barrier Terms}$$
  • 제 1 항: 수송 비용 (Wasserstein 거리 근사)
  • 제 2 항: 제약 조건 위반에 대한 페널티 (제곱 손실)
  • 제 3 항: 평활화 부등식 제약을 위한 장벽 함수 (Barrier functions)
• 최적화: 그라디언트 하강법 (Gradient Descent) 과 백트래킹 라인 서치 (Backtracking line search) 를 결합하여 학습합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 기대값 제약 하에서 Wasserstein 거리를 최소화하는 밀도 추정 프레임워크를 정립했습니다.
2. KL 발산 대비 OT의 우위 입증: KL 발산은 분포를 수직으로 왜곡시키는 반면, OT 는 수평 이동을 통해 기하학적 구조를 보존하며 제약 조건을 만족시킴을 이론적 예시와 수치 실험을 통해 보였습니다.
3. 아티팩트 완화 기법: OT 해법에서 발생할 수 있는 질량 집중 및 빈 공간 문제를 해결하기 위한 새로운 부등식 정규화 (Smoothing Inequalities) 를 도입하고 이를 수치적으로 구현했습니다.
4. 실제 적용 가능성 검증: 금융 분야 (옵션 가격 결정) 에 적용하여, 시장 데이터 (바닐라 옵션 가격) 를 기반으로 위험 중립 측정도 (Risk-neutral measure) 를 복원하고, 이를 이용해 엑조틱 옵션 (Exotic options) 을 가격하는 proof-of-concept 실험을 수행했습니다.

4. 실험 결과 (Results)

• 합성 데이터 (Synthetic Data):
  • 1 차원 및 2 차원 예시에서 KL 방법과 비교했을 때, 제안된 OT 방법 (특히 평활화 정규화를 적용한 경우) 이 타겟 분포의 형태를 더 정확하게 복원하고 아티팩트를 줄임이 확인되었습니다.
  • KL 방법은 분포의 꼬리가 급격하게 변하거나 날카로운 모서리가 생기는 반면, OT 방법은 매끄러운 전이를 보여줍니다.
• 금융 사례 연구 (Finance Case Study):
  • 시나리오: 바닐라 옵션 (Vanilla options) 의 시장 가격을 제약 조건으로 사용하여 자산의 위험 중립 분포를 복원하고, 이를 바탕으로 엑조틱 옵션 (Up-and-out, Cash-or-nothing 등) 을 가격했습니다.
  • 성능: 사전 분포 (Prior) 나 KL 기반 방법보다 **Wasserstein 기반 방법 (특히 평활화 버전)**이 실제 가격 (Ground Truth) 에 훨씬 근접한 결과를 보여주었습니다.
  • 정확도: 6 가지 테스트 케이스 중 5 개에서 가장 낮은 상대 오차 (Relative Error) 를 기록했습니다. 이는 Wasserstein 거리가 옵션 가격 결정 (Calibration) 문제에서 효과적인 정규화 척도임을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 최적 수송 이론에 기대값 제약을 통합함으로써, 불완전한 정보 하에서 분포를 추정하는 새로운 수학적 도구를 제공했습니다.
• 실무적 의의: 특히 금융 공학 분야에서, 제한된 시장 데이터 (바닐라 옵션 가격) 로부터 파생상품 가격 결정에 필요한 확률 분포를 복원할 때, 기존 KL 기반 방법보다 더 정확하고 안정적인 결과를 제공합니다.
• 미래 전망: 소스 측도와 타겟 측도 모두 명확히 정의되지 않고 제약 조건만으로 주어지는 상황 (예: 운영 연구에서의 공급/수요 문제) 으로 연구 범위를 확장할 수 있는 가능성을 제시했습니다.

요약하자면, 이 논문은 Wasserstein 거리를 기반으로 한 제약 밀도 추정 프레임워크를 제안하고, 이를 통해 기하학적 구조를 보존하면서 제약 조건을 만족하는 분포를 효율적으로 찾는 알고리즘을 개발하였으며, 금융 옵션 가격 결정이라는 실제 문제에서 그 우수성을 입증했습니다.