Shape-constrained density estimation with Wasserstein projection

본 논문은 $p$-워asserstein 거리 (특히 $p=2$) 를 이용한 투사 기법을 통해 단변량 비모수적 형태 제약 밀도 추정 문제를 연구하고, 비증가 및 로그-볼록 밀도에 대한 구조적 성질을 규명하며 최대우도추정법과 비교 분석합니다.

핵심

1. 핵심 비유: "점토 공예"와 "가장 가까운 거리"

상상해 보세요. 여러분은 흙 (데이터) 을 가지고 있는 조각가입니다.

• 목표: 흙을 어떤 특정한 모양 (예: "점점 낮아지는 언덕"이나 "종 모양") 으로 빚어내야 합니다.
• 문제: 흙 덩어리 (실제 데이터) 가 원래는 불규칙하고 뾰족뾰족합니다. 이를 규칙적인 모양으로 다듬어야 하는데, 어떻게 해야 할까요?

기존의 방법 (최대우도법, MLE) 은 "흙을 최대한 많이 버리지 않고, 모양만 살짝 다듬는" 방식입니다. 마치 흙을 자르거나 붙여서 모양을 맞추는 것처럼요.

이 논문이 제안하는 새로운 방법 (워터스테인 투영, Wasserstein Projection) 은 "흙 덩어리를 가장 적은 힘으로, 가장 자연스럽게 밀어서 모양을 바꾸는" 방식입니다.

• 비유: 흙 덩어리 (데이터) 를 손으로 밀어서 (이동시켜서) 목표 모양 (규칙적인 분포) 에 가장 가깝게 맞추는 것입니다. 이때 "얼마나 멀리 밀어야 하는가"를 거리로 재는데, 이 거리를 워터스테인 거리라고 부릅니다.

2. 왜 이 방법이 특별한가요? (두 가지 주요 규칙)

저자들은 두 가지 중요한 "규칙 (모양 제약)"을 적용했습니다.

A. "계단식 언덕" (단조 감소 분포)

• 상황: 나이가 들수록 인구가 줄어드는 경우처럼, 오른쪽으로 갈수록 높이가 낮아져야 하는 모양입니다.
• 기존 방법의 결과: 데이터가 있는 곳에만 딱 맞춰서 계단을 만듭니다. 데이터가 10 명, 20 명, 30 명에 있다면, 그 점들만 기준으로 계단이 생깁니다.
• 이 방법의 결과: 데이터가 10 명, 20 명에 있더라도, 그 사이를 부드럽게 이어주거나, 데이터 범위를 조금 더 넓혀서 계단을 만듭니다.
  • 예시: 데이터가 -1 과 1 에만 있다면, 기존 방법은 -1 에서 1 까지의 직사각형 모양을 만듭니다. 하지만 이 방법은 -1.5 에서 1.5 까지 더 넓은 직사각형을 만듭니다. 데이터가 없는 곳까지 자연스럽게 영역을 넓혀서 "가장 가까운 모양"을 찾는 것입니다.

B. "종 모양" (로그-볼록 분포)

• 상황: 평균을 중심으로 좌우 대칭인 종 모양 (정규분포처럼) 을 만들어야 합니다.
• 이 방법의 특징: 데이터가 흩어져 있어도, 그 흩어진 모양을 "가장 적은 이동 비용"으로 종 모양으로 만듭니다. 이때 생성된 종 모양은 데이터가 있는 범위를 살짝 넘어서는 경우가 많습니다.

3. 이 방법의 장점과 특징

1. 자연스러운 이동 (기하학적 접근):

   • 기존 방법은 데이터 점들을 "고정"하고 그 점들 사이의 확률만 조정합니다.
   • 이 방법은 데이터 점들을 **"이동"**시킬 수 있다고 생각합니다. 마치 흙을 밀어서 모양을 바꾸는 것처럼, 데이터가 있는 위치를 살짝 움직여서 규칙적인 모양에 가장 가깝게 맞춥니다. 그래서 데이터가 없는 빈 공간까지 자연스럽게 분포를 확장할 수 있습니다.

2. 수학적 안정성:

   • 이 방법은 수학적으로 매우 깔끔한 성질 (볼록 최적화) 을 가집니다. 즉, "최고의 답"이 하나만 존재하며, 컴퓨터가 계산하기에도 매우 효율적입니다.

3. 실제 데이터에서의 차이:

   • 실험 결과, 이 방법은 기존 방법보다 데이터의 범위를 조금 더 넓게 잡는 경향이 있습니다. 이는 데이터가 완벽하지 않거나 (오류가 있거나), 실제 현상이 데이터 범위보다 조금 더 넓게 퍼져있을 때 더 유연하고 안정적인 예측을 가능하게 합니다.

4. 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"데이터를 분석할 때, 단순히 데이터 점들만 보고 맞추는 것보다, 데이터가 '어디로 이동해야 가장 자연스러운 모양이 되는지'를 생각하는 것이 더 좋을 수 있다"**는 것을 보여줍니다.

• 기존 방식: "데이터가 여기 있으니, 여기만 딱 맞춰서 모양을 만들자." (단단하지만 딱딱함)
• 이 논문 방식: "데이터가 여기 있으니, 이걸 살짝 밀어서 가장 자연스럽고 부드러운 모양을 만들자." (유연하고 자연스러움)

이 새로운 방식은 특히 데이터가 부족하거나 불완전한 상황에서, 더 현실적이고 부드러운 예측을 가능하게 해주는 **'통계학의 새로운 나침반'**이 될 수 있습니다.

기술 요약

1. 연구 문제 (Problem Statement)

이 논문은 비모수적 형태 제약 밀도 추정 (Nonparametric Shape-Constrained Density Estimation) 문제를 다루고 있습니다.

• 배경: 관측된 데이터 $X_1, \dots, X_n$으로부터 알 수 없는 분포 $\mu^*$를 추정할 때, 밀도 함수가 특정 형태 (예: 단조 감소, 로그 볼록성 등) 를 가진다는 사전 지식을 활용하는 것이 일반적입니다.
• 기존 접근법: 가장 널리 쓰이는 방법은 **최대우도추정 (MLE)**입니다. MLE 는 우도 함수를 최대화하는 분포를 찾지만, 이는 쿨백 - 라이블러 (KL) 발산에 기반한 기하학적 구조를 따릅니다.
• 문제 제기: MLE 는 모델이 오설정 (misspecified, 즉 참 분포가 제약 집합에 속하지 않음) 되었을 때나 데이터의 기하학적 구조를 반영해야 할 때 한계가 있을 수 있습니다.
• 목표: 본 논문은 최적 수송 (Optimal Transport) 이론, 특히 Wasserstein 거리를 기반으로 한 새로운 추정 방법인 **Wasserstein 투영 추정량 (Wasserstein Projection Estimator)**을 제안하고, 그 이론적 성질과 실용성을 분석하는 것입니다.

2. 방법론 (Methodology)

2.1. Wasserstein 투영 추정량

데이터의 경험적 분포 $\mu_n = \frac{1}{n}\sum \delta_{X_i}$와 주어진 형태 제약 집합 $F$ (예: 단조 감소 밀도들의 집합) 사이에서 **$p$-Wasserstein 거리 ($W_p$)**를 최소화하는 분포를 추정량으로 정의합니다.
$$\hat{\mu}_n := \arg\min_{\nu \in F} W_p(\nu, \mu_n)$$
이는 $F$에 대한 Wasserstein 투영으로 해석됩니다.

2.2. 단변수 설정과 양적 함수 (Quantile Functions)

• 단변수 (Univariate) 가정: 논문은 1 차원 ($\mathbb{R}$) 설정에 집중합니다. 이는 1 차원에서 Wasserstein 공간의 **이동 볼록성 (Displacement Convexity)**이 양적 함수 (Quantile Function) 공간에서의 일반적인 볼록성과 동치이기 때문입니다.
• 양적 함수 표현: 분포 $\mu$를 그 양적 함수 $Q_\mu(u) = \inf\{x : \mu((-\infty, x]) \ge u\}$로 매핑하면, $W_p$ 거리는 $L_p$ 노름과 등거리 (Isometry) 가 됩니다:
  $$W_p(\mu, \nu) = \|Q_\mu - Q_\nu\|_p$$
  이로 인해 복잡한 최적 수송 문제가 $L_p$ 공간에서의 볼록 최적화 문제로 변환됩니다.

2.3. 이동 볼록성 (Displacement Convexity)

추정량의 존재성과 유일성을 보장하기 위해, 제약 집합 $F$가 **이동 볼록 (Displacement Convex)**이고 $W_p$에 대해 닫혀 있다고 가정합니다.

• $p=2$인 경우, 투영 사상은 1-Lipschitz 성질을 가지며, 이는 유한 표본 성능 분석에 핵심적입니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

논문은 두 가지 대표적인 형태 제약 사례에 대해 구조적 성질을 증명하고 알고리즘을 제안합니다.

3.1. 단조 감소 밀도 추정 (Monotone Density Estimation on $\mathbb{R}_+$)

• 구조적 성질 (Theorem 3.6): $p=2$일 때, 추정된 밀도는 **유한 개의 구간에서 상수인 조각별 상수 함수 (Piecewise Constant)**이며, **유계 지지집합 (Compactly Supported)**을 가집니다.
• MLE 와의 차이:
  • MLE (Grenander 추정량) 의 지지집합은 데이터의 볼록 껍질 (Convex Hull) 과 일치하지만, Wasserstein 투영 추정량은 데이터 범위를 벗어날 수 있습니다.
  • 예시: 데이터가 $\{-1, 1\}$에 균일하게 분포할 때, MLE 는 $[-1, 1]$의 균일 분포를 반환하지만, Wasserstein 투영 (2-Wasserstein) 은 $[-1.5, 1.5]$의 균일 분포를 반환합니다. 이는 상태 공간의 기하학을 반영하여 더 넓은 지지집합을 허용함을 보여줍니다.

3.2. 로그 볼록 밀도 추정 (Log-Concave Density Estimation on $\mathbb{R}$)

• 구조적 성질 (Theorem 4.7): $p=2$일 때, 추정된 밀도는 유한 개의 구간에서 로그 - 아핀 (Log-Affine, 즉 $\log f$가 선형) 인 조각별 로그 볼록 함수이며, 유계 지지집합을 가집니다.
• 수렴성: 참 분포가 로그 볼록할 때, 추정량의 $W_2$ 거리는 $O(\frac{\log n}{n})$ 또는 $O(\frac{1}{n})$의 속도로 수렴함을 보였습니다 (Proposition 4.5).
• 비모노톤성: Wasserstein 투영은 확률 우세 (Stochastic Dominance) 에 대해 단조성을 가지지 않을 수 있음을 반례로 보였습니다.

3.3. 알고리즘 구현 (Implementation)

• 이산화 (Discretization): 양적 함수를 구간별 선형 (Piecewise Affine) 함수로 근사하여 문제를 2 차 계획법 (Quadratic Programming) 또는 볼록 최적화 문제로 변환했습니다.
• 구현 도구: R 언어의 quadprog (단조성), nloptr (로그 볼록성) 패키지를 사용하여 구현하였으며, Grenander 추정량 (MLE) 과 비교 실험을 수행했습니다.

4. 실험 결과 및 비교 (Empirical Results)

• 단조성 사례: MLE 는 데이터의 분포 함수의 가장 큰 볼록 하한 (Greatest Convex Minorant) 을 따르는 반면, Wasserstein 투영은 $L_2$ 거리 관점에서 경험적 양적 함수를 더 잘 근사합니다. 특히 데이터의 꼬리 부분이나 지지집합의 크기에서 두 추정량은 상이한 균형을 보입니다.
• 로그 볼록성 사례: MLE 는 항상 데이터의 볼록 껍질에 지지집합을 갖는 반면, Wasserstein 투영은 데이터 범위를 약간 넘어서는 더 넓은 지지집합을 가질 수 있습니다. 이는 오설정 (Misspecification) 된 모델 (예: 쌍봉 분포) 에서 더 유연한 적응을 가능하게 합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 기여: 최적 수송 기반의 통계적 추론이 비모수적 형태 제약 문제에서 어떻게 작동하는지에 대한 체계적인 이론적 기반을 마련했습니다. 특히, $p=2$일 때의 Lipschitz 성질과 구조적 성질 (조각별 상수/로그 - 아핀) 을 증명했습니다.
• 실용적 의미: MLE 와는 다른 기하학적 관점 (Euclidean 기하학 반영) 을 제공하여, 모델이 오설정되었을 때나 데이터의 물리적/공간적 구조가 중요한 상황에서 대안적인 추정 방법을 제시합니다.
• 한계 및 향후 과제:
  • 현재는 1 차원 설정에 국한되어 있으며, 다변수 (Multivariate) 로 확장 시 Wasserstein 공간의 곡률 문제로 인해 이동 볼록성이 성립하지 않아 추가 연구가 필요합니다.
  • 절단점 (Break points) 의 정확한 위치와 개수에 대한 더 깊은 이해가 필요하며, 이는 알고리즘 효율성 향상으로 이어질 것입니다.
  • Sinkhorn 거리 (엔트로피 정규화) 와의 결합이나 Fisher-Rao 거리와의 보간 등 새로운 거리 척도 연구가 필요합니다.

요약하자면, 이 논문은 최대우도추정 (MLE) 의 대안으로서 Wasserstein 거리를 이용한 형태 제약 밀도 추정을 제안하고, 1 차원 단조 및 로그 볼록성 제약 하에서 추정량의 구조적 성질 (유계 지지, 조각별 형태) 을 증명하며, 이를 수치적으로 구현하여 MLE 와의 차이를 실증적으로 보여준 중요한 연구입니다.