Two-Sided Bounds for Entropic Optimal Transport via a Rate-Distortion Integral

1. 연구 배경 및 문제 정의 (Problem)

• 최적 수송 (Optimal Transport, OT): 수학적 분석, 머신러닝, 통계학 등 다양한 분야에서 핵심적인 도구로 사용되며, 특히 한 측이 가우시안 분포인 경우 생성 모델 등에서 중요한 역할을 합니다.
• 기존 연구 (Liu et al. [1]): 최근 연구에서는 가우시안 측도 $\gamma$와 임의의 확률 측도 $\mu$ 사이의 최대 기대 내적 (maximum expected inner product) 이 **정보 왜곡 적분 (Rate-Distortion Integral)**과 동치임을 보였습니다.
  $$\sup_{P_{YZ} \in \Pi(\gamma, \mu)} \mathbb{E}[\langle Y, Z \rangle] \asymp \int_0^\infty \sqrt{R_\mu(\sigma^2)} d\sigma$$
  여기서 $R_\mu$는 정보 왜곡 함수 (rate-distortion function) 입니다. 이는 Dudley 적분과 유사하지만, 기존 Dudley 적분이 상한 (upper bound) 만 제공하는 반면, 이 식은 **양면적 경계 (two-sided bound)**를 제공합니다.
• 본 연구의 목표: 위 결과를 상호 정보량 (Mutual Information, MI) 제약 또는 **정규화 (Regularization)**가 있는 엔트로피 최적 수송 문제로 확장하는 것입니다. 구체적으로, 상호 정보량 $I(Y; Z) \le R$이라는 제약 하에 $\mathbb{E}[\langle Y, Z \rangle]$를 최대화하는 값이 적절히 잘린 (truncated) 정보 왜곡 적분과 동치임을 증명하는 것입니다.

2. 주요 방법론 (Methodology)

본 논문은 기존 연구 [1] 에서 사용된 리프팅 (Lifting) 기법을 기반으로 하되, 상호 정보량 제어를 위해 중요한 개선을 가했습니다.

• 확률적 리프팅 (Stochastic Lifting):
  • 기존 방법: 확률 분포 $\mu$의 유형 클래스 (Type Class) 전체를 인덱스로 하는 가우시안 과정을 구성했습니다. 유형 클래스는 치환 불변성 (permutation invariance) 을 가지므로 정상 과정 (stationary process) 이 되어 Dudley 적분의 엄밀성이 보장되었습니다.
  • 본 논문의 개선: 유형 클래스 전체를 사용하는 것은 상호 정보량 제어를 어렵게 만들 수 있습니다 ("overfitting" 문제). 따라서 저자는 유형 클래스에서 **무작위로 선택된 부분 집합 (randomly selected subset)**을 인덱스로 하는 가우시안 과정을 구성합니다.
• 집중 현상 (Concentration) 활용:
  • 무작위 부분 집합은 더 이상 치환 불변성이 없지만, 각 볼 (ball) 내의 선택된 점의 수가 이중 지수 집중 (double-exponential concentration) 현상을 보일 정도로 균일하게 분포합니다.
  • 이 집중 현상이 유효한 구간 (적분 구간) 으로만 적분을 제한 (truncate) 함으로써, 생성된 과정이 여전히 "거의 정상적 (close to stationary)"으로 간주될 수 있음을 보입니다.
• 주요 측정 정리 (Majorizing Measure Theorem) 적용:
  • 구성된 가우시안 과정의 상한과 하한을 구하기 위해 Talagrand 의 주요 측정 정리를 적용합니다. 이는 가우시안 과정의 기대 supremum 을 측정론적 양 (measure-theoretic quantity) 으로 평가하는 강력한 도구입니다.

3. 주요 결과 (Key Results)

논문은 상호 정보량 제약 하의 최적 수송 거리 $w(\gamma, \mu, R)$와 정규화된 버전 $f(\gamma, \mu, \beta)$에 대해 다음과 같은 양면적 경계를 제시합니다.

• 정리 1 (정보 제약 최적 수송):
  가우시안 $\gamma = N(0, I_n)$과 분포 $\mu$에 대해, 상호 정보량 $R$ 제약 하의 최대 기대 내적은 다음과 같이 정보 왜곡 함수 $i_\mu(\sigma)$의 적분과 동치입니다.
  $$w(\gamma, \mu, R) \asymp \int_0^\infty \sqrt{R \wedge i_\mu(\sigma)} d\sigma$$
  여기서 $a \wedge b = \min(a, b)$이며, $i_\mu(\sigma)$는 특정 거리 제약 하의 최소 상호 정보량을 의미합니다. 적분 구간이 $R$에 의해 잘리는 (truncated) 형태가 핵심입니다.

• 정리 2 (정규화된 최적 수송):
  상호 정보량에 대한 페널티 $\beta$가 있는 경우 (Regularized version), 다음과 같은 부등식이 성립합니다.
  $$f(\gamma, \mu, \beta) \asymp \int_\beta^\infty \phi(\mu, \alpha) d\alpha$$
  여기서 $\phi(\mu, \alpha) := \inf_{\sigma > 0} \{ i_\mu(\sigma^2) + \frac{\sigma^2}{\alpha^2} \}$입니다.

• 텐서화 성질 (Tensorization):
  정리 2 는 정확한 텐서화 (exact tensorization) 성질을 가집니다. 즉, 독립적인 분포들의 곱에 대해 함수값이 합해집니다 ($f(\gamma_1 \times \gamma_2, \mu_1 \times \mu_2, \beta) = f(\gamma_1, \mu_1, \beta) + f(\gamma_2, \mu_2, \beta)$). 이는 통계적 분석과 고차원 문제에서 매우 유리한 특성입니다.

4. 의의 및 기여 (Significance)

1. 이론적 엄밀성 확보: 엔트로피 최적 수송 (상호 정보량 제약) 에 대해 Dudley 적분과 유사한 형태의 **양면적 경계 (two-sided bound)**를 최초로 제시했습니다. 기존에는 상한만 알려져 있었거나, 차원 의존적 (dimension-dependent) 인 경계만 존재했습니다.
2. 새로운 증명 기법: 유형 클래스의 무작위 부분 집합을 이용한 리프팅 기법을 통해, 상호 정보량 제어를 자연스럽게 통합하면서도 가우시안 과정의 정상성 근사성을 유지하는 방법을 제시했습니다. 이는 "과적합 (overfitting)"을 피하면서도 정보 이론적 제약을 만족시키는 새로운 접근법입니다.
3. 메이저링 측정 정리 (Majorizing Measure Theorem) 의 간소화: 이 결과를 통해 Talagrand 의 유명한 메이저링 측정 정리가 정보 이론적 부등식 (데이터 처리 부등식 등) 을 통해 더 간결하게 유도될 수 있음을 시사합니다.
4. 응용 가능성:
   • 머신러닝 및 최적화: Sinkhorn 알고리즘 등 엔트로피 정규화를 사용하는 알고리즘의 수렴성 분석 및 성능 한계 규명에 적용 가능합니다.
   • 통계적 회귀: 더 정밀한 수렴 속도 (sharper rates) 를 제공할 수 있습니다.
   • 서브-가우시안 비교 정리: 새로운 비교 정리를 통해 확률 과정의 행동을 더 잘 이해할 수 있게 합니다.

5. 결론

이 논문은 정보 이론 (정보 왜곡, 유형 이론) 과 확률 과정 (가우시안 과정, 메이저링 측정 정리) 을 결합하여, 엔트로피 정규화 최적 수송 문제에 대한 강력한 양면적 경계를 확립했습니다. 특히 무작위 부분 집합을 통한 리프팅 기법은 상호 정보량 제어가 있는 복잡한 최적화 문제를 해결하는 데 있어 새로운 패러다임을 제시하며, 머신러닝 이론 및 고차원 통계학 분야에서 중요한 기여를 할 것으로 기대됩니다.