A convergence rate for the entropic JKO scheme

이 논문은 **엔트로피 정규화 (Entropic Regularization)**가 적용된 **JKO 스킴 (Jordan-Kinderlehrer-Otto scheme)**의 수렴 속도를 분석하고, 이를 고전적인 JKO 스킴 및 해당 편미분방정식 (PDE) 의 해와 비교하는 것을 목표로 합니다. 저자 Aymeric Baradat 와 Sofiane Cherf 는 엔트로피 정규화 파라미터 $\alpha$와 시간 간격 $\tau$가 모두 0 으로 수렴할 때, 두 스킴 간의 Wasserstein 거리에 대한 명시적인 수렴 속도를 제시합니다.

다음은 논문의 주요 내용, 방법론, 기여도 및 결과에 대한 상세한 기술적 요약입니다.

1. 연구 배경 및 문제 제기 (Problem Statement)

• JKO 스킴: Wasserstein 공간에서 정의된 함수 $F$의 기울기 흐름 (Gradient Flow) 을 이산 시간 근사로 구성하는 변분법적 방법입니다. 이는 PDE $\partial_t \rho - \text{div}(\rho \nabla \frac{\delta F}{\delta \rho}) = 0$의 해를 구하는 데 사용됩니다.
• 계산적 비용: 실제 구현에서 Wasserstein 거리 $W_2$를 계산하는 것은 수치적으로 매우 비용이 많이 듭니다.
• 엔트로피 정규화 (Entropic JKO): 이 문제를 해결하기 위해 Wasserstein 거리를 **엔트로피 정규화 (Schrödinger cost, $Sch_{\alpha\tau}$)**로 대체하는 접근법이 널리 사용됩니다. 이는 Sinkhorn 알고리즘을 통해 효율적으로 계산할 수 있게 합니다.
• 수렴성 문제:
  • 기존 연구 [11] 에서는 $\alpha$가 $\tau$보다 훨씬 빠르게 0 으로 수렴할 때 ($\alpha |\ln \alpha| = O(\tau)$) 엔트로피 JKO 스킴이 원래 PDE 의 해로 수렴함이 증명되었습니다.
  • 최근 연구 [4] 에서는 $\alpha$가 $\tau$에 비례하여 ($\alpha = \alpha_\infty \tau$) 수렴할 때, 엔트로피 JKO 스킴이 **추가적인 확산 항 ($\frac{\alpha_\infty}{2} \Delta \rho$)**이 포함된 수정된 PDE 로 수렴함이 보였습니다.
• 연구의 공백: 기존 연구들은 수렴성 자체는 증명했으나, **엔트로피 JKO 스킴과 원래 PDE 해 (또는 고전적 JKO 스킴) 사이의 명시적인 오차 bound(수렴 속도)**를 제공하지 못했습니다. 특히 $\alpha$와 $\tau$에 대한 정량적인 의존성을 규명하지 못했습니다.

2. 주요 가정 및 설정 (Assumptions & Setup)

논문은 다음 가정을 기반으로 합니다 (Hypothesis 1.1):

1. 하위 반연속성 (Lower Semicontinuity): $F$는 $P_2(\mathbb{R}^d)$에서의 약한 수렴에 대해 하위 반연속입니다.
2. 일반화된 측지선 볼록성 (Convexity along Generalized Geodesics): $F$는 $\lambda$-볼록합니다. 이는 JKO 스킴의 안정성과 수렴성을 보장하는 핵심 조건입니다.
3. 열 흐름에 대한 제어: $F(\mu * \sigma_t) \le F(\mu) + K t/2$를 만족하는 상수 $K$가 존재합니다. 이는 엔트로피 흐름 하에서 에너지가 어떻게 변하는지를 제어합니다.

목표:
초기 조건 $\mu_0$에서 시작하여 시간 $t$까지 $n$단계 ($\tau = t/n$) 를 거친 고전적 JKO 스킴 $J^0_{n,\tau}(\mu_0)$과 엔트로피 JKO 스킴 $J^\alpha_{n,\tau}(\mu_0)$ 사이의 Wasserstein 거리 $W_2$를 $\alpha$와 $\tau$의 함수로 상한 (Upper Bound) 하는 것입니다.

3. 방법론 (Methodology)

저자들은 두 스킴 간의 거리를 추정하기 위해 다음과 같은 전략을 사용합니다.

1. 이산적 Gronwall 부등식 및 삼각 부등식:
   $k$단계와 $k+1$단계 사이의 거리를 비교하기 위해 삼각 부등식을 적용하여 두 항으로 분해합니다:
   $$W_2(J^0_{k+1}, J^\alpha_{k+1}) \le \underbrace{W_2(J^0_\tau(J^0_k), J^0_\tau(J^\alpha_k))}_{\text{(I): 고전적 JKO 의 안정성}} + \underbrace{W_2(J^0_\tau(J^\alpha_k), J^\alpha_\tau(J^\alpha_k))}_{\text{(II): 스킴 간 차이 (Perturbation)}}$$

2. 항 (I) 의 추정:
   고전적 JKO 스킴의 **수축 성질 (Contraction Property)**을 이용합니다. $\lambda$-볼록성에 기반한 이산적 진화 변분 부등식 (Discrete EVI) 을 사용하여, 서로 다른 초기 조건에서 시작하는 고전적 JKO 스킴 간의 거리가 어떻게 수축하는지 보여줍니다.

3. 항 (II) 의 추정 (핵심 기여):
   이것이 논문의 주요 혁신입니다. 같은 초기 조건 $J^\alpha_k$에서 시작하여 고전적 JKO ($J^0_\tau$) 와 엔트로피 JKO ($J^\alpha_\tau$) 를 한 단계씩 진행했을 때의 거리를 추정합니다.

   • 경쟁자 (Competitor) 구성: 고전적 JKO 의 해 $J^0_\tau(\mu)$를 엔트로피 문제의 경쟁자로 사용합니다. 구체적으로, 고전적 해에 열 흐름 (Heat flow, $\sigma_{\alpha\tau}$) 을 합성 ($*$) 한 것을 엔트로피 문제의 후보로 삼습니다.
   • 비용 차이 분석: 엔트로피 비용 (Schrödinger cost) 과 Wasserstein 비용의 차이, 그리고 에너지 함수 $F$의 변화를 정량화합니다.
   • Fisher 정보 (Fisher Information) 활용: 엔트로피 정규화의 오차 항을 Fisher 정보 ($\int |\nabla \ln \rho|^2 d\rho$) 와 연결하여 bound 합니다.

4. 수렴 속도 유도:
   위 추정들을 반복적으로 적용하고 이산적 Gronwall 부등식을 사용하여 $n$단계 후의 총 오차를 유도합니다.

4. 주요 결과 (Key Results)

4.1. 주 정리 (Theorem 1.3): 엔트로피 JKO 와 고전적 JKO 간의 오차 bound

$\lambda$-볼록 함수 $F$에 대해, 시간 $t=n\tau$에서의 두 스킴 간의 Wasserstein 거리는 다음과 같이 bound 됩니다.

• $\lambda = 0$인 경우:
  $$W_2(J^0_{n,\tau}, J^\alpha_{n,\tau}) \le \sqrt{2\tau(F(\mu_0) - F(J^0_{n,\tau}))} + \sqrt{n\tau\alpha(H(\mu_0) - H(J^\alpha_{n,\tau}) + Kn\tau)}$$
• $\lambda \neq 0$인 경우:
  $\lambda$의 부호에 따라 지수적 인자가 추가되며, $\tau$가 충분히 작을 때 위와 유사한 형태의 bound 가 성립합니다.

이 결과는 엔트로피 파라미터 $\alpha$와 시간 간격 $\tau$가 모두 0 으로 갈 때 두 스킴이 서로 수렴함을 정량적으로 보여줍니다.

4.2. 코롤러리 1.3.1: 원래 PDE 해에 대한 수렴 속도

위 결과와 기존 JKO 스킴의 수렴 속도 (Ambrosio-Gigli-Savaré) 를 결합하면, 엔트로피 JKO 스킴이 원래 PDE 의 해 $\rho_0(t)$로 수렴하는 속도를 얻을 수 있습니다.
$$W_2(J^\alpha_{n,t/n}(\mu_0), \rho_0(t)) \le C \left( \sqrt{\alpha} + \sqrt{\frac{1}{n}} \right)$$
여기서 $C$는 초기 조건, 시간, 함수 $F$의 성질 등에 의존하는 상수입니다. 이는 $\alpha$와 $1/\sqrt{n}$에 선형적으로 비례하는 수렴 속도를 의미합니다.

4.3. 최적성 분석 (Optimality in $\alpha$)

• 연속적 한계 (Continuous Limit): PDE 수준에서 두 해 ($\rho_0$와 $\rho_\alpha$) 간의 거리를 분석한 결과 (Theorem 1.4), 오차가 $\sqrt{\alpha}$에 비례함이 확인되었습니다.
• 이산적 한계 (Discrete Case): 저자들이 유도한 이산적 bound 를 $\tau \to 0$으로 보내면, 연속적 bound 와 2 배 차이를 제외하고는 동일한 차수 (order) 를 가짐을 보입니다.
• 가우스 모델 (Toy Model): 가우스 분포를 갖는 간단한 모델 (조화 퍼텐셜) 에서 계산을 수행하여, 유도된 bound 가 $\tau \to 0$일 때 실제로 **최적 (Sharp)**에 가깝다는 것을 증명했습니다. 즉, $\alpha$에 대한 의존성은 최적이며, $\tau$에 대한 의존성은 아직 최적화 여지가 있음을 시사합니다.

5. 의의 및 결론 (Significance)

1. 정량적 수렴성 확보: 엔트로피 정규화가 포함된 JKO 스킴이 원래 물리 시스템 (PDE) 을 얼마나 잘 근사하는지에 대한 명시적인 오차 한계를 최초로 제시했습니다. 이는 수치 해석적 신뢰도를 높이는 데 기여합니다.
2. $\alpha$와 $\tau$의 균형: 엔트로피 파라미터 $\alpha$를 시간 간격 $\tau$와 어떻게 조화시켜야 하는지에 대한 이론적 근거를 제공합니다. $\alpha \sim \tau$일 때 추가 확산이 발생하지만, $\alpha \to 0$일 때 원래 해로 수렴함을 보였습니다.
3. 알고리즘 선택 가이드: 실제 계산에서 Sinkhorn 알고리즘 (엔트로피 JKO) 을 사용할 때, 원하는 정확도를 얻기 위해 필요한 $\alpha$와 $\tau$의 크기를 예측하는 데 활용될 수 있습니다.
4. 이론적 확장: 엔트로피 정규화 설정에서도 JKO 스킴의 안정성 (Discrete EVI) 을 어떻게 우회하여 분석할 수 있는지 보여줌으로써, 향후 유사한 변분 문제 연구에 방법론적 토대를 마련했습니다.

요약하자면, 이 논문은 엔트로피 정규화 JKO 스킴의 수치적 효율성과 이론적 정확성 사이의 관계를 정량적으로 규명하여, 확률적 미분방정식 및 최적 수송 기반의 PDE 수치 해법 발전에 중요한 기여를 했습니다.