Causal Optimal Coupling for Gaussian Input-Output Distributional Data

1. 문제 정의 (Problem Definition)

이 논문은 미지의 입력 - 출력 시스템에서 관측된 분포적 데이터 (distributional data) 를 기반으로 최적의 입력 - 출력 관계를 식별하는 문제를 다룹니다.

• 배경: 입력 과정 $U = \{U_t\}_{t=1}^T$ 와 출력 과정 $Y = \{Y_t\}_{t=1}^T$ 에 대한 주변 분포 (marginal distributions) $\mu$ 와 $\nu$ 는 알려져 있지만, 실제 관측 데이터 간의 페어링 (pairing) 은 알 수 없습니다.
• 목표: 관측된 분포와 일치하면서 주어진 기준 모델 (reference model) 에 최대한 가까운 입력 - 출력 관계를 찾는 것입니다.
• 핵심 제약 (인과성): 시스템의 시간적 구조를 반영하기 위해 인과성 제약 (causality constraint) 을 부과합니다. 즉, 시간 $t$ 시점의 출력 $(Y_1, \dots, Y_t)$ 은 미래의 입력 $(U_{t+1}, \dots, U_T)$ 에 독립적이어야 합니다.
  • 수식적 표현: $(Y_1, \dots, Y_t) \perp\!\!\!\perp (U_{t+1}, \dots, U_T) \mid (U_1, \dots, U_t)$
• 최적화 문제: 이 문제는 슈뢰딩거 브리지 (Schrödinger Bridge) 문제로 공식화됩니다. 주어진 기준 결합 $\gamma$ 와의 쿨백 - 라이블러 (KL) 발산 $D(\pi, \gamma)$ 를 최소화하면서, 주변 분포 $\mu, \nu$ 와 인과성 제약 $\Pi_c(\mu, \nu)$ 를 만족하는 결합 $\pi$ 를 찾는 것입니다.
  • 목적 함수: $\min_{\pi \in \Pi_c(\mu, \nu)} D(\pi, \gamma)$
  • 이는 엔트로피 정규화 인과적 최적 수송 (ECOT, Entropic Causal Optimal Transport) 문제로 불립니다.

2. 방법론 (Methodology)

논문의 핵심은 가우시안 주변 분포와 일반적인 시간 의존 2 차 비용 함수를 가진 경우, 위 ECOT 문제를 효율적으로 해결하기 위한 명시적인 Sinkhorn 반복 알고리즘을 유도하는 것입니다.

A. 기준 모델 및 비용 함수 설정

• 기준 결합 ($\gamma$): 선형 가우시안 인과적 입력 - 출력 모델에 의해 유도됩니다.
  • $Y_t = h_t^\top U_{1:t} + f_t^\top Y_{1:t-1} + b_t + w_t$ (여기서 $w_t$ 는 가우시안 잡음)
• 비용 함수 ($c$): 위 모델에서 유도된 비용 함수는 2 차 형식 (quadratic form) 을 가집니다.
  • $c(u_{1:T}, y_{1:T}) = \sum_{t=1}^T \frac{1}{2\epsilon_t^2}(y_t - h_t^\top u_{1:t} - f_t^\top y_{1:t-1} - b_t)^2$
  • 이는 단순한 $L_2$ 거리 ($\sum (y_t - u_t)^2$) 를 넘어, 시간적 의존성과 동적 상호작용을 포착할 수 있습니다.

B. Sinkhorn 반복 알고리즘의 구체화

기존의 추상적인 Sinkhorn 반복 (Eckstein and Pammer, 2023) 을 가우시안 설정에 맞춰 명시적이고 계산 가능한 형태로 변환했습니다. 알고리즘은 두 단계의 교대 투영 (alternating projections) 으로 구성됩니다.

1. 홀수 반복 (Odd Iteration, 인과성 투영):

   • 입력 주변 분포 $\mu$ 를 고정하고, 인과성 제약 하에서 기준 결합 $\gamma$ 에 가장 가까운 결합을 찾습니다.
   • Theorem 1: 가우시안 가정 하에서, 이 단계의 해 또한 가우시안 분포임을 증명했습니다. 조건부 분포 $\pi(u_t | u_{1:t-1}, y_{1:t-1})$ 와 $\pi(y_t | u_{1:t}, y_{1:t-1})$ 의 매개변수 (평균, 공분산, 회귀 계수) 가 기존 가우시안 매개변수와 새로운 가중치 ($\alpha_t$) 를 통해 명시적으로 업데이트되는 공식을 유도했습니다.
   • 특히, 인과성 제약으로 인해 $u_t$ 가 과거 $y$ 에 의존하지 않도록 ($K^\pi_{ut|y1:t-1} = 0$) 강제됩니다.

2. 짝수 반복 (Even Iteration, 주변 분포 투영):

   • 출력 주변 분포 $\nu$ 를 고정하고, KL 발산을 최소화하는 결합을 찾습니다.
   • Theorem 2: 이 단계의 해도 가우시안이며, 조건부 분포 $\pi(u_{1:T} | y_{1:T})$ 와 $\pi(y_{1:T})$ 의 매개변수가 기준 결합 $\gamma$ 의 매개변수와 일치하도록 업데이트됨을 보였습니다.

3. 수렴 및 모델 복원:

   • 위 두 단계를 반복하여 수렴하면 최적 결합 $\pi^*$ 를 얻습니다.
   • 이 결합으로부터 원래의 선형 가우시안 시스템 식 (5) 의 파라미터 ($h_t, f_t, b_t, \epsilon_t$) 를 조건부 기대값과 공분산을 통해 복원할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 가우시안 ECOT 문제의 명시적 해법: 기존 연구들이 추상적인 반복 알고리즘이나 특수한 경우 (양방향 인과성, 분리 가능한 비용) 에 국한되었던 것과 달리, 단방향 인과성 제약 하에서 일반적인 2 차 비용 함수를 가진 가우시안 문제에 대해 완전히 계산 가능한 (fully tractable) Sinkhorn 반복 공식을 최초로 제시했습니다.
2. 시스템 식별을 위한 새로운 프레임워크: 분포적 데이터 (aggregate data) 에서 동적 시스템 모델을 식별하는 데 인과적 최적 수송 (Causal Optimal Transport) 을 체계적으로 적용하는 이론적 기반을 마련했습니다.
3. 효율적인 알고리즘 구현: 가우시안 분포족이 투영 연산 하에서 불변 (invariant) 성을 가진다는 구조적 특성을 활용하여, 고차원 최적화 문제 없이 매개변수 업데이트만으로 알고리즘을 구현할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 실험 설정: $T=128$ 시간 단계에서 정상 가우시안 과정을 생성하고, 선형 가우시안 상태 공간 모델을 기준 모델로 사용했습니다.
• 비교 분석:
  • 인과적 결합 (Causal Coupling): 인과성 제약을 적용한 경우, 미래 입력에 대한 과거 출력의 의존성이 제거되었습니다.
  • 비인과적 결합 (Non-causal Coupling): 인과성 제약이 없는 일반 OT 문제의 경우, 시간 축을 기준으로 대칭적이지 않고 미래 정보를 이용하는 "예측적 상관관계 (anticipatory correlations)"가 나타났습니다.
• 시각화: 조건부 교차 공분산 (conditional cross-covariance) 히트맵을 통해 인과적 결합이 시간적 인과 구조를 정확히 보존하는 반면, 비인과적 결합은 인과성을 위반하는 패턴을 보임을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 슈뢰딩거 브리지와 인과적 최적 수송을 결합하여, 확률 법 (probability laws) 수준에서 동적 시스템의 관계를 직접 식별할 수 있는 강력한 수학적 도구를 제공했습니다.
• 실용적 가치: 시스템 식별 (System Identification) 분야에서, 개별 데이터 포인트의 페어링이 불가능한 상황 (예: 집계된 데이터, 다른 센서의 데이터) 에서도 인과적 구조를 보존하며 정확한 모델을 학습할 수 있는 방법을 제시합니다.
• 향후 연구 방향: 비선형 기준 모델과 비가우시안 주변 분포로 프레임워크를 확장하여, 시계열 데이터의 생성 모델링 (generative modeling) 에 적용하는 것을 목표로 하고 있습니다.

요약하자면, 이 논문은 가우시안 데이터에 대한 인과적 최적 수송 문제를 해결하기 위한 구체적이고 효율적인 알고리즘을 제안함으로써, 분포 기반 시스템 식별의 새로운 가능성을 열었습니다.