On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control

1. 문제 정의 (Problem Statement)

• 배경: 선형 2 차 가우시안 (LQG) 제어기는 최적 제어 이론의 핵심이지만, 가정한 가우시안 노이즈 분포와 실제 분포가 다를 때 (모델 오기정) 성능이 급격히 저하될 수 있습니다.
• 목표: 기존의 확률적 LQG 문제와 적대적 (adversarial) H∞ 제어의 장점을 결합하기 위해, 분포 강건 (Distributionally Robust, DR) LQG 제어 문제를 제안합니다.
• 핵심 가정:
  • 시스템은 이산 시간 선형 동역학 시스템 ($x_{t+1} = A_t x_t + B_t u_t + w_t$, $y_t = C_t x_t + v_t$) 입니다.
  • 노이즈 ($w_t, v_t$) 와 초기 상태 ($x_0$) 의 분포는 알려져 있지 않으며, Sinkhorn 불확실성 집합 (Ambiguity Set) 내에 존재합니다.
  • 이 집합은 명목상 (nominal) 가우시안 분포를 중심으로 Sinkhorn 불일치 (Sinkhorn Discrepancy) 로 정의된 거리 내에 있는 모든 분포로 구성됩니다.
• 최적화 문제: 제어 설계자는 비용 함수를 최소화하는 정책을 선택하고, 자연 (adversary) 은 주어진 불확실성 집합 내에서 비용을 최대화하는 노이즈 분포를 선택하는 제로섬 게임 (Zero-sum game) 으로 모델링됩니다.
  $$\inf_{\pi} \sup_{P \in \mathcal{S}} \mathbb{E}_P [J(\pi, \delta)]$$

2. 방법론 (Methodology)

저자들은 선형 정책이 이 복잡한 DR 문제에서 전역 최적임을 증명하기 위해 다음과 같은 단계별 분석을 수행했습니다.

가. 정제된 출력 (Purified Output) 재매개변수화

• 기존 관측치 $y_t$ 대신 정제된 출력 (Purified Output, $\eta_t$) 을 도입하여 문제를 재구성했습니다.
• $\eta_t$는 입력 $u_t$와 독립적이며 오직 외란 (노이즈) 에만 의존하므로, 제어 정책 $\pi$를 $\eta$의 함수로 표현할 수 있게 되어 분석이 용이해집니다.

나. 하한 및 상한 문제 구성 (Sandwich Argument)

최적값의 존재와 선형 정책의 최적성을 보이기 위해 "샌드위치" 논법을 사용했습니다.

1. 이중 문제 (Dual Problem) 의 하한 (Lower Bound):

   • 불확실성 집합을 가우시안 분포로만 제한하여 문제를 단순화합니다.
   • 가우시안 분포 간의 Sinkhorn 불일치는 엔트로피 정규화된 Gelbrich 발산 (Entropy-regularized Gelbrich Divergence, $G_\epsilon$) 과 일치함을 증명합니다 (Proposition 1).
   • 이를 통해 무한 차원의 확률 분포 최적화 문제를 유한 차원의 공변행렬 (Covariance Matrix) 최적화 문제로 변환합니다.

2. 원 문제 (Primal Problem) 의 상한 (Upper Bound):

   • 제어 정책을 선형 정책으로 제한하고, 불확실성 집합을 엔트로피 정규화된 Gelbrich 집합으로 확장 (Outer approximation) 합니다.
   • Proposition 3에서 한 분포가 가우시안일 때 Sinkhorn 불일치가 Gelbrich 발산보다 크거나 같음을 증명하여, 이 확장이 유효함을 보입니다.
   • 이 역시 유한 차원 최적화 문제로 변환됩니다.

다. 최적성 증명 (Existence of Nash Equilibrium)

• 변환된 하한 문제와 상한 문제는 서로 쌍대 (Dual) 관계에 있으며, 최적화 순서만 바뀐 형태입니다.
• Lemma 1을 통해 Gelbrich 집합이 볼록 (Convex) 하고 컴팩트 (Compact) 함을 증명했습니다.
• 이를 바탕으로 Sion 의 Min-Max 정리를 적용하여 강 쌍대성 (Strong Duality) 이 성립함을 보였습니다.
• 결과적으로, 원 문제와 이중 문제의 최적값이 일치하며, 선형 정책 (Affine Policy) 과 가우시안 분포가 내쉬 균형 (Nash Equilibrium) 을 이룸을 증명했습니다.

3. 주요 기여 (Key Contributions)

1. Sinkhorn DR LQG 에 대한 선형 정책의 전역 최적성 증명:
   • 기존 Wasserstein DR LQG 연구 [14] 와 유사한 "샌드위치" 논법을 사용하지만, KL 정규화 항의 도입으로 인해 불확실성 집합의 기하학적 구조가 근본적으로 달라졌습니다.
   • 이를 극복하기 위해 Sinkhorn 프레임워크에 특화된 새로운 도구를 개발했습니다.
2. 새로운 하한 및 상한 도출:
   • 정규화된 최적 수송 (Regularized Optimal Transport) 결과를 활용한 새로운 하한 도출.
   • 문헌에 존재하지 않던 Sinkhorn 불일치에 대한 Gelbrich-type 부등식을 증명하여 상한을 유도했습니다.
3. 구조적 및 위상적 성질 규명:
   • 엔트로피 정규화된 Gelbrich 불확실성 집합의 볼록성과 컴팩트성을 증명하여, 최적 해의 존재성을 수학적으로 엄밀하게 보장했습니다.

4. 실험 결과 (Results)

• 시나리오: 불안정한 이산 시간 선형 시스템에 대해 명목 LQG 제어기와 제안된 Sinkhorn DR LQG 제어기를 비교했습니다.
• 성능 평가:
  • 명목 분포 (Nominal Distribution) 하에서: 제안된 DR 제어기는 명목 LQG 보다 약간 높은 비용 (Nominal Performance 저하) 을 보였습니다. 이는 강건성을 위해 명목 성능을 일부 희생한 결과입니다.
  • 적대적 분포 (Adversarial Distribution) 하에서: 노이즈 분포가 불확실성 집합 내에서 최악의 경우로 선택되었을 때, Sinkhorn DR LQG 제어기가 명목 LQG 보다 훨씬 낮은 비용을 달성했습니다.
• 결론: 제안된 방법은 분포적 불확실성에 대해 훨씬 강력한 강건성 (Distributional Robustness) 을 제공함을 수치적으로 입증했습니다.

5. 의의 및 중요성 (Significance)

• 이론적 확장: DR 제어의 복잡성에도 불구하고, LQG 문제의 핵심인 선형 피드백 정책이 여전히 전역 최적임을 증명함으로써, 기존 LQG 이론의 실용성을 DR 환경으로 확장했습니다.
• 실용적 가치: 실제 시스템에서 노이즈 분포가 정확히 가우시안이 아닐 때 발생할 수 있는 성능 저하를 방지하면서도, 계산적으로 tractable 한 (유한 차원 최적화 가능) 해법을 제공합니다.
• 방법론적 혁신: Sinkhorn 거리 (엔트로피 정규화) 를 DR 제어에 적용할 때 발생하는 기하학적 어려움을 해결하기 위한 새로운 수학적 도구를 제시하여, 향후 엔트로피 정규화 기반의 강건 제어 연구에 기여합니다.

요약하자면, 이 논문은 Sinkhorn 불일치를 기반으로 한 분포 강건 LQG 제어 문제를 해결하고, 선형 정책이 이 문제에서 전역적으로 최적임을 수학적으로 증명하며, 수치 실험을 통해 그 유효성을 입증한 중요한 연구입니다.