Distributionally Robust PAC-Bayesian Control

1. 연구 배경 및 문제 정의 (Problem)

• 학습 기반 제어의 취약성: 기계 학습을 제어 이론에 접목하면 데이터로부터 직접 제어 정책을 합성할 수 있지만, 이러한 제어기는 훈련 데이터와 배포 (실제 적용) 환경 간의 분포 변화 (Distribution Shift) 에 매우 취약합니다. 이를 '시뮬레이션 - 현실 간극 (Sim-to-Real Gap)'이라고도 합니다.
• 기존 방법의 한계:
  • 기존 PAC-Bayes 기반 제어 연구는 주로 유계 손실 (Bounded Losses) 을 가정하거나, 훈련과 배포 분포가 일치한다고 가정합니다.
  • 실제 제어 시스템에서는 손실이 무계 (Unbounded) 일 수 있으며 (예: 상태나 입력의 크기), 훈련 데이터와 실제 환경의 불일치가 성능을 급격히 저하시킬 수 있습니다.
  • 기존 분산 강건 최적화 (DR) 기법들은 종종 제어 정책에 의존하지 않는 단순한 상수 항으로 분포 변화에 대한 패널티를 부과하여, 실제 제어기의 민감도를 반영하지 못했습니다.
• 핵심 문제: 유한 샘플 데이터로 학습된 제어기가, 훈련 분포와 다른 실제 배포 환경에서도 높은 확률로 보장되는 성능 (Safety Certificate) 을 가지도록 하는 프레임워크를 개발하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 PAC-Bayes 일반화 이론과 1-워터스테인 (Type-1 Wasserstein) 거리를 이용한 분산 강건 최적화 (DR) 를 결합한 새로운 프레임워크를 제안합니다.

A. 핵심 이론적 도구

1. 분산 강건 PAC-Bayes (DR-PAC-Bayes):

   • 배포 환경의 분포가 훈련 분포 $D$ 와 $\rho$ 반경 내의 워터스테인 거리 ($W_1$) 를 가진 임의의 분포 $D'$ 일 수 있다고 가정합니다.
   • Kantorovich-Rubinstein 쌍대성 (Duality) 을 활용하여, 손실 함수의 리프시츠 상수 (Lipschitz constant) 와 워터스테인 반경 $\rho$ 를 곱한 항을 패널티로 추가합니다.
   • 이를 통해 분포 변화에 따른 최악의 경우 성능 저하를 이론적으로 상한 (Upper Bound) 합니다.

2. 시스템 레벨 합성 (System Level Synthesis, SLS) 재파라미터화:

   • 선형 시불변 (LTI) 시스템에 적용하기 위해 SLS 프레임워크를 사용합니다.
   • 제어기 $K$ 대신 폐루프 응답 (Closed-loop responses) $\Phi$ 를 직접 최적화 변수로 사용합니다.
   • 이를 통해 제어기 설계 문제를 볼록한 (Convex) 최적화 문제로 변환하고, 제어기 의존적인 리프시츠 상수와 서브 - 가우스 (Sub-Gaussian) 분산 추정치를 폐루프 맵의 연산자 노름 (Operator Norm) 으로 명시적으로 유도할 수 있습니다.

3. 손실 함수 및 집중성 (Concentration):

   • 무계 손실 (Unbounded Losses) 처리: 제어기 성능에 의존하는 서브 - 가우스 분산 프록시 (Proxy) 를 도입합니다.
   • 가우시안 교란이나 유계 교란에 대해, 폐루프 맵 $M(\theta)$ 와 교란의 공분산/범위를 결합한 $\sigma(\theta)$ 를 계산하여 PAC-Bayes 복잡도 항을 구성합니다.

B. 최적화 문제

최종적으로 다음과 같은 목적 함수를 최소화하는 사후 분포 (Posterior) $Q$ 를 학습합니다:
$$\min_{Q} \mathbb{E}_{\theta \sim Q} \left[ \hat{R}_S(\theta) + \rho \|\Phi(\theta)\|_{op} \right] + \text{Complexity Term}$$

• $\hat{R}_S(\theta)$: 경험적 위험 (Empirical Risk)
• $\rho \|\Phi(\theta)\|_{op}$: 분포 변화에 대한 강건성 패널티 (리프시츠 상수 기반)
• Complexity Term: KL 발산 및 서브 - 가우스 분산에 기반한 일반화 오차 보정항

3. 주요 기여 (Key Contributions)

1. 무계 손실 및 분포 변화 대응 PAC-Bayes 프레임워크:
   • 기존 연구의 한계였던 '유계 손실' 및 '분포 일치' 가정을 완화했습니다.
   • 1-워터스테인 거리를 사용하여 분포 변화에 대한 강건성을 제어기 설계 단계에서 명시적으로 통합했습니다.
2. 제어기 의존적 안전 증명 (Controller-dependent Certificates):
   • 리프시츠 상수와 서브 - 가우스 분산 프록시를 모두 폐루프 맵의 연산자 노름으로 표현했습니다.
   • 이는 제어기 성능이 나쁠수록 (노름이 클수록) 패널티가 커지도록 하여, 강건한 제어기를 자연스럽게 유도합니다.
3. 계산적으로 실행 가능한 알고리즘 (Tractable Optimization):
   • SLS 재파라미터화를 통해 LTI 시스템에 대해 구체적인 최적화 문제를 유도했습니다.
   • 가우시안 사후 분포를 가정할 경우, 자동 미분 (AD) 을 이용한 효율적인 최적화가 가능합니다.

4. 실험 결과 (Results)

• 시나리오: 이중 적분기 (Double Integrator) 시스템을 대상으로 유한 시간 horizon 제어 문제를 설정했습니다.
• 비교: 기존 PAC-Bayes (분산 강건성 없음, $\rho=0$) 와 제안된 DR-PAC-Bayes ($\rho > 0$) 를 비교했습니다.
• 결과:
  • 일반화 오차: 훈련 데이터가 증가함에 따라 PAC-Bayes 복잡도 항이 감소하는 것을 확인했습니다.
  • 분포 변화 대응: 훈련 분포와 다른 교란 분포 (Adversarial Shift) 하에서 테스트한 결과, 기존 PAC-Bayes 는 실제 위험 (Test Risk) 을 상한하지 못해 (Bound Violation) 안전성을 보장하지 못했습니다.
  • 성능 향상: 제안된 DR-PAC-Bayes 는 분포 변화가 있더라도 이론적 상한을 준수하며, 동시에 실제 실행 비용 (Empirical Cost) 도 기존 방법보다 낮게 유지했습니다.

5. 의의 및 결론 (Significance)

• 이론적 엄밀성과 실용성의 균형: PAC-Bayes 의 높은 확률 보장 (High-probability guarantees) 과 분산 강건 최적화의 실용성을 결합하여, 실제 로봇 및 제어 시스템에 적용 가능한 안전 증명 (Safety Certificate) 을 제공합니다.
• Sim-to-Real Gap 해결: 훈련 데이터와 실제 환경의 불일치를 명시적으로 모델링하여, 학습 기반 제어기가 불확실한 실제 환경에서도 신뢰할 수 있도록 합니다.
• 확장성: 이 프레임워크는 모델 불확실성, 지수적 손실 (제곱 노름 비용 등), 그리고 학습 기반 강건 모델 예측 제어 (Robust MPC) 로 확장할 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 학습 기반 제어기의 안전성을 수학적으로 엄밀하게 보장하면서도 실제 환경의 불확실성 (분포 변화) 에 강건한 새로운 최적화 프레임워크를 제시한 획기적인 연구입니다.