Approximate Relative Entropy Constraints for Nonlinear Covariance Steering Under Distribution Ambiguity

기술 요약: 분포 모호성 하에서의 비선형 공분산 조향을 위한 근사 상대 엔트로피 제약

문제 정의
공분산 조향(Covariance steering)은 선형 가우시안 시스템에서 문제가 준정부호 계획법(semidefinite program)으로 정식화될 수 있다는 점에서 효율적인 선형 확률적 피드로백 정책 설계 프레임워크를 제공한다. 그러나 이 프레임워크를 비선형 시스템으로 확장할 때는 일반적으로 명목 궤적 주변의 국소 선형화에 의존하며, 상태 분포가 가우시안이라고 가정한다. 이러한 가우시안 대리 모델(surrogate)은 실제 비선형 상태 분포와 크게 달라질 수 있으며, 이는 충돌 확률 및 평균 제곱 오차(MSE)와 같은 리스크 민감한 양들을 부정확하게 추정하는 원인이 된다. 분포 자체의 불확실성을 다루는 분포 강건 제어 기법들이 존재하지만, 모호성 집합(ambiguity set)의 반경(통계적 거리의 경계)을 결정하는 원칙적인 방법은 여전히 과제로 남아 있다. 본 연구는 휴리스틱한 모호성 집합 반경에 의존하지 않고, 비선형 우주선 역학에서 분포 모호성을 고려하는 강건한 유도 프레임워크의 필요성을 다룬다.

방법론
저자들은 실제 상태 분포($\pi_t$)와 가우시안 참조 대리 모델($\hat{\pi}_t$) 사이의 불일치를 정량화하기 위해 상대 엔트로피, 즉 쿨백-라이블러 발산(KLD)을 기반으로 하는 분포 강건 공분산 조향 프레임워크를 제안한다. 방법론은 세 가지 주요 분석 및 알고리즘 단계를 거친다:

1. 리스크 민감 양에 대한 변분 상한(Variational Bounds):
   지수 적분에 대한 Donsker-Varadhan 변분 공식을 활용하여, 저자들은 분포 모호성 하에서의 기대값에 대한 계산 가능한 상한을 도출한다. 구체적으로, 임의의 유계 함수 $g(x)$에 대해 실제 분포 $\pi$에서의 기대값은 대리 모델 $\hat{\pi}$에서의 기대값과 상대 엔트로피 $R(\pi \parallel \hat{\pi})$를 포함하는 식으로 유계됨을 입증한다. 이를 통해 다음의 명시적인 상한을 도출할 수 있다:

   • 확률 제약 (충돌 위험): 허용 가능한 상태 집합을 하프스페이스(half-space)로 정의함으로써, 가우시안 대리 모델의 누적 분포 함수(CDF)와 KLD를 사용하여 충돌 확률의 상한을 구한다.
   • 평균 제곱 오차 (MSE): 전달 MSE에 대한 상한이 KLD가 0으로 수렴함에 따라 가우시안 대리 모델의 정확한 MSE로 수렴하도록 유도된다.

2. KLD의 시간 변화율 바운딩:
   KLD 제약을 조향 공식 내에서 다룰 수 있게 하기 위해, 저자들은 상대 엔트로피의 시간 변화율 $\frac{d}{dt}R(\pi_t \parallel \hat{\pi}_t)$에 대한 근사 상한을 도출한다. 참조 대리 모델이 가우시안이고 모델 오차가 주로 구조적 선형화(2차 항 절단 오차)에서 발생한다는 가정하에, 이 변화율은 공분산 행렬 $P_t$와 비선형 역학의 헤시안(Hessian)의 함수로 나타남을 입증한다. 결정적으로, 이 바운드는 공분산 조향 문제의 결정 변수들을 통해 제어 가능하다.

3. 순차적 볼록 계획법(SCvx) 구현:
   도출된 상한들은 SCvx 알고리즘에 통합된다. 상대 엔트로피 상한과 변분 MSE 상한은 결정 변수로 취급된다. 이들의 비선형 역학은 이전 볼록 반복 해의 주변에서 선형화되며, 동적 일관성을 보장하기 위해 슬랙 변수(slack variables)가 도입된다. 결과적으로 생성되는 부문제(subproblem)는 피드백 제어 정책과 분포 불일치의 성장을 동시에 조절하는 볼록 준정부호 계획법이다.

주요 기여

• 분포 강건 프레임워크: KLD를 사용하여 실제 비선형 분포와 가우시안 대리 모델 사이의 모호성을 명시적으로 고려하는 공분산 조향 프레임워크를 도입하였다.
• 원칙적인 모호성 집합 반경: 모호성 집합 반경을 휴리스틱하게 선택하는 대신, KLD 변화율 바운드를 통해 비선형 역학의 진화와 제어 정책에 직접 연결함으로써 적절한 바운드를 결정하는 방법을 제공한다.
• 계산 가능한 리스크 상한: 실제 분포에 대한 정확한 지식 없이도 가우시안 대리 모델과 KLD 바운드만을 사용하는 충돌 위험 및 MSE의 상한 도출을 실현하였다.
• 제어 가능한 KLD 역학: KLD의 시간 변화율을 바운딩하고 표준 공분산 조향 공식 내에서 제어할 수 있음을 입증하여, 분포 일관성 제약의 강제를 가능케 하였다.

결과
제안된 접근 방식은 지구-달 원형 제한 세체 문제(CRTBP) 내의 두 근직선 해로 궤도(NRHO) 사이의 도전적인 비선형 우주선 전이 문제에 대해 검증되었다. 이 시나리오는 달 근접 통과 시 상당한 비선형성을 특징으로 한다.

• 상대 엔트로피 타겟팅: 테스트 케이스 #1에서, 알고리즘은 상대 엔트로피 상한을 설정된 임계값(100에서 0.1까지) 내로 성공적으로 제한하였다. 몬테카를로 분석(2,500회 시행) 결과, 표준 공분산 조향은 99% 신뢰 구간을 벗어나는 종단 상태가 다수 발생하는 반면, 엔트로피 제약 정책은 설계된 종단 불확실성과 일관성을 유지함을 보여주었다. 결과는 더 엄격한 엔트로피 제약이 더 큰 제어 분산을 초래하지만, 실제 분포와 가우시안 대리 모델 사이의 발산을 유의미하게 감소시킨다는 것을 보여주었다.
• MSE 변분 제약: 테스트 케이스 #2에서, 알고리즘은 MSE에 대한 변분 상한을 강제하였다. SCvx 반복은 최적의 라그랑주 승수($\lambda^*$)로 성공적으로 수렴하였으며, 결과적인 가이던스 정책은 표준 방식이 바운드를 위반하는 것과 달리 경험적 MSE를 설정된 제약 아래로 유지하였다.

의의 및 주장
저자들은 본 연구가 분포 강건 제어에서 모호성 집합 반경을 선택하기 위한 휴리스틱 방법의 원칙적인 대안을 제공한다고 주장한다. KLD 변화율 바운드를 통해 모호성 반경을 비선형 역학의 진화와 직접 연결함으로써, 이 프레임워크는 분포 불일치에 강건한 확률적 유도 정책을 설계하는 체계적인 방법을 제공한다. 수치적 결과는 제안된 방법이 특히 선형화 오차가 큰 고비선형 영역에서 기존의 가우시안 공분산 조향보다 추가적인 강건성을 제공할 수 있음을 시사한다. 결론적으로, 본 프레임워크는 리스크 민감 성능 지표에 대한 보수적인 상한을 강제하면서 분포 불일치를 효과적으로 조절한다.