Data-Driven Covariance Steering with Output Feedback

1. 문제 정의 (Problem Statement)

이 논문은 시스템 모델 (A, B, C 행렬) 을 알지 못하는 상태에서, 확률적 이산 시간 선형 시불변 (LTI) 시스템의 출력 (Output) 분포를 제어하는 문제를 다룹니다. 구체적으로 다음과 같은 목표를 가집니다:

• 목표: 시스템의 출력 분포를 초기 분포 $N(\mu_i, \Sigma_i)$ 에서 주어진 시간 범위 (Horizon) 내의 목표 분포 $N(\mu_f, \Sigma_f)$ 로 유도 (Steering) 하는 것.
• 제약 조건:
  • 시스템의 수학적 모델이 알려져 있지 않음 (Model-free).
  • 오직 과거의 단일 궤적에서 수집된 입력 - 출력 데이터 ($u_k, y_k$) 만 사용 가능.
  • 출력 피드백 (Output Feedback): 상태 변수 ($x_k$) 를 직접 관측할 수 없으며, 잡음이 포함된 출력 ($y_k$) 만 측정 가능.
  • 시간 상관 잡음 (Temporally Correlated Noise): 출력 피드백을 위한 비최소 상태 표현 (Non-minimal state representation) 을 사용할 경우, 유도된 잡음 과정이 시간적으로 상관관계를 가지게 됨.

기존의 데이터 기반 공분산 조종 연구들은 대부분 상태 피드백 (Full State Feedback) 이나 잡음이 없는 상황을 가정했으나, 이 논문은 잡음이 있는 출력 피드백 환경에서의 문제를 해결하고자 합니다.

2. 방법론 (Methodology)

논문은 문제를 해결하기 위해 다음과 같은 단계별 접근법을 제시합니다.

가. 비최소 상태 공간 표현 (Non-minimal State Space Representation)

• 시스템 모델이 없으므로, 과거의 입력과 출력 데이터를 기반으로 비최소 상태 벡터 ($z_k$) 를 정의합니다.
  • $z_k = \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$
• 이 표현을 통해 출력 피드백 문제를 상태 피드백 형태로 변환합니다.
• 핵심 도전 과제: 이 변환 과정에서 유도된 잡음 ($\tilde{\zeta}_k$) 은 백색 잡음이 아닌 시간 상관 잡음이 됩니다. 이는 상태와 잡음 간의 교차 공분산 (Cross-covariance) 이 0 이 아니게 만들어 공분산 전파 방정식을 복잡하게 만듭니다.
• 차원 축소: 데이터 행렬의 랭크 결손 문제를 해결하기 위해, 선형 종속 성분을 제거하는 행렬 $L$을 도입하여 차원이 축소된 상태 $\chi_k = L z_k$ 를 사용합니다.

나. 데이터 기반 시스템 식별 (Data-Driven System Identification)

모델을 알 수 없으므로 수집된 데이터로부터 시스템 행렬과 잡음 특성을 추정합니다. 두 가지 접근법을 사용합니다:

1. 평균 조종 (Mean Steering) - 간접 접근법 (Indirect Approach):
   • 시스템의 평균 동역학 ($\hat{A}, \hat{B}$) 과 출력 행렬 ($\hat{C}$) 을 추정합니다.
   • 도구 변수법 (Instrumental Variables, IV): 상태 변수가 잡음과 상관관계가 있어 (Endogeneity) 일반 최소제곱법 (LS) 이나 총최소제곱법 (TLS) 이 일관된 (Consistent) 추정을 보장하지 못할 수 있습니다. 이를 해결하기 위해 과거의 입력 데이터를 도구 변수로 사용하는 2 단계 최소제곱법 (2SLS) 을 적용하여 일관된 모델 추정을 수행합니다.
2. 공분산 조종 (Covariance Steering) - 직접 접근법 (Direct Approach):
   • 시스템 모델을 명시적으로 식별하지 않고, 데이터 행렬을 직접 사용하여 공분산 전파를 표현합니다 (Willems 의 기본 보조정리 활용).
   • 시간 상관 잡음의 특성을 반영하기 위해 잡음의 실현값 (Realization) 과 공분산 행렬 ($\hat{\Sigma}_\zeta, \hat{\Psi}$) 을 추정합니다.

다. 최적화 문제 변환 (Convex Relaxation)

• 공분산 조종 문제는 비볼록 (Non-convex) 최적화 문제로 귀결됩니다.
• 이를 효율적으로 해결하기 위해 반정부규 프로그래밍 (Semidefinite Program, SDP) 으로 변환합니다.
• Slack Variable 도입: $G_k \Sigma_k G_k^T$와 같은 비볼록 항을 완화하기 위해 새로운 결정 변수 ($U_k, W_k$) 와 슬랙 변수 ($Y_k$) 를 도입하여 문제를 볼록화합니다.
• 최종적으로 SDP 솔버로 효율적으로 해를 구할 수 있는 형태로 재구성합니다.

3. 주요 기여 (Key Contributions)

1. 출력 피드백 데이터 기반 공분산 조종: 기존에 상태 피드백에 국한되었던 데이터 기반 공분산 조종 기법을 출력 피드백 환경으로 확장했습니다.
2. 시간 상관 잡음 하의 조종: 비최소 상태 표현을 사용할 때 발생하는 시간 상관 잡음 (Temporally Correlated Noise) 을 명시적으로 모델링하고, 이를 공분산 전파 및 교차 공분산 추정 과정에 통합했습니다. 이는 기존 문헌에서 다루지 않았던 문제입니다.
3. 일관된 모델 식별 기법: 상태와 잡음의 상관관계로 인한 편향을 해결하기 위해 도구 변수법 (IV) 을 적용하여, 잡음이 있는 환경에서도 일관된 시스템 모델 추정이 가능함을 보였습니다.
4. 효율적인 SDP 해법: 비볼록한 공분산 조종 문제를 볼록 최적화 (SDP) 문제로 변환하여 계산적으로 효율적으로 해결할 수 있는 프레임워크를 제시했습니다.

4. 실험 결과 (Results)

• 모델 식별 성능:
  • 다양한 샘플 크기에 대해 TLS, LS, IV 방법을 비교했습니다.
  • 샘플 수가 적을 때는 IV 방법이 성능이 낮았으나, 샘플 수가 증가함에 따라 IV 방법이 가장 낮은 오차와 분산을 보이며 일관된 추정 성능을 입증했습니다.
• 밀도 조종 (Density Steering) 시뮬레이션:
  • MIMO 시스템을 사용하여 초기 분포에서 목표 분포로의 조종 성능을 평가했습니다.
  • 데이터셋 크기가 커질수록 평균 오차와 공분산 타원 (Covariance Ellipse) 이 목표치에 더 정확히 수렴함을 확인했습니다.
  • 1,500 개의 샘플 데이터로 200 번의 시뮬레이션을 수행한 결과, 제안된 프레임워크가 시스템의 평균과 공분산을 효과적으로 제어할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율 시스템이 복잡한 환경에서 센서 데이터만 기반으로 불확실성을 관리하며 목표를 달성해야 하는 실제 적용 사례에 중요한 기여를 합니다.

• 실용성: 시스템 모델을 정확히 알기 어려운 실제 공학 문제 (예: 센서 잡음이 있는 로봇 제어) 에 적용 가능한 강력한 데이터 기반 제어 프레임워크를 제공합니다.
• 이론적 확장: 시간 상관 잡음이 존재하는 출력 피드백 시스템에 대한 공분산 조종 이론을 정립하여, 기존 연구의 한계를 극복했습니다.
• 향후 과제: 추정 오차에 대한 강인성 (Robustness) 을 높이는 것이 향후 연구 방향임을 제시했습니다.

요약하자면, 이 연구는 모델 없이, 잡음이 있는 출력 데이터만으로 시스템의 확률적 분포를 정밀하게 제어할 수 있는 새로운 방법론을 제시한 획기적인 작업입니다.