Dual Control of Linear Systems from Bilinear Observations with Belief Space Model Predictive Control

1. 연구 배경 및 문제 정의 (Problem Statement)

본 논문은 쌍선형 관측(Bilinear Observations)을 갖는 선형 시스템의 유한 시간 이차 제어(Finite-horizon quadratic control) 문제를 다룹니다.

• 핵심 문제 (The Observer Effect): 일반적인 선형 시스템과 달리, 이 시스템에서는 제어 입력($u_t$)이 상태의 동역학($x_{t+1}$)뿐만 아니라 상태를 관측하는 방식($y_t$)에도 직접적인 영향을 미칩니다. 즉, 제어 입력을 어떻게 선택하느냐에 따라 미래의 상태 추정 정확도(관측 품질)가 달라집니다.
• 분리 원리(Separation Principle)의 실패: 고전적인 LQG(Linear Quadratic Gaussian) 제어에서는 상태 추정과 제어 설계가 독립적으로 이루어질 수 있지만, 쌍선형 관측 환경에서는 제어 입력이 추정 오차 공분산(Error Covariance)에 비선형적인 영향을 미치기 때문에 분리 원리가 성립하지 않습니다.
• 이중 제어(Dual Control)의 필요성: 제어기는 두 가지 상충하는 역할을 수행해야 합니다.
  1. 조절(Regulation): 상태를 목표치로 유지하여 비용을 최소화함.
  2. 탐색(Exploration/Probing): 시스템의 상태를 더 잘 알 수 있도록 관측 품질을 높임(불확실성 감소).

2. 제안 방법론 (Methodology: B-MPC)

저자들은 불확실성을 고려한 계획을 위해 **신념 공간 모델 예측 제어(Belief-Space Model Predictive Control, B-MPC)**를 제안합니다.

• 신념 상태(Belief State) 정의: 상태의 평균($\hat{x}$)과 오차 공분산($\Sigma$)을 하나의 상태로 묶어 $b_t = (\hat{x}_{t|t-1}, \Sigma_{t|t-1})$로 정의합니다.
• 결정론적 대리 모델(Deterministic Surrogate): 실제 관측은 확률적이어서 계획(Planning)이 어렵기 때문에, 관측값이 예상치와 일치한다고 가정하는 결정론적 칼만 필터(Kalman Filter) 모델을 사용하여 미래의 신념 상태 변화를 예측합니다.
• B-MPC 목적 함수: 단순히 상태 비용($x^\top Qx$)과 제어 비용($u^\top Ru$)만 최소화하는 것이 아니라, 상태 추정 오차의 트레이스(Trace of covariance, $tr(Q\Sigma)$)를 비용 함수에 포함시킵니다. 이를 통해 제어기가 미래의 불확실성을 줄이는 방향으로 움직이도록 유도합니다.
• 최적화 알고리즘: 신념 상태의 공분산 업데이트가 비볼록(Non-convex) 특성을 가지므로, L-BFGS와 같은 경사 하강법 기반의 국소 최적화(Local Optimization)를 사용하여 매 단계 최적의 제어 입력을 계산합니다.

3. 주요 기여 (Key Contributions)

1. 문제의 재정의: 쌍선형 관측 문제를 신념 공간(Belief Space)에서의 제어 문제로 공식화하여, 제어 입력이 관측 품질에 미치는 '이중 역할'을 수학적으로 명시했습니다.
2. B-MPC 알고리즘 제안: 불확실성(공분산)의 진화를 고려하는 실용적인 Receding-horizon MPC 프레임워크를 설계했습니다.
3. 이중 제어 효과 입증: 제안된 방법이 단순히 상태를 조절하는 것을 넘어, 관측 가능성(Observability)을 높이기 위해 전략적으로 행동한다는 것을 실험적으로 보여주었습니다.

4. 실험 결과 (Results)

두 가지 합성 시스템(Random Bilinear System, Multi-block Double Integrator)을 통해 기존 방식(Separation-principle controller, Sep-MPC)과 비교했습니다.

• 성능 우위: B-MPC는 특정 파라미터 영역(시스템이 불안정하고 관측 품질이 낮은 경우)에서 기존 방식보다 **현저히 낮은 총 비용(Total Cost)**을 달িং했습니다. (예: Double Integrator 시스템에서 약 38.8% 비용 절감)
• 비용 구조 분석: B-MPC는 제어 비용(Input-cost)은 다소 높지만, 상태 비용(State-cost)을 획기적으로 낮추었습니다. 이는 불확실성을 줄임으로써 결과적으로 상태를 더 정확하게 제어할 수 있게 되었음을 의미합니다.
• 행동 특성:
  • 불확실성 대응: 상태 추정의 불확실성($tr(\Sigma)$)이 클수록 B-MPC와 기존 방식 간의 제어 입력 차이가 커졌습니다.
  • 탐색적 행동: 기존 방식은 제어 비용을 줄이기 위해 입력을 0 근처로 유지하려 하지만, 이는 관측 품질을 떨어뜨립니다. 반면 B-MPC는 관측을 위해 입력을 의도적으로 변화시키는 '탐색적 행동'을 보였습니다.
• 한계 영역 확인: 시스템이 매우 안정적이거나 제어 비용($R$)이 너무 높으면, 탐색의 이득보다 비용 손실이 커지므로 B-MPC의 이점이 줄어듦을 확인했습니다.

5. 연구의 의의 (Significance)

본 연구는 **"불확실성을 모델링하는 것이 제어 설계의 핵심 원칙이 되어야 한다"**는 점을 시사합니다. 특히 관측 장비나 센서의 성능이 제어 입력에 의해 변하는 물리적 시스템(양자 시스템, 전자 회로, 드론 레이싱 등)에서, 단순히 상태를 추정하는 것을 넘어 추정의 품질 자체를 제어의 대상으로 삼는 것이 고성능 제어를 달성하는 데 필수적임을 입증하였습니다.