Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

1. 문제 정의 (Problem)

이 논문은 동역학이 알려지지 않은 선형 시스템에 대한 무한 시간 구간 선형 2 차 조절기 (Infinite-horizon Linear Quadratic Regulator, LQR) 문제를 다룹니다. 기존 데이터 기반 제어 방법론의 주요 한계점과 도전 과제는 다음과 같습니다.

• 안정성 보장 부재: 많은 데이터 기반 학습 제어 알고리즘 (특히 오프-폴리시 방법) 은 최적 정책을 찾아가는 과정에서 폐루프 시스템의 안정성을 수학적으로 보장하지 못합니다.
• 온-폴리시 (On-Policy) 의 복잡성: 실제 시스템에서 데이터를 수집하며 동시에 정책을 개선하는 온-폴리시 방식은 학습 (파라미터 추정) 과 제어 (입력 적용) 가 서로 얽혀 있어, 이를 비선형 동역학 시스템으로 모델링하고 안정성을 분석하는 것이 매우 어렵습니다.
• 목표: 시스템 행렬 $(A^\star, B^\star)$을 알지 못하면서도, 실제 시스템에 제어 입력을 적용하며 최적 정책을 학습하고, **학습 및 제어 전체 폐루프 시스템에 대한 엄밀한 안정성 증명 (Stability Certificate)**을 제공하는 것입니다.

2. 제안 방법론: Relearn LQR

저자들은 **"Relearn LQR"**이라는 새로운 온-폴리시 학습 및 제어 프레임워크를 제안합니다. 이 방법은 **직접 정책 탐색 (Direct Policy Search)**과 **재귀 최소 자승법 (Recursive Least Squares, RLS)**을 결합한 동시 학습 - 최적화 (Concurrent Learning and Optimization) 구조를 가집니다.

핵심 구성 요소

1. 동시 학습 및 최적화 루프:

   • 학습 과정: 실제 시스템에서 수집된 상태 - 입력 데이터 $(x_t, u_t)$를 사용하여 미지의 시스템 행렬 $(A^\star, B^\star)$을 추정합니다. 이를 위해 RLS 기반의 파라미터 추정기 $\theta_t = [A_t, B_t]^\top$를 사용합니다.
   • 최적화 과정: 추정된 시스템 모델을 기반으로 LQR 비용 함수의 기울기 (Gradient) 를 계산하여 상태 피드백 이득 $K_t$를 업데이트합니다.
   • 특징: 기존 방법들이 데이터 수집과 정책 업데이트를 별도의 단계로 나누는 것과 달리, Relearn LQR 은 두 과정을 **동시 (Concurrent)**에 수행합니다.

2. 지속적 자극 (Persistency of Excitation, PE) 신호:

   • 파라미터 추정의 정확성을 보장하고 시스템이 충분히 탐색되도록 하기 위해, 제어 입력에 외부 발진기 (Exogenous Oscillator) 에서 생성된 **디더링 신호 (Dithering signal, $d_t$)**를 추가합니다.
   • $u_t = K_t x_t + d_t$ 형태로 적용되며, 이 신호는 시스템의 동역학을 충분히 자극하여 RLS 가 수렴하도록 합니다.

3. 알고리즘 흐름:

   • 현재 이득 $K_t$와 디더링 신호로 시스템에 입력을 가함.
   • 상태 $x_{t+1}$ 관측.
   • RLS 를 통해 $\theta_{t+1}$ 업데이트.
   • 업데이트된 $\theta_{t+1}$을 사용하여 기울기 하강법 (Gradient Descent) 으로 $K_{t+1}$ 업데이트.

3. 주요 기여 및 이론적 분석 (Key Contributions & Analysis)

3.1. 안정성 증명 (Stability Certificates)

이 논문의 가장 큰 기여는 전체 폐루프 시스템의 **지수 안정성 (Exponential Stability)**을 증명하는 것입니다.

• 다중 시간 척도 시스템 (Two-time-scale System) 모델링:
  • 빠른 동역학 (Fast Dynamics): 시스템 상태 $x_t$, RLS 추정 오차 등.
  • 느린 동역학 (Slow Dynamics): 정책 이득 $K_t$와 파라미터 추정치 $\theta_t$의 업데이트.
• 평균화 이론 (Averaging Theory) 적용:
  • 느린 동역학의 벡터 필드를 시간 평균화하여 '평균 시스템 (Averaged System)'을 유도했습니다.
  • 리아푸노프 (Lyapunov) 기반 분석과 평균화 이론을 결합하여, 평균 시스템의 원점이 지수적으로 안정적임을 보였습니다.
  • 이를 통해 원래의 시간 변이 비선형 시스템 (Original Interconnected System) 도 충분히 작은 학습률 ($\gamma$) 하에서 지수적으로 안정함을 증명했습니다.

3.2. 수렴성 결과

• 최적 해로의 수렴: 제안된 알고리즘은 최적 정책 이득 $K^\star$와 정확한 시스템 파라미터 $\theta^\star$로 지수적으로 수렴합니다.
• 실용적 안정성: 디더링 신호로 인해 시스템 상태가 원점을 중심으로 진동하지만, 이 진폭은 디더링 크기를 조절하여 임의로 작게 만들 수 있으므로, 원점은 **실용적으로 지수적으로 안정 (Practically Exponentially Stable)**합니다.
• 초기 조건: 기존 연구들이 초기 안정화 제어기가 필요하다는 점을 고려할 때, 이 방법은 초기 이득이 최적 해의 근방에 있어야 한다는 더 엄격한 초기화 조건을 요구하지만, 그 대가로 정확한 최적 해 수렴과 전체 시스템 안정성을 보장합니다.

4. 수치 시뮬레이션 결과 (Numerical Results)

논문은 고기동 항공기 (Highly Maneuverable Aircraft) 의 종동역학 (Longitudinal Dynamics) 모델을 제어 대상으로 하여 알고리즘을 검증했습니다.

1. 정상 상태 파라미터 (Static Parameters):

   • 시스템 파라미터가 고정된 경우, 비용 함수 오차 ($|J(K_t) - J^\star|$) 와 파라미터 추정 오차 ($\|\theta_t - \theta^\star\|$) 가 모두 지수적으로 0 으로 수렴함을 확인했습니다.
   • 폐루프 상태 궤적이 디더링 신호로 인해 원점 주변에서 진동하지만 안정적으로 유지됨을 보였습니다.

2. 변동하는 파라미터 (Drifting Parameters):

   • 시스템 행렬 $A_t, B_t$가 시그모이드 함수를 통해 서서히 변화하는 시나리오를 테스트했습니다.
   • 파라미터가 급격히 변하는 구간 (전환점) 에서 일시적으로 오차가 증가하지만, 알고리즘이 **동적으로 적응 (Dynamic Adaptation)**하여 다시 최적 해와 파라미터를 추적함을 확인했습니다. 이는 재시작 없이도 변화하는 환경에서 최적성을 유지할 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

• 이론적 엄밀성: 데이터 기반 제어 분야에서 드물게 학습, 최적화, 제어가 동시에 이루어지는 폐루프 시스템에 대한 엄밀한 안정성 증명을 제공했습니다.
• 온-폴리시의 실용화: 오프-폴리시 방법의 한계 (데이터와 정책의 불일치) 를 극복하면서도, 기존 온-폴리시 방법들이 간과했던 안정성 문제를 해결했습니다.
• 적응형 제어: 시스템 파라미터가 시간에 따라 변하거나 외부擾動이 존재하는 비정상 (Non-nominal) 환경에서도 알고리즘이 재시작 없이 적응하여 최적성을 유지할 수 있음을 입증했습니다.
• 미래 전망: 이 연구는 확률적 환경 (Stochastic settings) 으로의 확장 및 후회 (Regret) 와 안정성 분석 간의 연결 고리를 연구하는 데 중요한 기초를 마련했습니다.

요약하자면, 이 논문은 Relearn LQR 알고리즘을 통해 미지의 선형 시스템에 대해 학습과 제어를 동시에 수행하면서도 수학적으로 안정성이 보장된 데이터 기반 제어 솔루션을 제시한 획기적인 연구입니다.