Learning Local Optimal Controller for a Class of Nonlinear Systems via Impulse-Supervised Exploration

기술 요약: 임펄스 감독 탐사(Impulse-Supervised Exploration)를 통한 일련의 비선형 시스템에 대한 국소 최적 제어기 학습

문제 정의
본 논문은 연속 시간 근사 동적 계획법(Approximate Dynamic Programming, ADP)을 사용하여 2차 비선형 시스템 클래스의 최적 제어 정책을 학습하는 과제를 다룹니다. ADP와 강화 학습(RL)은 해밀턴-자코비-벨만(HJB) 방정식의 해를 근사함으로써 최적 제어 문제를 해결하는 강력한 프레임워크를 제공하지만, 비선형 시스템에서는 지속적 흥분(Persistence of Excitation, PE) 요구라는 결정적인 병목 현상이 존재합니다.

연속 시간 ADP에서 PE는 크리틱 신경망 가중치가 이상적인 값으로 수렴하기 위해 필수적입니다. 그러나 PE를 강제하는 것은 일반적으로 큰 상태 편차를 유발합니다. 비선형 시스템의 경우, 이러한 편차는 문제가 될 수 있는데, 왜냐로 최적 가치 함수가 종종 동역학의 국소 선형화(local linearization)를 사용하여 근사되기 때문입니다. 만약 흥분 신호에 의해 상태 궤적이 평형점에서 너무 멀리 벗어나면, 국소 선형 근사가 유효하지 않게 되어 시스템 불안정성이나 궤적이 유효 영역을 벗어나는 "유한 탈출(finite escape)" 현상이 발생할 수 있습니다. 기존의 동시 학습(concurrent learning) 방식은 풍부한 오프라인 데이터에 의존하는데, 이는 항상 사용 가능한 것은 아닙니다. 본 연구의 목적은 선형 모델이 유효한 근방 내로 상태 궤적을 엄격히 제한하면서, 선형화된 모델에 대한 국소 최적 제어 정책을 학습하는 것입니다.

방법론
저자들은 연속 시간 ADP와 임펄스 제어의 감독 계층을 통합한 임펄스 감독 제한 탐사(impulse-supervised confined exploration) 프레임워크를 제안합니다. 핵심 방법론은 다음 구성 요소들을 포함합니다:

1. 시스템 모델 및 국소 선형화: 시스템은 $\dot{x} = F(x) + G(x)u$로 모델링되며, 드리프트 항 $F(x)$는 선형 부분 $Ax$와 고차 비선형 항$\phi(x)$로 분해됩니다. 제어 목표는 원점 근처의 작은 근방$S_1$ 내에서 국소 선형 시불변(LTI) 근사 모델 $\dot{x} = Ax + Bu$에 대한 최적 정책을 학습하는 것입니다.
2. ADP 프레임워크: 크리틱 신경망은 최적 가치 함수 $J^*(x) \approx \hat{W}^T \sigma(x)$를 근사합니다. 가중치 $\hat{W}$는 벨만 잔차(Bellman residual)를 최소화하기 위해 정규화된 경사 하강법(normalized gradient law)을 사용하여 온라인으로 업데이트됩니다. 가중치 수렴에 필요한 PE 조건을 충족하기 위해 제어 입력에 지속적 흥분 신호 $u_{PE}$가 추가됩니다.
3. 임펄스 감독 계층: 흥분 신호로 인해 상태가 유효 영역 $S_1$을 벗어나는 것을 방지하기 위해, 본 프레임워크는 임펄스 브레이킹 입력을 사용하는 임펄스 감독 계층을 채택합니다. 이 입력은 특정 시점 $t = \tau_k$에 적용되는 디락 델타 함수(Dirac delta function)로 모델링됩니다.
   • 메커니즘: 임펄스 입력은 속도 상태($x_2$)에 즉각적으로 작용하여 이를 0으로 리셋($x_2^+ = 0$)하며, 위치 상태($x_1$)는 변경하지 않습니다.
   • 효과: 이 "브레이킹" 동작은 리아푸노프 함수 $V(x) = x_1^2 + x_2^2$의 값을 감소시켜, 점프 후의 상태가 제한 집합 $S_1$ 내에 머물도록 보장합니다.
4. 하이브리드 오토마톤 정식화: 폐루프 시스템은 네 가지 이산 모드를 가진 하이브리드 오토마톤으로 모델링됩니다:
   • $q_1, q_2$: (내부 집합 $S_2$ 및 외부 환형 영역 $S_1 \setminus S_2$ 내에서) ADP 제어 및 가중치 적응이 활성화된 연속 진화 단계.
   • $q_3$: 궤적이 경계 $\partial S_1$에 도달하는 경계 레짐(boundary regime).
   • $q_4$: 제어 및 가중치 적응이 중단되고, 시스템이 무동력 역학(unforced dynamics) 하에서 자율적으로 진화하며 $S_2$로 재진입하는 포스트-브레이킹 회복 단계.
   • 전이(Transitions): 상태 트리거 가드(state-triggered guards)는 궤적이 외향 속도와 함께 $\partial S_1$에 부딪힐 때 임펄스 브레이킹이 발생하는 시점과, 시스템이 활성 학습 모드와 회복 모드 사이를 전환하는 시점을 결정합니다.

주요 기여

• 임펄스 감독 탐사: 본 논문은 임펄스 브레이킹이 집합 불변성(set invariance)을 강제하는 감독 제약으로서 작용하는 새로운 메커니즘을 도입합니다. 제어 입력에 하드 제약을 부과하는 일반적인 안전 제약 RL과 달리, 이 방식은 상태를 제한하기 위해 이산적인 리셋을 사용하여, 선형 모델의 국소적 유효성을 위반하지 않으면서도 학습에 필요한 공격적인 흥분을 허용합니다.
• 학습을 위한 하이브리드 역학: 본 연구는 연속 시간 ADP와 상태 트리거 임펄스 리셋을 결합한 이론적 프레임워크를 구축합니다. 결과적으로 생성된 하이브리드 폐루프 시스템이 제한 탐사 집합 $S_1$을 **양의 불변(positively invariant)**하게 만듦을 증명합니다.
• 이론적 보장: 저자들은 임펄스 브레이킹 맵이 리아푸노프 함수에 대해 비확장적(non-expansive)임을 증명하여 상태가 $S_1$을 절대 벗어나지 않음을 보장합니다. 또한, 연속적인 임펄스 사이의 시간이 0보다 큰 값으로 유계되어 있음을 논하여 제노 현상(Zeno phenomenon)을 배제합니다.

시뮬레이션 결과
제안된 프레임워크는 비선형 기계 시스템(3차 비선형성이 있는 질량-스프링-댐퍼)을 통해 검증되었습니다.

• 제한(Confinement): 시뮬레이션 결과, 학습 과정 전반에 걸쳐 상태 궤적이 집합 $S_1$ 내에 엄격히 제한됨을 보여줍니다. 궤적이 흥분 신호로 인해 경계에 접근할 때마다 임펄스 브레이킹이 트리거되어 속도를 리셋하고 상태를 내부로 다시 끌어들였습니다.
• 수렴(Convergence): 크리틱 가중치는 국소 선형 모델의 대수적 리카티 방정식(algebraic Riccati equation)으로부터 도출된 최적 가중치와 매우 유사한 값으로 수렴했습니다. 가중치는 회복 단계(모드 $q_4$) 동안 일정하게 유지되었으며, 탐사 단계 동안 업데이트되었습니다.
• 비교: 임펄스 감독 계층이 없는 비교 시뮬레이션에서는 궤적이 선형 유효 영역을 벗어나 시스템 불안정성과 유한 탈출을 초래하였으며, 이를 통해 제한 메커니즘의 필요성을 입증했습니다.

의의 및 주장
본 논문은 이 접근 방식이 ADP의 지속적 흥분 필요성과 비선형 제어의 국소적 유효성 요구 사이의 간극을 성공적으로 메운다고 주장합니다. 탐사를 국소 선형 근사가 유효한 근방으로 제한함으로써, 큰 상태 편동 위험 때문에 달성하기 어려웠던 국소 최적 제어기의 학습을 가능하게 합니다.

저자들은 현재의 연구가 국소 선형 역학에 대한 지식을 가정하고 있으며 임펄스 입력이 이상화되었다는 점을 겸허히 언급합니다. 향후 연구 방향으로는 모델 프리(model-free) 시나리오, 고차원 시스템으로의 확장, 그리고 실제 임펄스 입력의 근사치(예: 고이득 피드백 또는 솔레노이드 브레이크)를 이용한 실험적 검증을 제시합니다. 본 연구는 일반적인 안전 제약보다는 **학습 유효성을 위한 제한(confinement for learning validity)**에 초점을 맞추어 임펄스 제어를 특정한 감독 도구로 활용한다는 점에서 기존의 "안전 RL"과 차별화됩니다.