LC-SAC: Lyapunov-Constrained Soft Actor-Critic via Koopman Operator Theory for Trajectory Tracking and Stabilization

기술 요약: LC-SAC: Koopman 연산자 이론을 통한 리아푸노프 제약 기반 Soft Actor-Critic

문제 정의
강화 학습(RL)은 복잡한 순차적 의사결정 문제에서 성공을 거두었으나, 안전이 필수적인 물리 시스템에 적용될 때 상당한 난관에 봉착한다. 표준 강화 학습 알고리즘은 보상 극대화를 우선시하며, 이로 인해 탐색 과정에서 발생하는 과도 현상(transients)이나 함수 근사 오류로 인해 진동이나 무한한 상태 발산이 발생하는 정책을 생성하곤 한다. 리아푸노프 기반 방법론은 안정성을 위한 원칙적인 경로를 제시하지만, 기존 방식들은 다음과 같은 반복적인 한계점을 갖는다: 미지의 고차원 환경에서 유효한 리아푸노프 함수를 구축하는 것의 어려움, 온폴리시(on-policy) 리아푸노프 학습의 샘플 비효율성, 그리고 매 업데이트 단계마다 투영(projection) 또는 제약 최적화를 해결해야 하는 계산적 부담이다. 또한, 학습된 리아푸노프 인증(certificate)은 전역적 유효성 보장이 부족할 수 있으며, 제약을 강제하는 과정이 엄격하게 구현되지 않으면 학습을 불안정하게 만들 수 있다.

방법론
저자들은 별도의 보조 리아푸노프 네트워크를 학습시키지 않고도 안정성을 보장하기 위해 Koopman 연산자 이론과 오프폴리시(off-policy) 강화 학습을 결합한 LC-SAC(Lyapunov-Constrained Soft Actor-Critic) 프레임워크를 제안한다. 이 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. EDMD를 통한 오프라인 모델 학습:
   시스템은 원래의 상태 공간에서 직접 역학을 학습하는 대신, 확장 동적 모드 분해(Extended Dynamic Mode Decomposition, EDMD)를 사용하여 오차 역학($e_t = x_t - x_{ref,t}$)의 선형 리프팅 대리 모델(linear lifted surrogate)을 학습한다. 관측치 딕셔너리(observables dictionary, 상태 변수와 Radial Basis Function의 결합)는 비선형 역학을 선형 제어-아핀 모델인 $z_{t+1} \approx A z_t + B u_t$ (여기서 $z = g(e)$)로 리프팅한다.

2. 폐쇄형(Closed-Form) CLF 구축:
   식별된 행렬 $A$와 $B$를 사용하여, 저자들은 고유한 안정화 해 $P \succ 0$를 얻기 위해 이산 대수 리카티 방정식(Discrete Algebraic Riccati Equation, DARE)을 푼다. 이를 통해 폐쇄형 이차 제어 리아푸노프 함수(Control Lyapunov Function, CLF)인 $V(z) = z^\top P z$를 도출한다. 고차원 리프팅 모델(특히 3D 쿼드로터 및 카트폴)에 대해 CLF가 적절히 작동하도록 세 가지 구조적 개선 사항이 도입된다:

   • 스펙트럼 반지름 정규화(Spectral-radius normalization): DARE를 풀기 전 안정성을 확보하기 위해 행렬 $A$의 스펙트럼 반지름 $\rho(A) > 1$인 경우 이를 스케일링한다.
   • 물리적으로 의미 있는 LQR 비용: 물리적 오차 상태를 기반으로 상태 비용($Q$)을 설정한다.
   • 가치-편향 앵커(Value-bias anchor): 원점에서의 비제로(non-zero) RBF 중심을 보정하기 위해 $V(0)=0$을 강제하는 편향 항 $V_{bias} = g(0)^\top P g(0)$를 차감한다.

3. CVaR 제약을 통한 온라인 정책 최적화:
   SAC 액터 업데이트는 리아푸노프 감소 조건을 강제하는 라그랑주 페널티(Lagrangian penalty)로 확장된다. 평균적인 위반을 처벌하는 대신, 이 방법은 조건부 가치 위험(Conditional Value-at-Risk, CVaR) 목적 함수를 사용하여 최악의 경우의 꼬리 부분(위반 상위 25% 타겟)을 집계한다. 액터 손실 함수는 다음과 같다:
   $$L_\pi = J_{SAC} + \lambda (L_{CVaR}^v - \zeta)$$
   여기서 $L_{CVaR}^v$는 최악의 1단계 리아푸노프 위반의 평균이며, $\lambda$는 투영 상승법(projected ascent)을 통해 업데이트되는 듀얼 변수이고, $\zeta$는 허용 오차이다. 이는 드물지만 심각한 불안정성 이벤트에 제약 압력을 집중시킨다.

주요 기여

1. 새로운 CLF 도출: Koopman/EDMD 리프팅과 DARE를 통해 폐쇄형 CLF를 얻는 방법론을 제안하며, 이를 SAC의 라그랑주 제약으로 삽입한다. 이는 보조 리아푸노프 네트워크를 학습시키는 것을 피함으로써 계산 복잡도를 줄이고 데이터 효율성을 높인다.
2. 이론적 분석: 제약된 액터 업데이트가 1단계 리아푸노프 위반을 국소적으로 감소시킨다는 점과, 제약을 만족하는 것이 리프팅된 대리 시스템의 점근적(또는 강화된 마진 하에서의 지수적) 안정성을 의미한다는 것을 증명한다.
3. 구조적 개선: EDMD 파이프라인에 제안된 정규화, 물리적으로 의미 있는 LQR 비용, $V(0)=0$ 앵커링 등의 개선 사항이 고차원 리프팅 모델에서 폐쇄형 CLF가 올바르게 작동하는 데 필수적임을 보여준다.
4. 포괄적인 실증 연구: 6가지 벤치마크 작업(2D/3D 쿼드로터 안정화/추적, 카트폴 안정화/추적)에 대해 바닐라 SAC, 평균 집계 변형 모델(LC-SAC-Mean), 그리고 포텐셜 기반 보상 형성 베이스라인(Lyap-RS-SAC)과 비교 평가한다.

결과
safe-control-gym 스위트에서 수행된 실험은 뚜렷한 안정성-성능 트레이드오프를 보여준다:

• 안정화 작업: 고정된 설정값을 가진 작업(예: 카트폴 안정화)에서 LC-SAC 및 그 변형들은 바닐라 SAC와 대등하거나 더 높은 성능(카트폴에서 최대 +25% 향상)을 보이면서도, 시행(trial) 간 분산을 획기적으로 줄였다. 이는 제약이 학습 중 발생하는 파멸적인 정책 발산을 방지함을 나타낸다.
• 추적 작업: 공격적인 궤적 추적 작업에서는 안정성 제약으로 인해 바닐라 SAC 대비 약간의 수익 감소(3~15% 낮은 평균 수익)가 발생하지만, 그 대가로 훨씬 더 낮은 분산과 반복 가능한 학습 능력을 얻었다.
• 절제 연구(Ablation) 결과:
  • 하드 제약 vs. 보상 형성: 하드 라그랑주 제약을 포텐셜 기반 보상 형성(Lyap-RS-SAC)으로 대체하면 쿼드로터 작업에서 파멸적인 실패(최대 94% 수익 붕괴)가 발생하며, 이는 복잡한 고차원 역학에서 하드 제약이 필수적임을 입증한다.
  • CVaR vs. 평균: CVaR 집계(LC-SAC)는 최악의 위반을 타겟팅하여, 평균 집계 변형 모델(LC-SAC-Mean)보다 최악의 경우의 대리 손실(surrogate loss)은 낮지만 평균 하한값(mean floor)은 약간 더 높게 나타난다.
  • 구조적 수정: 제안된 EDMD 개선 사항(정규화 및 편향 앵커링)이 없을 경우, 3D 작업에 대한 대리 리아푸노프 손실이 무한대로 발산하여(4000 스텝에서 868) 학습을 완전히 차단했다. 개선 사항을 적용하면 이를 0에 가깝게 줄여 성공적인 학습을 가능하게 했다.

의의 및 주장
본 논문은 Koopman 연산자의 전역 선형화 특성을 활용하여 오프라인에서 안정성 인증을 도출함으로써, LC-SAC가 안전한 RL을 위한 계산 효율적이고 이론적으로 근거 있는 접근법을 제공한다고 주장한다. 본 연구는 다음을 입증한다:

1. 온라인에서 리아푸노스 함수를 학습하는 샘플 비효율성 없이도, 안정성 제약을 오프폴리시 RL에 효과적으로 통합할 수 있다.
2. 복잡한 고차원 시스템의 안정성을 유지하는 데 있어 하드 라그랑주 제약이 보상 형성보다 우월하다.
3. EDMD 파이프라인의 구조적 개선은 3D 쿼드로터와 같은 고차원 시스템으로 폐쇄형 CLF 방법을 확장하는 데 결정적이다.
4. 이 접근법은 공격적인 추적 작업에서 최고 성능을 약간 희생하는 대신, 학습 신뢰성과 견고성을 크게 향상시키는 유리한 트레이드오프를 제공한다.

저자들은 현재의 시불변(time-invariant) 이차 CLF가 공격적인 시변(time-varying) 참조값에 대한 한계가 있음을 언급하며, 추적 작업에서의 성능 격차를 좁히기 위해 향-변이(time-varying) 또는 데이터 기반 CLF 설계를 탐구할 것을 향후 과제로 제시하였다.