기술 요약: 신경망 제어기의 안정성 마진

문제 정의

강화 학습(RL)을 통해 훈련된 표준 신경망(NN) 제어기는 종종 폐루프 안정성에 대한 보장을 결여하고 있으며, 이는 특정 로버스트니스 지표를 요구하는 항공우주와 같은 안전 필수 영역에서의 배포를 제한한다. 최근 연구들이 신경망 제어기의 점근적 안정성(asymptotic stability)에 대한 검증 및 합성을 다루어 왔으나, 신경-망 제어기가 성능 보상을 극대화하면서 동시에 고전적인 로버스트니스 요구사항, 구체적으로는 **디스크 마진(disk margins)**을 엄격히 준수하도록 훈련하는 방법론에는 공백이 존재한다.

본 논문은 제어기 $K$가 기대 누적 보상을 극대화하는 동시에, 시스템이 클래스 $\mathcal{M}_\alpha$인 플랜트 집합에 대해 안정성을 유지하도록 하는 제약 최가 최적화 문제를 다룬다. 이 클래스는 디스크 마진 $D(\alpha, \sigma)$에 의해 경계가 정해진 불확실성(LTI 및 비선형 모두 포함)을 가진 명목 선형 시불변(LTI) 플랜트를 나타낸다. 디스크 마진은 이득(gain)과 위상(phase)의 동시 변화를 고려하므로, 고전적인 이득 및 위상 마진보다 더 엄격한 로버스트니스 보장을 제공하기 위해 선택되었다.

방법론

1. 시스템 모델링

저자들은 명목 LTI 플랜트와 불확실성 블록의 영향을 받는 신경망 제어기가 상호 연결된 제어 구조를 모델링한다.

• 플랜트: 명목 플랜트는 LTI이다. 불확실성은 입력 곱셈 블록 $H_{\Delta p}$로 모델링되며, 여기서 불확실성 $\Delta_p$는 $\alpha$에 의해 유계인 $L_2$-노름을 갖는다.
• 제어기: 신경망은 **순환 암시적 신경망(Recurrent Implicit Neural Network, RINN)**으로 모델링된다. 이는 LTI 시스템 $G_k$와 정적 요소별 활성화 함수 $\phi$(예: tanh, ReLU)가 상호 연결된 구조이다. 이 정식화는 제어기가 메모리(동역학)를 가질 수 있게 하며, 피드포워드 및 잔차 네트워크(residual networks)를 포함한 다양한 아키텍처를 포괄한다.
• 불확실성 특성: 플랜트 불확실성 $\Delta_p$와 제어기의 활성화 함수 $\phi$는 모두 **적분 이차 제약(Integral Quadratic Constraints, IQC)**을 사용하여 특성화된다. 불확실성 $\Delta_p$는 $L_2$ 이득과 관련된 섹터 바운드 IQC를 만족하며, 활성화 함수 $\phi$는 섹터 및 기울기 제한(slope-restriction) IQC를 만족한다.

2. 안정성 인증

본 논문의 핵심적인 이론적 기여는 특정 RINN 제어기가 디스크 마진 $D(\alpha, \sigma)$를 만족함을 인증하는 조건이다.

• 폐루프 시스템은 $\Delta_p$와 $\phi$를 모두 포함하는 합성 불확실성 블록과 상호 연결된 LTI 시스템으로 재정식화된다.
• 리아푸노프 함수 접근법과 IQC 이론을 결합하여, 저자들은 특정 행렬 부등식이 성립하도록 하는 양의 정부호 행렬 $X$와 대각 멀티플라이어 행렬 $\Lambda_p, \Lambda_k$를 찾는 선형 행렬 부등식(LMI) 조건(Lemma 3.1)을 도출한다.
• 훈련을 위한 직접적인 LMI 적용은 제어기 파라미터 $\theta$와 리아푸노프 행렬 $X$ 사이의 쌍선형성(bilinearity) 때문에 계산적으로 다루기 어렵다.

3. 투영을 이용한 훈련 알고리즘

안정성 제약을 만족하면서 보상을 극대화하는 제어기를 합성하기 위해, 저자들은 두 단계를 교대로 수행하는 반복 훈련 알고리즘(Algorithm 1)을 제안한다.

1. 강화 학습 단계: 표준 RL 단계(예: PPO)가 기대 보상을 극대화하도록 제어기 파라미터 $\theta$를 업데이트한다. 이때 생성된 파라미터 $\theta'$는 안정성 마진을 위반할 수 있다.
2. 안정성 마진 강제 단계: 만약 $\theta'$가 마진을 만족하지 않으면, 이를 안정적인 제어기 집합으로 투영(projection)한다.
   • 이 투영을 볼록(convex)하게 만들기 위해, 저자들은 [8]에서 영감을 얻은 변수 변환을 사용하여 제어기 파라미터 $\theta$와 리아푸노프 행렬 $X$를 새로운 변수 $\hat{\theta}$(행렬 $S, R, N_A, \dots$ 포함)로 변환한다.
   • 이 변환된 공간에서 안정성 조건은 $\hat{\theta}$에 대해 아핀(affine)이 되며, 이를 통해 투영을 **준정부호 계획법(Semidefinite Program, SDP)**으로 정식화할 수 있다.
   • 알고리즘은 현재의 $\hat{\theta}'$에 가장 가까운 유효한 $\hat{\theta}$를 찾기 위해 SDP를 풀고, 그 후 솔루션으로부터 제어기 파라미터 $\theta$를 재구성한다.
   • 또한, 알고리즘은 인증 실패 시 전체 투영을 수행하기 전에 보수성을 줄이기 위해 멀티플라이어 $\Lambda_p$를 교대로 조정하며 마진을 직접 인증하려고 시도한다.

주요 기여

• 훈련 프레임워크: 강화 학습 과정 중에 디스크 마진 제약을 명시적으로 강제하는 신경망 제어기 훈련을 위한 새로운 방법을 제시한다.
• 수학적 정식화: 플랜트 불확실성과 활성화 함수의 IQC를 사용하여 RINN 제어기의 디스크 마진 인증을 위한 LMI 조건을 도출한다.
• 볼록 투영: 변수 변환과 SDP를 통한 계산 가능한 투영 단계를 개발하여, 비볼록 안정성 제약을 그래디언트 기반 훈련 루프 내에서 강제할 수 있게 한다.
• 일반화: 제안된 방식은 정적 제어기를 넘어 동적(순환) 제어기로 확장되며, LTI 및 비선형 시변 동역학을 모두 포함하는 IQC로 설명되는 불확실성을 처리한다.

실험 결과

본 방법론은 복잡한 동역학을 가진 카트 위의 유연한 막대(flexible rod on a cart) 시뮬레이션에서 평가되었다.

• 비교 대상: 제안된 방법(SM-RINN)은 다음 모델들과 비교되었다:
  • 제약이 없는 순환 암시적 신경망(U-RINN).
  • 표준 완전 연결 신경망(FCNN).
  • 동일한 안정성 제약을 가진 LTI 제어기.
• 제약 조건: 모든 제약된 제어기(SM-RINN 및 LTI)는 $\alpha = 0.353, \sigma = 0$을 만족해야 하며, 이는 3 dB 이득 마진과 20° 위상 마진의 하한에 해당한다.
• 성능:
  • 제약이 없는 제어기들(U-RINN 및 FCNN)은 가장 높은 보상(~3000)을 달성했으나 안정성 보장이 없다.
  • 제약된 SM-RINN은 약 2250의 보상을 달축했다.
  • 제약된 LTI 제어기는 가장 낮은 보상(~1500)을 기록했다.
• 트레이드오프: 결과는 전형적인 성능-로버스트니스 트레이드오프를 보여준다. 그러나 SM-RINN은 동일한 엄격한 로버스트니스 보장을 유지하면서도 제약된 LTI 제어기에 비해 현저히 우수한 성능(보상 기준 약 50% 향상)을 보였다.

의의 및 주장

본 논문은 이 방법론이 안정성 마진을 규제 기관에서 요구하는 안전 필수 애플리케이션에서 신경망을 사용할 수 있게 함을 주장한다. SDP 투영을 통해 훈련 루프에 로버스트니스 제약을 직접 통합함으로써, 저자들은 NN 제어기가 전통적인 선형 제어기와 동일한 엄격한 로버스트니스 요구사항을 충족하면서도 더 우수한 성능 지표(보상)를 달성할 수 있음을 보여준다. 이 연구는 딥러닝의 유연성과 고전 제어 이론에서 요구하는 안전 보장 사이의 간극을 메운다.