Learning Robust Control Lyapunov Functions through Lipschitz Neural Networks

기술 요약: 리프시츠 신경망을 통한 강인한 제어 리아푸노프 함수 학습

문제 정의
본 논문은 가산적 외란(additive disturbances)이 존재하는 비선형 동역학 시스템을 위한 안정화 제어기 설계의 어려움을 다룹로다. 리아푸노프 함수는 안정성 분석을 위한 기초적인 도구이지만, 일반적인 비선형 시스템에 대해 이를 자동으로 구축하는 것은 여전히 미해결 과제로 남아 있습니다. SOS(Sum-of-Squares)나 LMI(Linear Matrix Inequalities)와 같은 기존의 계산 방법들은 확장성이나 일반성 측면에서 어려움을 겪는 경우가 많습니다. 또한, 최근 신경망을 사용하여 CLF(Control Lyapunov Functions)를 학습하는 딥러닝 접근 방식들은 대개 외란이 없는 정확한 동역학에 초점을 맞추거나, 계산 비용이 많이 드는 검증 방법(예: 0차 정보만을 사용하는 방식)에 의존합니다. 여기서 다루는 구체적인 과제는 상태 의존적 가산 외란이 존재할 때, 균일 최종 유계성(Uniform Ultimate Boundedness, UUB)을 보장하는 강인한 제어 리아푸노프 함수(RCLF)와 그에 상응하는 상태 피드백 제어기를 학습하고, 이러한 조건의 검증이 계산적으로 실행 가능하도록 보장하는 것입니다.

방법론
제안된 프레임워크는 리프시츠 신경망(Lipschitz Neural Networks, LNNs)과 고차 분기 한정(Branch-and-Bound, BnB) 검증 알고리즘을 통합합니다.

1. 리프시츠 신경망 (LNNs):
   저자들은 RCLF($V_{\theta_1}$)와 안정화 제어기($\pi_{\theta_2}$)를 공동으로 학습하기 위해 LNN을 사용합니다. 표준 네트워크와 달리, LNN은 특정 레이어 파라미터화(예: 스펙트럴 정규화, 직교 레이어 또는 샌드위치 레이어)를 통해 사전 정의된 리프시츠 상수를 강제합니다. 이러한 제약은 네트워크 출력의 입력에 대한 고차 미분(헤시안 및 3차 미분)에 대한 명시적이고 타이트한 경계(bounds)를 도출할 수 있게 하는 핵심 요소입니다. RCLF는 평형 조건 $V(0)=0$을 보장하기 위해 네트워크 출력을 이동(shifted)시킨 형태로 정의됩니다.

2. 학습 알고리즘:
   학습 과정은 샘플링된 상태 공간 및 경계에 대해 복합 손실 함수를 최소화합니다. 손실 항은 다음을 강제합니다:

• 양의 정치성(Positive Definiteness): $x \neq 0$일 때 $V(x) > 0$임을 보장합니다.
• 감소 조건(Decrease Condition): 알려진 외란 경계 함수 $\epsilon(x)$와 네트워크 및 시스템 동역학의 리프시츠 상수를 사용하여 외란 항을 상한(upper-bounding)함으로써, 원점 근처의 작은 구(ball) 외부에서 $\dot{V}$가 음수임을 보장합니다.
• 경계 및 커버리지(Boundary and Coverage): $V$의 하위 수준 집합(sublevel set)이 상태 공간의 최대한 넓은 부분을 커버하고 경계에서 일관된 값을 유지하도록 장려합니다.
  알고리즘은 LQR(Linear Quadratic Regulator) 해를 사용하여 파라미터를 초기화하고, 경험적으로 검증된 전방 불변 영역(forward-invariant region)을 최대화하는 파라미터를 저장하며 반복적으로 정밀화합니다.

3. 고차 검증 (분기 한정, Branch-and-Bound):
   학습된 RCLF를 공식적으로 검증하기 위해 새로운 GPU 친화적 BnB 알고리즘이 도입되었습니다. 0차 경계에 의존하는 dReal이나 확장성 한계에 직면하는 SMT 솔버와 달리, 이 방법은 LNN의 매끄러움(smoothness)을 활용합니다.

• 고차 경계: 저자들은 LNN의 헤시안 및 3차 미분에 대한 명시적인 스펙트럴 노름(spectral norm) 경계를 도출했습니다. 이 경계들은 테일러 전개(최대 2차까지)를 통해 네트워크 출력에 대한 타이트한 하한 및 상한을 구축하는 데 사용됩니다.
• 알고리즘 효율성: 1차 및 2차 정보를 포함함으로써, 알고리즘은 탐색 직사각형 내에서 함수 값의 훨씬 더 타이트한 포위(enclosure)를 생성합니다. 이를 통해 0차 방법론에 비해 더 공격적인 탐색 공간 가지치기(pruning)가 가능해집니다.
• 복잡도: 본 논문은 최악의 경우 시간 복잡도 경계를 설정하여, 검사되는 직사각형의 수가 시스템 차원에 대해서는 다항식적으로, 허용 오차에 대해서는 역수로 스케일링되지만, 실제로는 더 타이트한 경계 덕분에 크게 감소함을 보여줍니다.

주요 기여

1. 새로운 프레임워크: 가산적이고 상태 의존적인 외란이 있는 비선형 시스템을 위한 강인한 CLF 및 안정화 제어기를 학습하는 통합된 접근 방식을 제시합니다.
2. 도함수 경계: LNN의 헤시안 및 3차 미분에 대한 명시적인 스펙트럴 노름 경계를 확립했습니다. 이 경계들은 0차 또는 1차 정보만을 사용할 때보다 더 타이트하며, 리아푸노프 검증의 비볼록성(non-convexity) 문제를 해결합니다.
3. GPU 친화적 검증: 이러한 고차 경계를 활용하고 GPU에서의 배치 평가를 지원하는 BnB 알고리즘을 개발했습니다. 이는 CPU 기반 SMT 솔버에 비해 검증 속도를 크게 가속화합니다.
4. 경험적 검증: 6가지 동역학 시스템(역진자, 유니사이클, 3차 시스템, 카트폴, 2D 쿼드로터, SCARA 암)에 대한 광범별 시뮬레이션을 통해, 제안된 방법이 안정성을 검증하고 속도 및 확장성 측면에서 기존 도구(dReal, $\alpha,\beta$-CROWN)를 능가함을 입증했습니다.

결과
본 논문은 제안된 방법과 dReal(CPU 기반 SMT) 및 $\alpha,\beta$-CROWN(GPU 기반 경계 전파)을 비교하는 시뮬레이션 결과를 제시합니다.

• 검증 속도: 제안된 GPU 기반 BnB 알고리즘은 dReal보다 일관되게 우수한 성능을 보였으며, 높은 상태 차원(예: $n_x=8$인 SCARA 암)을 가진 시스템에서도 검증 시간을 몇 시간(또는 타임아웃)에서 몇 초로 단축하는 경우가 빈번했습니다.
• 확장성: dReal은 합리적인 시간 내에 2~3개 레이어를 가진 시스템을 검증하는 데 실패하는 반면, 제안된 방법은 최대 4개 레이어의 네트워크를 성공적으로 검증합니다.
• 전방 불변 영역: 학습된 제어기는 표준 LQR 및 비강인 신경 CLF(NLC) 접근 방식에 비해 훨씬 더 큰 전방 불변 영역을 달성합니다. 역진자의 경우, 제안된 방법은 약 75%의 전방 불변 영역 비율을 달ек성했으며, 이는 LQR의 약 23%와 대조적입니다.
• 강인성: 검증을 통해 학습된 제어기가 UUB 조건을 만족하며, 외란이 존재함에도 불구하고 궤적을 유계 영역 내에 유지함을 확인했습니다.

의의 및 주장
본 논문의 주요 의의는 딥러닝의 표현력과 강인한 제어 검증의 엄격한 요구 사항 사이의 간극을 메우는 데 있다고 주장합니다. 리프시츠 네트워크의 특정한 구조를 활용하여 고차 도함수 경계를 도출함으로써, 저자들은 수학적으로 엄격하면서도 계산적으로 효율적인 검증 프로세스를 가능하게 했습니다.

저자들은 본 프레임워크가 알려진 오차 범위가 없는 알 수 없는 모델에 대한 안정성을 인증하는 것이 아니라, 인증된 모델 불일치 또는 유계 외란에 대한 결정론적 강인성을 제공한다는 점을 명시합니다. 이 연구는 LNN이 비제약 네트워크에 비해 표현력이 낮을 수 있지만, 복잡한 비선형 시스템에 대한 효율적인 고차 검증을 가능하게 함으로써 그 트레이드오프가 정당화됨을 강조합니다. 결론적으로, 이 접근 방식은 복잡한 비선형 시스템을 위한 강인한 학습 제어기의 공식 검증을 실질적으로 가능하게 만듭니다.