Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

기술 요약: 입출력 소산성(Input-Output Dissipativity)을 이용한 최적성 및 안정성 보증을 갖는 신경 제어기 학습

문제 정의
딥러닝은 로보틱스, 운송, 전력 시스템 등 복잡한 비선형 제어 과제를 해결하는 데 유망한 가능성을 보여주었습니다. 그러나 이러한 방법들은 일반적으로 안정성과 같은 핵심적인 특성에 대한 형식적인 보증(formal guarantees)이 부족합니다. 반례 유도적 합성(counterexample-guided inductive synthesis, 예: SMT 솔버 활용)을 사용하는 학습 기반 접근 방식은 신경 제어기의 안정성을 검증할 수는 있지만, 무한 시간 지평(infinite horizon)에 대한 최적성을 보증하는 데는 종종 실패합니다. 기존 방법들은 흔-히 유한한 샘플 궤적에 대해 성능을 최적화하며, 이는 장기적인 최적성이나 전역적 안정성을 보장하지 못하는 "근시안적인(myopic)" 설계를 초래합니다. 본 논문이 다루는 핵심 과제는 일반적인 비선형 시스템에 대해 사용자 정의 비용 함수에 대한 점근적 안정성과 최적성을 동시에 보증하는 신경 제어기를 설계하는 것입니다.

방법론
저자들은 입력-출력 쌍의 에너지 소산을 특징짓기 위해 저장 함수(storage function)와 공급률 함수(supply rate function)를 사용하는 리아푸노프 이론의 일반화인 **입출력 소산성 이론(input-output dissipativity theory)**에 기반한 프레임워크를 제안합니다.

1. 이론적 프레임워크:

   • 시스템은 $\dot{x} = f(x) + g(x)u$로 모델링됩니다.
   • 저자들은 이차 저장-저항(Quadratic-Storage-Resistive, QSR) 형태의 저장 함수 $V(x)$(리아푸노프 함수와 유사)와 공급률 함수 $w(x, u)$를 정의합니다: $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • 안정성: 특정 제어 법칙 하에서 시스템이 $w(x, u) < 0$인 소산성을 가진다면, 폐루프 시스템은 안정합니다. 본 논문은 특정 행렬 부등식( $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$와 관련된)이 양의 정해(positive definite)이면 안정성을 보장하는 구조화된 제어 법칙 $\pi(x) = -R(x)^{-1}S(x)^\top x$를 도출합니다.
   • 최적성: 저자들은 이 구조화된 제어 법칙이 무한 시간 최적 제어 문제의 최적해임을 증명합니다. 관련 비용 범함수(cost functional)는 학습된 저장 및 공급률 함수로부터 도출됩니다. 또한, 추가적인 정칙성 조건(regularity conditions)이 충족되면 비용 범함수가 비선형 이차 형식(nonlinear quadratic form)이 되어, 제어기를 특정 사용자 정의 목적에 맞게 형상화(shape)할 수 있음을 보여줍니다.

2. 학습 알고리즘 (반례 유도적 합성):

   • 신경망 파라미터화: 저장 함수 $V(x)$와 행렬 함수 $Q(x), S(x), R(x)$는 피드포워드 신경망으로 파라미터화됩니다.
   • 차원 축소: 본 논문의 주요 기술적 기여는 소산성 조건의 재구성입니다. 고차원 입력에 대해 샘플링하기 어려운 상태-입력 결합 공간 대신, 저자들은 상태 공간 $x$에만 의존하는 조건을 도출합니다(Proposition 8). 이는 Schur complement를 통해 유도된 행렬 부등식 $M(x) \succ 0$을 포함하며, 이를 통해 샘플링 차원을 크게 줄입니다.
   • 학습 루프: 학습은 다음과 같은 하이브리드 접근 방식을 사용합니다:
     • 학습기(Learner): 소산성 조건(저장 함수의 양의 정해성, $R$ 및 $\Delta$의 양의 정해성, 그리고 행렬 부등식 $M$)으로부터 유도된 손실 함수를 사용하여 신경망 파라미터를 최적화합니다.
     • 검증기(Verifier): SMT 솔버(특히 dReal)와 투영 경사 하강법(Projected Gradient Descent, PGD)을 사용하여 관심 영역에 대해 조건을 형식적으로 검증합니다.
     • 반례(Counterexamples): 검증기가 위반 사항을 발견하면, 해당 반례를 학습 세트에 추가하여 신경망을 정교하게 만듭니다. 이 루프는 형식적 보증이 충족될 때까지 반복됩니다.

주요 기여

• 새로운 프레임워크: 입출력 소산성을 학습함으로써 증명 가능한 안정성과 무한 시간 최적성 보증을 제공하는 신경 제어기 설계 방법론을 제시합니다.
• 이론적 보증: 도출된 제어 법칙이 동일한 소산성을 공유하는 모든 시스템을 안정화하며, 학습된 비용 범함수를 갖는 특정 최적 제어 문제의 최적해임을 증명합니다.
• 차원 축소: 소산성 조건을 상태-입력 곱 공간에서 상태 공간 단독으로 축소하여, 다중 입력 시스템의 학습 효율성을 높이는 재구성을 수행했습니다.
• 비용 형상화(Cost Shaping): 학습된 비용 범함수를 사용자 정의 목적에 맞게 형상화할 수 있는 메커니즘을 제공하여, 이론적 최적성과 실제 성능 지표 사이의 간극을 메웁니다.

실험 결과
본 프레임워크는 전기 회로(Electric Circuit), 역진자(Inverted Pendulum, 정적 및 동적 제어), 카트 위의 막대(Rod on a Cart)라는 세 가지 벤치마크 환경에서 검증되었습니다.

• 베이스라인: 제안된 방법은 Neural Control Lyapunov Functions (NCLF), Neural ODEs (NODE), 그리고 비용 형상화가 없는 변형 모델(OURS-NCFS)과 비교되었습니다.
• 안정성: NODE는 낮은 훈련 비용에도 불구하고 일부 시나리오에서 시스템을 안정화하는 데 실패한 반면, 제안된 방법은 dReal에 의해 검증된 형식적 안정성 보증을 제공했습니다.
• 최적성: 제안된 방법(OURS)은 NCLF보다 일관되게 낮은 누적 비용을 달-성했으며, 전기 회로 및 역진자와 같은 여러 경우에서 NODE와 대등하거나 더 우수한 성능을 보임과 동시에 안정성을 유지했습니다.
• 선형 사례: 전기 회로 실험(선형 시스템)에서 학습된 제어기는 이론적인 선형 이차 조절기(LQR) 해를 성공적으로 재현하였으며, 이는 본 프레임워크가 알려진 최적해를 복구할 수 있는 능력을 갖추었음을 입증합니다.

의의 및 주장
본 논문은 학습 기반 제어 프레임워크 내에서 안정성과 최적성 보증을 통합했다는 점에 주요 의의가 있다고 주장합니다. 저자들은 소산성 이론을 활용함으로써, 순수 궤적 기반 학습(무한 시간 보증 결여)과 전통적인 리아푸노프 기반 학습(명시적인 최적성 인증 결여)의 한계를 극복했다고 설명합니다. 저장 및 공급률 함수를 직접 학습할 수 있는 능력은 제어기가 특정 사용자 정의 목적에 맞춰 형상화될 수 있는 최적성 속성을 상속받을 수 있게 합니다. 저자들은 엄격한 제약 조건 하에서 이러한 함수들을 학습하는 것이 여전히 도전적인 과제이지만, 재구성 및 검증 가이드 합성(verification-guided synthesis)이 안전하고 최적인 신경 제어를 향한 견고한 경로를 제공한다고 언급합니다.