Synthesizing Neural Network Controllers with Closed-Loop Dissipativity Guarantees

기술 요약: 폐루프 소산성(Dissipativity) 보장을 갖는 신경망 제어기 합성

문제 정의
강화 학습(RL)을 통해 훈련된 신경망 제어기는 복잡한 비선형 제어 작업에 대해 상당한 표현력을 제공하지만, 종종 공식적인 안전 보장이 결여되어 있습니다. 표준 훈련 방식은 입력에 민감하거나 예상치 못한 동작을 보이는 제어기를 생성할 수 있으며, 이는 안전이 중요한 응용 분야에서 위험을 초래합니다. 사전 훈련된 네트워크의 폐루프 안정성을 분석하기 위한 검증 방법들이 존재하지만, 이들은 훈련 과정 중에 강건성 제약 조건을 만족시키는 제어기를 합성하는 것을 본질적으로 용이하게 하지는 않습니다. 또한, 기존의 합성 방법들은 다룰 수 있는 플랜트의 클래스(예: 선형 시불변 시스템으로 제한됨)나 신경망 아키텍처의 복잡도(예: 메모리리스 vs 동적 구조) 측면에서 한계가 있는 경우가 많습니다.

본 논문은 보상 함수를 최대화하는 동시에 폐루프 소산성에 대한 엄격한 제약을 만족하도록 비선형 및 불확실한 플랜트에 대한 신경망 제어기를 합성하는 과제를 다룹니다. 소산성은 안정성, $L_2$ 이득 바운드(외란에 대한 강건성), 그리고 수동성(passivity)과 같은 특성을 인증하기 위한 통합된 프레임워크로 활용됩니다.

방법론
제안된 접근 방식은 선형 시불변(LTI) 시스템과 불확ty 블록의 상호 연결에 기반한 통합 프레임워크를 사용하여 플랜트와 제어기를 모두 모델링합니다.

1. 시스템 모델링:

   • 플랜트: 플랜트는 적분 이차 제약(Integral Quadratic Constraints, IQC)을 사용하여 불확실성과 비선형성을 기술하는 불확실한 LTI 시스템으로 모델링됩니다. 이를 통해 미모델링된 동역학 및 비선형성을 표현할 수 있습니다.
   • 제어기: 신경망 제어기는 순환 암시적 신경망(Recurrent Implicit Neural Network, RINN), 즉 평형 네트워크(equilibrium network)로 모델링됩니다. 이 아키텍처는 일반적인 피드포워드 및 순환 구조를 포괄합니다. 제로 제어기는 LTI 시스템과 활성화 함수 블록이 상호 연결된 형태로 표현되며, 여기서 활성화 함수 또한 IQC(구체적으로 섹터 경계 및 기울기 제한 제약)로 특징지어집니다.

2. 소산성 인증:

   • 저자들은 불확실한 LTI 시스템이 지정된 이차 공급율(quadratic supply rate)에 대해 소산적이기 위한 충분 조건을 도출합니다.
   • 플랜트 불확실성과 제어기 활성화 함수의 IQC 기술을 활용하여, 폐루프 시스템의 소산성에 대한 조건을 정식화합니다.
   • 초기 단계에서는 제어기 파라미터, 저장 함수 행렬($P$), 그리고 IQC 승수(multiplier)를 포함하는 쌍선형 행렬 부등식(Bilinear Matrix Inequality, BMI)이 도출됩니다.

3. 볼록 최적화 및 합성:

   • 합성을 계산 가능한 형태로 만들기 위해, 저자들은 BMI를 선형 행렬 부등식(Linear Matrix Inequality, LMI)으로 변환하는 변수 변환(Scherer 등, 1997 기반)을 사용합니다. 이 변환을 통해 문제를 준정부호 계획법(semidefinite programming, SDP)을 사용하여 효율적으로 해결할 수 있습니다.
   • LMI는 새로운 결정 변수에 대해 아핀(affine) 관계를 가지며, 이를 통해 제어기 구조와 소산성 인증을 동시에 최적화할 수 있습니다.

4. 훈련 알고리즘:

   • 투영 기반(projection-based) 훈련 알고리즘이 제안됩니다. 이 과정은 보상을 최대화하기 위한 표준 RL 단계(예: Proximal Policy Optimization)와 소산성을 강제하는 단계를 교대로 수행합니다.
   • 업데이트된 제어기 파라미터가 소산성 조건을 위반하는 경우, 투영 단계는 LMI 제약을 만족하는 가장 가까운 제어기 파라미터(변환된 공간 내에서)를 찾기 위해 SDP를 해결합니다.
   • 대안으로 규제 기반(regularization-based) 방법도 논의되는데, 이는 손실 함수에 페널티 항을 추가하는 방식입니다. 다만, 실험에서는 투영 기반 방법이 더 견고한 것으로 나타났습니다.

주요 기여

• 통합 프레임워크: 본 논문은 플랜트와 제어기를 모두 LTI 시스템과 IQC 경계 블록의 상호 연결로 모델링함으로써, 광범위한 비선형 및 불확실한 플랜트에 대한 신경망 제어기를 합성하는 방법을 제시합니다.
• 볼록 합성 조건: 폐루프 소산성에 대한 볼록(LMI) 조건을 도출하여, 제어기 합성을 위한 효율적인 SDP 솔버 사용을 가능하게 합니다.
• 투영 기반 훈련: RL을 투영을 통한 하드 소산성 제약과 통합하는 새로운 훈련 절차를 도입하여, 최종 제어기가 강건성 보장을 만족하면서 성능을 최적화하도록 보장합니다.
• 아키텍처 유연성: 암시적 신경망(Implicit Neural Networks, INN)의 사용은 메모리를 가진 동적 제어기(RINNs)를 지원하여, 기존 연구에서 사용된 정적 또는 순수 피드포워드 구조를 확장합니다.

실험 결과
제안된 방식은 두 가지 시뮬레이션 예제로 검증되었습니다:

1. 역진자(Inverted Pendulum): 목표는 최소한의 제어 노력으로 진자를 안정화하는 것입니다. 제안된 D-RINN은 동일한 안정성 보장을 유지하면서 제약된 LTI 제어기에 비해 현저히 낮은 제어 노력을 달ach했습니다. 또한, 보상 함수 하에서 시스템을 안정화하는 데 실패한 무제약 신경망보다 우수한 성능을 보였습니다.
2. 카트 위의 유연한 막대(Flexible Rod on a Cart): 이 예제는 유연성을 포착하기 위해 강체에 불확실성을 더한 모델을 포함합니다. D-RINN은 외란으로부터 상태에 대한 $L_2$ 이득 바운드를 보장하도록 훈련되었습니다. D-RINN은 동일한 강건성 보장을 가진 LTI 제어기보다 높은 보상(더 나은 상태 조절 및 적은 제어 노력)을 달성했습니다. 무제약 신경망은 높은 보상을 얻었으나 안정성 보장을 제공하는 데 실패했습니다.

두 경우 모두, D-RINN은 공식적인 강건성 보장이 반드시 높은 성능을 저해하는 것은 아니라는 점을 입증했습니다. 실제로, 신경망 제어기는 동일한 제약 조건 하의 선형 제어기보다 뛰어난 성능을 보여주었습니다.

의의 및 주장
저자들은 본 연구의 주요 기여가 소산성이라는 통합 프레임의 틀 안에서 외생적 외란과 모델 불확실성에 대한 강건성을 동시에 보장하는 것이라고 주장합니다. 그들은 이 방법이 표현력이 풍부할 뿐만 아니라 공식적으로 인증된 신경망 제어기를 합성하는 계산 가능한 방법을 제공한다고 단언합니다.

본 논문은 다음과 같은 점에서 기존 방법론보다 진보된 위치를 점합니다:

• LTI 플랜트로 제한되었던 기존 방법들과 달리, 더 넓은 클래스의 동적 시스템(비선형 및 불확실한 플랜트)을 다룹니다.
• 메모리리스 또는 상태 피드백 전용 방식에 비해 더 유연한 신경망 특성(동적, 출력 피드백)을 활용합니다.
• 일부 Youla-Kucera 파라미터화 접근 방식과 달리, 사전 안정화 베이스 제어기의 존재를 요구하지 않습니다.

저자들은 현재의 LMI 기반 접근 방식이 계산 규모 측면의 한계가 있을 수 있으나, 안전한 학습 기반 제어를 위한 엄격한 토대를 제공하며, 향후 연구는 보수성(conservatism)을 줄이고 수치적 안정성을 개선하는 데 집중될 것이라고 결론짓습니다.