Learning Neural Network Controllers with Certified Robust Performance via Adversarial Training

1. 문제 정의 (Problem Statement)

• 배경: 신경망 (NN) 제어기는 비선형 동역학 시스템에서 뛰어난 성능을 보이지만, 안전이 중요한 (safety-critical) 환경에 배포하기 위해서는 외부 섭동 (disturbance) 과 모델 불확실성 (uncertainty) 에 대한 **형식적 보장 (formal guarantees)**이 필수적입니다.
• 현황: 기존 NN 제어기의 안정성 분석은 주로 Lyapunov 함수에 기반하지만, 외부 섭동과 모델 불확실성 하에서의 **강인한 성능 (robust performance)**을 보장하는 것은 여전히 난제입니다.
• 한계:
  • 기존의 선형 행렬 부등식 (LMI) 기반 방법은 비선형성을 2 차 제약 (Quadratic Constraints, QC) 으로 근사하여 분석하므로, 보수적 (conservative) 이어서 검증 가능한 영역이 작습니다.
  • 반면, 정밀한 검증 도구 (예: $\alpha,\beta$-CROWN) 는 비선형성을 직접 분석할 수 있지만, 불확실성이 포함된 시스템의 제어기와 증명자 (certificate) 를 동시에 설계하는 데는 한계가 있었습니다.

2. 제안 방법론 (Methodology)

이 논문은 **적대적 학습 (Adversarial Training)**을 활용하여 NN 제어기와 소산성 (Dissipativity) 증명자를 **공동으로 합성 (Joint Synthesis)**하는 새로운 프레임워크를 제안합니다.

A. 핵심 개념: 강인 소산성 (Robust Dissipativity)

• 시스템이 모델 불확실성과 외부 섭동 하에서도 소산 부등식 (dissipation inequality) 을 만족하도록 보장합니다.
• 이는 Lyapunov 안정성을 일반화한 것으로, $\ell_2$-gain(섭동 감쇠) 및 수동성 (passivity) 등의 입력 - 출력 특성을 포함합니다.
• 정의: 주어진 상태 집합 $X$와 섭동 집합 $D$에서, 저장 함수 (Storage function) $V(x)$가 존재하여 모든 불확실성 $\Delta$에 대해 $V(x_K) - V(x_0) \leq \sum s(d_k, e_k)$가 성립해야 합니다.

B. 하이브리드 검증 및 학습 전략

1. $\alpha,\beta$-CROWN 활용:
   • 알려진 비선형 동역학 (NN 제어기 포함) 에 대한 직접 분석을 수행합니다.
   • 분기 - 바운드 (Branch-and-Bound) 기법을 사용하여 전역 하한을 계산하고, 명세 ($f(x) > 0$) 를 검증합니다.
2. 2 차 제약 (QC) 활용:
   • 비선형성이 아닌 **비모수적 모델 불확실성 (non-parametric uncertainty)**을 모델링하는 데만 QC 를 사용합니다.
   • 이를 통해 불필요한 보수성을 줄이고, $\alpha,\beta$-CROWN 이 비선형 동역학에 집중할 수 있게 합니다.

C. 적대적 학습 알고리즘 (Adversarial Training)

제안된 알고리즘 (Algorithm 1) 은 두 단계로 구성됩니다:

1. 학습 단계 (Training):
   • 목표: 제어기 파라미터 ($\theta$), 저장 함수 파라미터 ($\phi$), QC 승수 (multipliers) 를 학습하여 검증 조건 $\phi(x, w, d) > 0$을 만족시키고, 검증된 영역의 부피를 최대화합니다.
   • 손실 함수 (Loss Function):
     • 샘플링 손실 ($L_{sample}$): 무작위 샘플에서의 위반을 패널티.
     • 적대적 손실 ($L_{adv}$): PGD (Projected Gradient Descent) 를 사용하여 가장 취약한 지점 (Counterexample) 을 찾고 이를 학습에 반영.
     • 앵커 손실 ($L_{anchor}$): 검증된 영역이 확장되도록 유도하는 정규화 항.
   • 도메인 확장: 학습이 수렴하면 시뮬레이션을 통해 도달 가능한 궤적을 분석하고 검증 영역 (Bounding Box) 을 점진적으로 확장합니다.
2. 검증 단계 (Verification):
   • 학습이 완료된 후, 고정된 파라미터로 $\alpha,\beta$-CROWN 을 사용하여 **이분법 (Bisection)**을 통해 검증 가능한 최대 영역 ($\rho$) 을 공식적으로 증명합니다.

3. 주요 기여 (Key Contributions)

1. 공동 합성 (Joint Synthesis) 프레임워크: 제어기와 소산성 증명자를 동시에 학습하여 강인 소산성을 보장하는 새로운 방법론 제시.
2. 하이브리드 접근법: $\alpha,\beta$-CROWN(비선형 동역학 분석) 과 QC(불확실성 모델링) 의 장점을 결합하여 LMI 기반 방법의 보수성을 극복.
3. 적대적 학습 기반 최적화: Counterexample(반례) 을 학습 과정에 직접 활용하여 검증 가능한 영역을 극대화하는 효율적인 알고리즘 개발.
4. 확장성: 고정된 제어기에 대한 증명자 학습뿐만 아니라, 제어기 자체의 학습까지 포함하는 유연한 구조 제공.

4. 실험 결과 (Numerical Experiments)

토크 구동형 역진자 (Inverted Pendulum) 시스템을 대상으로 두 가지 실험을 수행했습니다.

실험 1: $\ell_2$-Gain Bound (섭동 감쇠)

• 목표: 외부 섭동에 대한 $\ell_2$-gain 을 만족하는 영역 최대화.
• 결과:
  • LMI 기반 방법: 가장 작은 영역 (기준).
  • 학습 전 ($\alpha,\beta$-CROWN): LMI 대비 51 배 더 큰 영역 검증 (비선형성 근사 제거 효과).
  • 고정 제어기 + 저장 함수 학습: LMI 대비 67.5 배 증가.
  • 제어기 + 저장 함수 공동 학습: LMI 대비 78.1 배 증가 (최대).
  • 의의: 제어기 학습 없이도 저장 함수 최적화로 성능이 크게 향상되며, 제어기까지 학습하면 추가적인 이득을 얻음.

실험 2: 모델 불확실성 하의 강인 안정성

• 목표: 입력 채널의 비모수적 불확실성 (Sector-bound) 하에서 시스템 안정성 보장.
• 결과:
  • LMI 대비 학습 전 $\alpha,\beta$-CROWN 은 7.6 배, 공동 학습 시 10.2 배 더 큰 영역을 검증.
  • 불확실성 하에서도 제안된 방법이 LMI 보다 훨씬 덜 보수적인 결과를 제공함.

계산 비용:

• LMI 기반 방법은 매우 빠르지만 (0.03 분), 제안된 방법은 학습 및 검증에 더 많은 시간이 소요됨 (약 30~115 분). 하지만 검증된 영역의 크기가 압도적으로 큽니다.

5. 의의 및 결론 (Significance & Conclusion)

• 보수성 극복: 기존의 LMI 기반 방법은 비선형성을 2 차 제약으로 근사하는 과정에서 발생하는 보수성으로 인해 실제 시스템의 작동 가능 영역을 과소평가하는 경향이 있었습니다. 이 논문은 $\alpha,\beta$-CROWN 을 도입하여 이를 78 배까지 개선했습니다.
• 안전한 NN 제어기 배포: 안전이 중요한 분야에서 NN 제어기를 배포할 때, 외부 섭동과 모델 불확실성 하에서도 형식적으로 검증된 성능을 보장할 수 있는 실용적인 프레임워크를 제공합니다.
• 미래 전망: 현재는 2 차 제약 (QC) 만을 불확실성 모델링에 사용하지만, 향후 적분 2 차 제약 (Integral Quadratic Constraints, IQC) 으로 확장하여 더 복잡한 불확실성을 다룰 수 있을 것으로 기대됩니다.

요약하자면, 이 논문은 적대적 학습과 정밀한 형식 검증 도구를 결합하여, 기존 방법론보다 훨씬 넓고 안전한 영역에서 신경망 제어기의 강인성을 보장하는 획기적인 접근법을 제시했습니다.