Set-Based Value Function Characterization and Neural Approximation of Stabilization Domains for Input-Constrained Discrete-Time Systems

1. 문제 정의 (Problem Statement)

• 배경: 비선형 제어 시스템에서 목표 집합 (또는 평형점) 으로 점근적으로 수렴할 수 있는 초기 상태의 집합인 안정화 영역 (Domain of Stabilization, DOS) 을 추정하는 것은 제어 이론의 핵심 문제입니다.
• 한계점:
  • 기존 방법들 (선형화, 제어 리아푸노프 함수, 슬라이딩 모드, 모델 예측 제어 등) 은 종종 국소적 (local) 인 안정성만 보장하거나, 입력 제약 (input constraints) 이 존재할 때 실제 DOS 와 일치하지 않는 도메인 (Domain of Attraction) 을 생성합니다.
  • 가치 함수 (Value Function) 기반 접근법은 DOS 를 정확히 특성화할 수 있으나, 상태 공간의 이산화로 인한 계산 복잡도 (차원의 저주) 와 무한 시간 최적 제어 문제의 비실용성으로 인해 적용에 어려움이 있습니다.
  • 최근의 학습 기반 (Neural Network) 방법들은 확장성이 좋지만, 학습된 제어기의 최대성 (maximality) 을 보장하지 못하며, 물리 법칙 (동역학 및 안정성 조건) 을 학습 과정에 직접 통합하는 데 한계가 있습니다.
• 목표: 입력 제약이 있는 이산 시간 비선형 시스템에 대해, 계산적으로 다루기 가능하면서도 이론적으로 엄밀한 DOS 추정 방법과 이를 기반으로 한 안정화 제어기 합성을 위한 새로운 프레임워크를 제안하는 것입니다.

2. 제안된 방법론 (Methodology)

논문은 집합 기반 가치 함수 (Set-Based Value Functions) 와 물리 정보 신경망 (Physics-Informed Neural Networks, PINN) 을 결합한 프레임워크를 제시합니다.

A. 집합 기반 가치 함수 (Set-Based Value Functions)

• 개념: 상태 공간 $\mathbb{R}^n$의 콤팩트 집합 (compact sets) 의 거리 공간 (metric spaces) 위에서 정의된 새로운 가치 함수 $V$와 $W$를 도입합니다.
• 정의:
  • $V(X) = \sum_{k=0}^{\infty} \Psi(R(X, k))$: 여기서 $R(X, k)$는 집합 $X$에서 시간 $k$까지 도달 가능한 집합 (reachable set) 이며, $\Psi$는 집합 내 최소 비용 함수입니다.
  • $W(X) = 1 - \exp(-V(X))$: $V$를 변환하여 $[0, 1)$ 범위로 매핑한 함수.
• 특성화 (Theorem 2):
  • $V(\{x\}) < \infty$ 또는 $W(\{x\}) < 1$인 상태 $x$의 집합이 정확히 DOS와 일치함을 증명했습니다.
  • 즉, DOS 는 가치 함수의 하위 레벨 집합 (sublevel sets) 으로 정확히 표현됩니다.
• 벨만 방정식 (Bellman-type Equations):
  • $V$와 $W$는 각각 다음과 같은 함수 방정식을 만족합니다.
    • $v(X) = \Psi(X) + v(F(X))$ (Zubov-type)
    • $w(X) - w(F(X)) = \xi(X)(1 - w(F(X)))$
  • 이 방정식들은 명시적인 'inf' 연산자 없이 집합 연산자 $F$를 포함하므로, 신경망 학습 시 잔차 (residual) 를 계산하기 용이합니다.

B. 물리 정보 신경망 학습 (Physics-Informed NN Learning)

• 근사화: 도달 가능 집합 $R(X, k)$의 정확한 계산은 어렵기 때문에, 무작위 샘플링된 입력 궤적을 기반으로 한 유한 시간 근사 ($\tilde{R}$) 를 사용합니다.
• 학습 프레임워크:
  • 목표: 상태 $x$를 입력으로 받아 $W(\{x\})$를 근사하는 신경망 $\omega_{nn}(x)$를 학습합니다.
  • 손실 함수 (Loss Function):
    1. 데이터 기반 손실 ($L_d$): 유한 시간 근사값 $\tilde{W}_{Ns}$와 신경망 출력 간의 오차.
    2. 물리 기반 손실 ($L_{pi}$): 유도된 벨만-type 함수 방정식 (9) 을 만족하도록 하는 잔차 최소화.
  • 장점: 시스템 동역학과 안정성 조건을 손실 함수에 직접 통합하여, 데이터만 의존하는 방법보다 더 정확한 근사와 이론적 보장을 제공합니다.

C. 제어기 합성 (Control Synthesis)

• 학습된 신경망 가치 함수 $\omega_{nn}$를 사용하여 DOS 를 추정하고, 해당 영역 내에서 시스템이 수렴하도록 하는 제어 입력을 그리드 기반 탐색 (grid-based search) 을 통해 추출합니다.
• 학습된 함수가 제어 리아푸노프 함수 (Control Lyapunov Function) 역할을 하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 가치 함수 특성화: 입력 제약이 있는 이산 시간 시스템의 DOS 를 콤팩트 집합의 거리 공간 위에서 정의된 가치 함수로 정확히 특성화했습니다. 이는 기존 상태 기반 접근법의 한계를 극복합니다.
2. 벨만-type 방정식 유도: 집합 연산자를 포함한 새로운 형태의 벨만 방정식을 유도하여, 명시적인 최적화 (infimum) 없이도 신경망 학습에 직접 적용 가능한 구조를 만들었습니다.
3. 물리 정보 신경망 프레임워크: 유도된 함수 방정식을 학습 과정에 통합하여, DOS 와 안정화 제어기를 동시에 학습하는 효율적인 알고리즘을 제안했습니다.
4. 이론적 엄밀성: 제안된 가치 함수의 연속성, 단조성, 그리고 유일성 (uniqueness) 을 수학적으로 증명했습니다.

4. 실험 결과 (Results)

논문은 두 가지 수치 예시 (2 차원 및 3 차원 비선형 시스템) 를 통해 방법론의 유효성을 입증했습니다.

• 시나리오: 입력 제약이 있는 불안정한 비선형 시스템을 대상으로 DOS 를 추정하고 제어기를 설계했습니다.
• 비교: 기존 2 차 리아푸노프 함수 (quadratic Lyapunov function) 기반의 타원형 영역 추정과 비교했습니다.
• 성과:
  • 제안된 신경망 프레임워크는 기존 방법보다 훨씬 덜 보수적 (less conservative) 이고 더 큰 DOS 를 추정했습니다.
  • 학습된 신경망의 1-하위 레벨 집합이 이론적 DOS 와 매우 근사하게 일치함을 확인했습니다 ($\omega_2 \approx 0.97$).
  • 추출된 제어기는 입력 제약을 준수하면서도 시스템 상태를 원점으로 안정적으로 수렴시켰습니다.
• 계산 효율성: MATLAB 환경에서 CORA 툴박스를 활용하여 도달 가능 집합을 근사하고, 신경망 학습은 각각 약 5 분 (2 차원) 및 15 분 (3 차원) 내에 완료되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 이론과 실용의 결합: 이 논문은 제어 이론의 강력한 이론적 기반 (가치 함수, 벨만 방정식) 과 현대적인 머신러닝의 확장성 (신경망, PINN) 을 성공적으로 융합했습니다.
• 입력 제약 처리: 입력 제약이 있는 비선형 시스템의 DOS 추정이라는 난제에 대해, 계산적으로 실행 가능한 새로운 해결책을 제시했습니다.
• 미래 전망: 현재 제안된 방법은 학습된 신경망의 정확성을 실험적으로 검증했으나, 향후에는 형식적 검증 (Formal Verification) 도구 (예: $\alpha,\beta$-CROWN, dReal 등) 를 통합하여 학습된 제어기와 DOS 추정에 대한 수학적 증명 (certification) 을 가능하게 하는 방향으로 발전할 계획입니다. 또한, 상태 제약 및 외란이 있는 시스템으로의 확장도 고려하고 있습니다.

요약하자면, 이 연구는 집합 기반 가치 함수를 통해 DOS 를 수학적으로 엄밀하게 정의하고, 이를 물리 정보 신경망으로 학습함으로써 입력 제약이 있는 복잡한 비선형 시스템에 대해 최대 안정화 영역을 효율적으로 추정하고 제어기를 합성하는 획기적인 프레임워크를 제시했습니다.