기술 요약: Lyapunov 함수 모델링을 위한 단일 극값 신경망 PolarNet

1. 문제 제기

신경망을 사용하여 증명 가능한 안정성 보장을 갖는 제어 전략을 학습하는 것은 여전히 중요한 과제입니다. 최근의 "신경 Lyapunov 제어" 방법들은 안정성 기준을 만족시키기 위해 제어기 $u_\theta$ 와 Lyapunov 함수 $V_\theta$ 를 함께 학습함으로써 가능성을 보여주었으나, 이러한 접근법들은 학습 시간 동안 발생하는 특정 실패 모드를 겪습니다.

핵심적인 문제는 기존 신경망 아키텍처가 양정치 함수를 모델링할 수는 있지만, 학습된 Lyapunov 함수가 정확히 하나의 임계점(원점에서의 평형점)을 갖는다는 것을 구조적으로 보장하지 못한다는 점입니다. 점근적으로 안정한 시스템에서 유효한 Lyapunov 함수 $V_\theta$ 의 경우, 모든 $x \neq 0$ 에 대해 기울기가 $\nabla V_\theta(x) \neq 0$ 를 만족해야 합니다. 그러나 표준적인 유연한 아키텍처 (예: MLP) 는 학습 과정에서 가짜 국소 최소값이나 안장점을 갖는 함수를 학습할 수 있습니다.

이러한 아키텍처적 결함은 다음과 같은 특정 실패 시나리오로 이어집니다:

1. 네트워크가 $P$ 와 $Q$ 와 같은 지점에서 여러 개의 국소 최소값을 갖는 $V_\theta$ 를 학습합니다.
2. 제어기 $u_\theta$ 는 $\dot{V}_\theta \geq 0$ 의 경험적 위험을 최소화하도록 학습됩니다. 만약 시스템 동역학이 상태가 가짜 평형점 (여기서 $\dot{x}=0$ 이고 $\nabla V_\theta=0$ 인 점) 에 정착하도록 허용한다면, 손실 항은 사라집니다.
3. 결과적으로 학습 과정이 멈추고, 합성된 제어기는 경험적 손실이 수렴을 시사함에도 불구하고 전역 점근적 안정성을 보장하지 못합니다.

손실 마진을 추가하거나 반례를 적극적으로 탐색하는 것과 같은 기존 완화 전략들은 이 문제를 근본적으로 해결하지는 못하며, 구조적 보장 대신 최적화 휴리스틱에 의존하기 때문에 완화만 할 뿐입니다.

2. 방법론: PolarNet

이를 해결하기 위해 저자들은 PolarNet을 제안합니다. 이는 "단일 임계점" 속성을 구조적으로 강제하도록 설계된 신경망 아키텍처입니다.

2.1 이론적 기반

이 방법은 점근적으로 안정한 평형점에 대한 유효한 Lyapunov 함수 (구체적으로 "단일 극 함수") 가 매끄럽게 가역적인 사상의 유클리드 노름 제곱으로 표현될 수 있다는 핵심 수학적 통찰에 기반합니다.

• 정의 3 (단일 극 함수): 함수 $V(x)$ 가 $C^\infty$ 매끄럽고, 양정치 ($V(0)=0, x \neq 0$ 일 때 $V(x)>0$) 이며, $x=0$ 에서 정확히 하나의 임계점을 가지고, 고유 (proper, 준수준 집합이 컴팩트함) 한 경우 이를 단일 극 함수라고 합니다.
• 정리 1: 원점에서 비퇴화 임계점을 갖는 임의의 단일 극 함수 $V(x)$ 에 대해, $V(x) = \|\Psi(x)\|^2$ 가 되도록 하는 $C^\infty$ 매끄럽고 가역적이며 영점을 지나는 벡터 값 함수 $\Psi(x)$ 가 존재합니다.
• 정리 2: $\Psi(x)$ 가 $C^\infty$ 매끄럽고, 영점을 지나며, 가역적인 사상이라면, 특정 파라미터 값 (유한한 경우) 에 관계없이 $V_\theta(x) = \|\Psi(x)\|^2$ 는 단일 극 함수가 보장됩니다. 이는 모든 $x \neq 0$ 에 대해 $\nabla V_\theta(x) \neq 0$ 임을 보장합니다.
• 정리 3: 국소 리프시츠 동역학 시스템의 임의의 점근적으로 안정한 평형점에 대해, 단일 극 함수이기도 한 Lyapunov 함수가 존재합니다. 이는 PolarNet 이 그러한 시스템에 필요한 Lyapunov 함수를 이론적으로 근사할 수 있음을 입증합니다.

2.2 네트워크 아키텍처

PolarNet 은 Affine Coupling Flows를 사용하여 사상 $\Psi(x)$ 를 구현합니다. 이는 가역 신경망 (INN) 의 한 유형입니다.

• 구조: 네트워크는 $L$ 개의 레이어로 구성되며, 각 레이어 $h^{(l)}$ 은 입력 $y$ 를 두 부분 ($y_{\leq k}$ 및 $y_{>k}$) 으로 분할합니다. 한 부분은 변경 없이 통과되고, 다른 한 부분은 첫 번째 부분에 작용하는 신경망 $f_s$ 와 $f_t$ 로 스케일링되고 이동된 아핀 변환을 통해 변환됩니다.
• 가역성: 아키텍처는 수학적으로 구성상 가역적으로 설계되었습니다.
• 영점 통과 제약: $V(0)=0$ 에 필요한 $\Psi(0)=0$ 을 보장하기 위해, 각 레이어의 이동 함수 $f_t$ 는 편향 항이 없는 Multi-Layer Perceptrons(MLP) 로 구현되며 영점을 통과하는 활성화 함수 (tanh) 를 사용합니다.
• 매끄러움: 모든 활성화 함수는 매끄럽습니다 (tanh). 이는 결과적인 $V_\theta$ 가 $C^\infty$ 매끄럽도록 보장합니다.

최종 Lyapunov 함수는 $V_\theta(x) = \|\Psi(x)\|^2$ 로 계산됩니다.

3. 주요 기여

1. 실패 모드 식별: 본 논문은 신경 Lyapunov 제어에서 구조적 보장의 부재가 가짜 평형점과 학습 정체로 이어지는 특정 클래스의 학습 시간 행동을 식별하고 특성화합니다.
2. PolarNet 아키텍처: 학습된 함수가 $x \neq 0$ 에 대해 $\nabla V \neq 0$ 을 만족하는 유효한 Lyapunov 함수 후보가 되도록 구조적으로 단일 임계점 속성을 강제하는 새로운 네트워크 아키텍처를 제안합니다.
3. 이론적 보장:
   • PolarNet 이 항상 단일 극 함수를 생성함을 증명.
   • 보편성 증명: PolarNet 은 임의의 단일 극 함수 (따라서 점근적으로 안정한 시스템에 대한 모든 유효한 Lyapunov 함수) 를 임의의 정밀도로 근사할 수 있음.
4. 바로 교체 가능 (Drop-in Replacement): 학습 목적이나 알고리즘을 변경하지 않고 기존 신경 Lyapunov 제어 프레임워크의 기존 네트워크 백본을 직접 대체하여 PolarNet 을 사용할 수 있음을 입증.

4. 실험 결과

저자들은 이론적 주장을 검증하기 위해 수치 실험을 수행했습니다:

• 함수 근사 (단일 극 속성):

  • 저자들은 PolarNet 과 기준 아키텍처 (MLP, Lyapunov Net, Wei 등) 를 훈련하여 여러 국소 최소값을 갖는 스칼라 장에 적합시켰습니다.
  • 결과: 기준 모델들은 다중 최소값 함수에 성공적으로 적합되어 단일 임계점 제약을 위반했습니다. 반면, PolarNet 은 구조적 제약에 따라 다중 최소값 형태에 적합하지는 못했지만 (예상대로), 모든 경우에서 단일 임계점 속성을 성공적으로 유지했습니다. 이는 PolarNet 이 가짜 국소 최소값을 생성할 수 없음을 확인시켜 주었습니다.

• 제어기 합성:

  • 알려지지 않은 동역학을 가진 2 차원 시스템과 같은 까다로운 비선형 제어 문제를 사용하여 안정화 제어기를 합성했습니다.
  • 기준: 표준 아키텍처 ([21] 과 같이) 를 사용하면 학습이 시스템을 안정화하지 못했습니다. 학습된 Lyapunov 함수는 여러 국소 최소값을 발달시켜 제어기가 가짜 평형점에 갇히게 했습니다.
  • PolarNet: Lyapunov 네트워크를 PolarNet 으로 교체하면 학습이 성공적으로 수렴했습니다. 결과적으로 합성된 제어기는 전체 상태 공간에서 시스템을 안정화했으며, 학습된 Lyapunov 함수는 원점에서 고유한 최소값을 유지했습니다.

5. 중요성 및 주장

본 논문은 PolarNet 이 신경 Lyapunov 제어에서 이전에 간과되었던 실패 모드에 대한 원칙적이고 실용적인 해결책을 제공한다고 주장합니다. 최적화 과정이 아닌 네트워크 아키텍처 자체로 안정성 보장의 부담을 전가함으로써, PolarNet 은 학습된 Lyapunov 함수가 안정성에 필요한 수학적 조건을 준수하도록 보장합니다.

저자들은 PolarNet 을 단일 임계점 속성을 구조적으로 강제하는 첫 번째 아키텍처로 위치시킵니다. 그들은 이 접근법이 반례 생성과 같은 휴리스틱 학습 전략과 구별되며, 네트워크가 유효하지 않은 Lyapunov 형태를 학습하는 것을 근본적으로 방지한다고 강조합니다.

6. 한계

저자들은 다음과 같은 한계를 명시적으로 지적합니다:

• 시스템 클래스: 이론적 보장은 동역학 시스템이 국소 리프시츠라고 가정합니다. 비리프시츠 시스템의 경우 PolarNet 을 적용할 수는 있지만, 유효한 Lyapunov 함수를 표현할 수 있다는 보장 (정리 3) 은 성립하지 않습니다.
• 범위: 이 방법은 연속 시간 시스템과 Lyapunov 안정성을 위해 설계되었습니다. 현재 이산 시간 시스템이나 다른 안정성 정의는 다루지 않습니다.
• 작업 특이성: PolarNet 은 단일 원하는 평형점에 대한 제어기 합성을 위해 최적화되었습니다. 여러 개의 안정 평형점 식별이 필요한 작업에는 설계되지 않았으며, 이 경우 구조적 제약이 표현력을 제한할 수 있습니다.