Kernel-Based LMI Approaches to Solving the Hamilton-Jacobi-Bellman Equation and Nonlinear Optimal Control

이 논문은 비선형 최적 제어 문제에서 발생하는 해밀토니안-야코비-벨만 (HJB) 방정식을 해결하기 위한 커널 기반 선형 행렬 부등식 (LMI) 접근법을 제시합니다. 저자들은 비선형 HJB 부등식을 볼록 반정부 (Semidefinite) 프로그래밍 (SDP) 문제로 변환하고, 재현 커널 힐베르트 공간 (RKHS) 표현과 슈어 여인수 (Schur complement) 재형식을 활용하여 수치적으로 해결 가능한 프레임워크를 구축했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem Formulation)

• 목표: $\dot{x} = f(x) + g(x)u$ 형태의 제어-아핀 (control-affine) 시스템에 대해 무한 시간 범위의 비용 함수를 최소화하는 최적 피드백 제어 법칙을 찾는 것.
• 도전 과제: HJB 방정식은 비선형 편미분 부등식으로, 일반적인 비선형 시스템에서는 직접 해를 구하는 것이 계산적으로 불가능 (intractable) 합니다.
• 기존 방법의 한계:
  • 유한 차분법 및 동적 프로그래밍: 차원의 저주 (curse of dimensionality) 로 인해 고차원 시스템에 적용 불가.
  • 신경망 기반 방법: 확장성은 좋으나 최적성 및 안정성에 대한 이론적 보장이 부족.
  • 합 (Sum-of-Squares, SOS) 프로그래밍: 볼록성은 제공하지만 다항식 시스템에 제한되며 차수가 높아지면 계산 비용이 급증.

2. 방법론 (Methodology)

이 논문은 선형 시스템의 리카티 (Riccati) 방정식에서 영감을 받아 다음과 같은 4 단계 프레임워크를 제안합니다.

1. HJB 부등식을 LMI 로 변환 (Schur Complement):

   • 비선형 HJB 부등식을 슈어 여인수 (Schur complement) 정리를 적용하여 **선형 행렬 부등식 (LMI)**으로 변환합니다.
   • 이를 통해 값 함수 (Value Function) 의 기울기에 대해 선형인 볼록 제약 조건을 얻어, 비선형 문제를 볼록 최적화 문제로 재구성합니다.

2. RKHS 를 통한 근사 (Reproducing Kernel Hilbert Space):

   • 값 함수의 기울기를 RKHS 의 유한 차원 기저 함수 (커널 함수의 선형 결합) 로 표현합니다.
   • $\nabla V(x) = \sum p_i \nabla \kappa(x, x_i)$ 형태로 매개변수화하여 무한 차원 문제를 유한 차원 최적화 문제로 축소합니다.

3. 자명한 해 (Trivial Solution) 방지 및 리카티 헤시안 제약:

   • 최적화 과정에서 $V(x) \equiv 0$과 같은 쓸모없는 해가 나오는 것을 방지하기 위해 평형점 (원점) 에서 **리카티 헤시안 제약 (Riccati Hessian Constraint)**을 도입합니다.
   • 평형점에서의 값 함수 헤시안 행렬 ($\nabla^2 V(0)$) 이 선형화된 시스템의 대수적 리카티 방정식 (ARE) 해 $P$와 일치하도록 강제합니다.
   • 이 제약은 $P \succ 0$이므로 자명한 해를 배제하고, 선형 최적 제어 (LQR) 이론과 일관성을 유지하며 국소적 안정성을 보장합니다.

4. 유한 차원 콜로케이션 (Collocation) 및 SDP 해결:

   • 도메인 내의 특정 점 (콜로케이션 포인트) 에서 LMI 제약 조건을 적용하여 유한 개의 행렬 부등식 시스템으로 만듭니다.
   • 최종적으로 반정부 프로그래밍 (SDP) 솔버를 사용하여 최적의 커널 계수 $p$를 구합니다.

3. 주요 기여 (Key Contributions)

• 볼록 재형식: 비선형 HJB 부등식을 LMI 를 통해 볼록 제약 조건으로 변환하여 이론적 해법이 가능하도록 함.
• 이론적 보장:
  • 부분 최적성 (Suboptimality) 경계: 근사 해가 실제 최적 해와 얼마나 차이가 나는지에 대한 상한을 제공.
  • 지수 안정성 (Exponential Stability): 리카티 헤시안 제약이 폐루프 시스템의 원점 지수 안정성을 보장함을 증명.
  • 수렴 속도: 커널 중심의 밀도와 함수의 매끄러움에 따른 수렴 속도 ($O(M^{-(s-1)/n})$) 를 분석.
• 자명한 해 제거: 리카티 헤시안 제약을 통해 최적화 과정에서 발생하는 $V \equiv 0$ 문제를 해결하고, 불안정한 평형점을 안정화하는 제어 법칙을 도출함.

4. 수치 실험 결과 (Numerical Results)

1 차원, 2 차원 다항식 시스템, 그리고 비선형 진동자 (Van der Pol Oscillator) 에 대한 실험을 수행했습니다.

• 1 차원 스칼라 시스템: 불안정한 평형점을 가진 비선형 시스템에서 6 개의 서로 다른 초기 조건으로부터 모든 궤적이 원점으로 지수적으로 수렴함을 확인.
• 2 차원 방사 대칭 시스템: 8 개의 다양한 방향에서 초기화된 궤적이 모두 원점으로 수렴하며, 국소적 곡선 (Hessian) 이 LQR 해와 일치함을 확인.
• Van der Pol 진동자: 비선형 감쇠 항을 가진 불안정 시스템을 제어하여 모든 궤적이 안정화됨을 입증.
• 핵심 발견:
  • 전역적인 값 함수 근사 오차가 크더라도 (O(1) 수준), **평형점 근처의 정확한 국소적 행동 (리카티 제약에 의해 보장됨)**만으로도 시스템의 안정화가 가능합니다.
  • 모든 테스트 시스템에서 폐루프 궤적이 초기 조건과 무관하게 원점으로 지수적으로 수렴했습니다.

5. 의의 및 결론 (Significance)

• 이론과 실용의 연결: 고전적인 동적 프로그래밍과 현대적인 볼록 최적화 (SDP) 를 연결하여, 비선형 최적 제어에 대한 엄격한 이론적 보장을 제공하는 새로운 패러다임을 제시했습니다.
• 불안정 시스템 제어: 기존의 라이아푸노프 함수 구성 방법 (안정성이 이미 보장된 시스템을 검증) 과 달리, 불안정한 평형점을 가진 시스템을 최적 제어를 통해 안정화하는 능력을 입증했습니다.
• 계산적 효율성: 고차원 문제의 차원의 저주를 피하면서도, RKHS 기반의 커널 표현과 SDP 를 통해 계산적으로 처리 가능한 (tractable) 솔루션을 제공합니다.

요약하자면, 이 논문은 리카티 헤시안 제약을 도입한 커널 기반 LMI 방법을 통해 비선형 최적 제어 문제를 효율적이고 이론적으로 엄밀하게 해결하는 강력한 프레임워크를 제시했습니다.