Hessian-augmented Supervised Learning for Hamilton-Jacobi-Bellman PDEs

기술 요약: 해밀턴-자코비-벨만(HJB) PDE를 위한 헤시안 증강 지도 학습

문제 정의
본 논문은 비선형 제어-아핀(control-affine) 역학을 갖는 결정론적 최적 제어 문제를 위한 최적 피드백 제어 법칙의 합성을 다룬다. 표준적인 접근 방식은 $n$차원 상태 공간에 대해 정의된 완전 비선형 편미분 방정식인 해밀턴-자코비-벨만(HJB) 방정식을 푸는 것이다. 고전적인 격자 기반 이산화 방식은 상태 차원 $n$에 따라 지수적으로 증가하는 "차원의 저주"를 겪으며, 이는 $n \lesssim 5$인 저차원 시스템으로 적용 범위를 제한한다. 차원의 저주를 완화하기 위해 다양한 비표준 수치 전략(예: 인과성 없는 특성법, 텐서 분해, 딥러닝 등)이 제안되어 왔으나, 고차원($n \gg 5$)에서 가치 함수(value function)를 근사하고 피드백 법칙을 복구하는 문제는 여전히 중대한 과제로 남아 있다.

방법론
저자들은 미분 증강을 이용한 지도 학습을 통해 가치 함수 $V(x)$를 근사하는 데이터 기반 프레임워크를 제안한다. 핵심 방법론은 세 가지 구성 요소로 이루어진다:

1. PMP 및 리카티 방정식을 통한 데이터 생성:
   HJB PDE를 직접 푸는 대신, 본 방법은 폰트랴긴 최댓값 원리(PMP)의 1차 필요 최적 조건을 해결함으로써 학습 데이터를 생성한다. 일련의 초기 조건에 대해, PMP는 최적 상태 및 부가 변수(adjoint) 궤적을 기술하는 이점-두-지점 경계값 문제(TPBVP)를 제공한다.

   • 0차(Zeroth-order): 최적 궤적을 따르는 비용은 가치 함수 $V(x)$를 제공한다.
   • 1차(First-order): 부가 변수 $p(t)$는 궤적을 따라 그래디언트 $\nabla V(x)$와 일치한다.
   • 2차(Second-order): 최적 궤적을 따라 역방향으로 적분되는 행렬 리카티 방정식은 헤시안 $\nabla^2 V(x)$를 산출한다.
     이 과정은 상태 공간의 이산화를 피하며, 차원에 지수적으로 비례하는 대신 초기 조건의 수에 선형적으로 비례하여 확장된다.

2. 희소 다항식 회귀(Sparse Polynomial Regression):
   가치 함수는 희소 다항식 모델 $\tilde{V}(x) = \sum \theta_k \Phi_k(x)$로 근사된다. 기저 함수(basis functions)는 필수적인 다변량 결합을 포착하기 위해 저차수 전차수(total-degree) 항들로 보강된 하이퍼볼릭 크로스(hyperbolic cross) 인덱스 집합 상의 텐서 곱 르장드르 다항식으로 구성된다.

3. 미분 증강 최소제곱법(Derivative-Augmented Least Squares):
   회귀는 함수 값, 그래디언트, 헤시안의 오차를 동시에 패널티를 주는 가중 최소제곱 목적 함수를 최소화한다.

   • 각 학습 샘플 $x_j$는 가치에 대한 1개, 그래디언트에 대한 $n$개, 헤시안에 대한 $n(n+1)/2$개의 방정식을 기여한다.
   • 결과적으로 총 방정식 개수는 $M = N(1 + n + n(n+1)/2)$가 되며, 여기서 $N$은 샘플 수이다.
   • 고차원에서 계산 비용을 관리하기 위해, 헤시안 방정식이 훈련 샘플의 일부 비율 $\rho \in (0, 1]$에 대해서만 강제되는 "부분 헤시안(partial Hessian)" 전략이 도입된다.

주요 기여

• 2차 정보로의 확장: 본 논문은 PMP 기반 데이터 생성을 리카티 방정식을 통한 헤시안 정보 포함으로 확장하여, 최적 제어 분야에서 이 방향을 체계적으로 발전시켰다.
• 부분 헤시안 전략: 데이터 생성 및 회귀 시스템 크기의 높은 비용과 곡률 정보의 이득 사이에서 균형을 맞추기 위해, 2차 데이터를 서브샘플링하는 조절 가능한 전략을 도입했다.
• 기저 상호작용: 저차수 전차수 항들로 보강된 하이퍼볼릭 크로스 다항식 기저와 2차 증강 간의 상호작용을 연구하였다.
• 체계적인 벤치마킹: 본 접근법은 증가하는 상태 차원($n=2, 6, 19$)에 대해 이산 소볼레프 노름(discrete Sobolev norms), HJB 잔차, 폐루프 제어 성능을 측정하며 검증되었다.

결과
수치 실험은 2차 증강이 0차 및 1차 방법보다 샘플 복잡도를 유의미하게 감소시킨다는 것을 보여준다:

• 분석적 벤치마크: 12차원 테스트 함수에 대해, 규정된 $L^2$ 오차를 달로하기 위해 2차 증강은 $N=50$개의 샘플이 필요했던 반면, 1차 회귀는 $N \approx 350$개가 필요했으며, 0차 회귀는 테스트된 범위 내에서 목표 정확도에 도달하는 데 실패했다.
• 2D 반 데르 폴(Van der Pol) 진동자: 2차 증강은 $N=25$개의 샘플로 매끄럽고 정확한 재구성을 생성한 반면, 더 낮은 차수의 방법들은 진동 현상을 보였다. 샘플 효율성 측면에서, 2차 방법은 0.1%의 제어 오차 허용 오차를 달성하기 위해 0차 방법보다 최대 11.7배 적은 샘플을 필요로 했다.
• 6D 위성 자세 제어: 보강된 기저($q=1,800$)에서, 1차 회귀는 $N \lesssim 250$일 때 미결정(underdetermined) 상태($M/q < 1$)로 남았으나, 2차 증강은 $N=100$에서 결정된(well-determined) 영역에 도달하고 $N=200$에서 높은 정확도를 달성했다.
• 19D 앨런-채언(Allen–Cahn) 방정식: 이 고차원 영역에서는 샘플당 방정식의 증폭($n(n+1)/2 = 190$개의 추가 방정식)이 구조적 필연성이 되었다. 1차 회귀는 적절한 예산에서도 미결정 상태로 남았으나, 2차 증강만이 의미 있는 근사를 생성할 수 있는 유일한 정식화였다. 부분 헤시안 전략($\rho=0.5$)은 절반의 계산 비용으로 거의 완전한 정확도를 달성했다.

의의 및 주장
본 논문은 헤시안 데이터를 포함하는 주된 동기가 샘플 복잡도의 감소에 있다고 주장한다. 샘플당 선형 방정식의 수를 배가함으로써 얻는 이득을 활용하여, 이 방법은 저차수 지도 학습 방식이 미결정 시스템 문제로 인해 다루기 힘든 고차원 최적 제어 문제를 해결할 수 있게 한다.

저자들은 고차원(예: $n=19$)에서 2차 증강이 단순한 정확도 향상을 넘어, 솔루션 존재를 위한 구조적 요구 사항이 된다는 점을 강조한다. 이 방법은 인과성 결여(causality-free) 모델이므로, 샘플링 및 기저 선택에 있어 유연한 설계가 가능하다. 지배적인 계산 비용은 데이터셋의 오프라인 생성(TPBVP 및 리카티 방정식 해결)이며, 온라인에서의 피드백 법칙 평가는 기저 함수 평가와 내적만을 필요로 하므로 매우 효율적이다.

본 연구는 현재 결정론적 제어 문제와 매끄러운 역학에 국한되어 있으나, 이 프레임워크는 전통적인 격자 방식이 실패하고 저차수 학습 방법이 샘플 비효율성으로 고전하는 차원에서 가치 함수를 근사하기 위한 견고한 경로를 제공한다.