On a mean-field Pontryagin minimum principle for stochastic optimal control

기술적 요약: 확률적 최적 제어를 위한 평균장 폰트랴긴 최소 원리

문제 제기
본 논문은 $dX_t = b(X_t)dt + G(X_t)U_t dt + \Sigma^{1/2}dB_t$ 형태의 제어된 확률 미분방정식 (SDE) 에 의해 지배되는 시스템에 대한 확률적 최적 제어 문제를 다룬다. 목표는 유한 시간 범위의 비용 또는 무한 시간 범위의 할인 비용을 최소화하는 폐루프 제어 법칙 $U_t = u_t(X_t)$을 찾는 것이다. 고전적인 폰트랴긴 최소 원리 (PMP) 는 순방향 - 역방향 상미분방정식 (ODE) 을 통해 결정론적 최적 제어를 해결하지만, 이를 확률적 시스템으로 확장하는 것은 일반적으로 순방향 - 역방향 확률 미분방정식 (FBSDE) 에 의존한다. 저자들은 FBSDE 가 계산적으로 어렵고, 종종 분리하기 어려운 결합 시스템을 풀어야 한다고 지적한다.

방법론: 맥키안 - 폰트랴긴 최소 원리
저자들은 맥키안 - 폰트랴긴 최소 원리라고 명명된 새로운 결정론적 평균장 형식을 제안한다. 이 접근법은 보조 함수 쌍을 도입하여 해밀토니안 구조를 구성함으로써 FBSDE 를 직접 사용하지 않는다. 방법론은 다음과 같은 단계를 거친다:

1. 오일러 형식: 저자들은 해밀턴 - 야코비 - 벨만 (HJB) 방정식과 포커 - 플랑크 방정식에서 시작한다. 확산 항을 분리하고 제약을 강제하기 위해 가치 함수와 관련된 보조 함수 $\phi_t$와 라그랑주 승수 $\beta_t$를 도입한다. 이는 확률 밀도 $\rho_t$와 가치 함수 $v_t$의 진화를 포함하는 제약 해밀토니안 시스템으로 이어진다.
2. 라그랑주 형식: 오일러 편미분방정식 (PDE) 을 라그랑주 프레임워크로 변환하면, 시스템은 상태 $X_t$와 공상태 (운동량) $P_t$를 나타내는 상호작용 입자 $(X_t, P_t)$로 기술된다. 이러한 입자의 진화는 해밀토니안 ODE 시스템의 추세를 따른다.
3. 게이지 자유도와 분리: 이 형식의 핵심 특징은 보조 함수 $\beta_t$ 선택에 있는 "게이지 자유도"이다. 저자들은 $\beta_t$를 적절히 선택함으로써 (예: $\beta_t = -G(X_t)R G(X_t)^T P_t$), 상태 $X_t$의 순방향 진화와 공상태 $P_t$의 역방향 진상을 분리할 수 있음을 보여준다. 이는 표준 확률적 PMP 에 비해 경계값 문제를 상당히 단순화한다.
4. 무한 시간 범위 확장: 무한 시간 범위 할인 비용 문제에 대해, 이 형식은 순방향 평균장 ODE 쌍을 도출하도록 적응된다. 적절한 초기 조건에서 이 방정식들을 시간의 흐름에 따라 순방향으로 실행하면, 시스템은 점근적으로 최적 정상 제어 법칙으로 수렴하며 역방향 적분이 필요하지 않게 된다.

주요 기여

• 결정론적 평균장 PMP: 본 논문은 FBSDE 를 해밀토니안 ODE 에 의해 지배되는 상호작용 입자 시스템으로 대체하는 확률적 PMP 에 대한 결정론적 대안을 제시한다.
• 분리 메커니즘: 게이지 자유도의 도입은 유한 시간 범위 문제에서 순방향 및 역방향 방정식을 분리할 수 있게 하여, 경계값 문제의 수치적 해를 용이하게 한다.
• 무한 시간 범위를 위한 순방향 시뮬레이션: 무한 시간 범위 문제에 대해, 이 방법은 최적 제어 법칙의 계산을 결합된 ODE 의 순수한 순방향 시뮬레이션으로 변환하여, 정상 HJB 방정식을 직접 푸는 복잡성을 회피한다.
• 수치적 근사: 논문은 다음과 같은 여러 수치 구현 전략을 논의한다:
  • 회귀 형식: 가치 함수의 기울기를 근사하기 위해 최소제곱법을 사용한다.
  • 이산 슈뢰딩거 브리지: 입자 간의 상호작용을 처리하기 위해 확산 과정의 생성자를 근사한다.
  • 변분 접근법: 보조 변수를 위한 매개변수화된 안사츠 (ansatz) 함수를 사용한다.

수치적 결과
이 방법론은 네 가지 수치 실험을 통해 검증되었다:

1. 역진자 (무한 시간 범위): 이 방법은 제어된 역진자의 불안정 평형점을 성공적으로 안정화한다. 평균장 형식은 추가된 확산 (점성) 을 통해 상태 공간의 탐색을 가능하게 하여 빠른 평형 달성을 이끈다.
2. 로렌츠 -63 시스템 (무한 시간 범위): 카오스 시스템에 적용된 제어 법칙은 궤적을 특정 영역 ($x_t \geq 0$) 으로 성공적으로 제한하여, 제어되지 않은 시스템의 카오스적 성질을 효과적으로 제거하고 준주기 궤도로 유도한다.
3. 역진자 (재귀 시간 범위/NMPC): 이 형식은 국소 선형 근사를 사용하여 비선형 모델 예측 제어 (NMPC) 에 적응된다. 이는 재귀 시간 범위 설정에서 진자를 성공적으로 안정화한다.
4. 로렌츠 -96 시스템 (고차원): 이 접근법은 40 차원 시스템에서 테스트된다. 선형 근사와 공분산 국소화를 사용하여, 이 방법은 기준 해 주변에서 시스템을 안정화하며 고차원으로의 확장성을 입증한다.

의의 및 주장
저자들은 맥키안 - 폰트랴긴 최소 원리가 기존 확률적 제어 방법에 비해 계산적으로 매력적인 대안을 제공한다고 주장한다. 결정론적 평균장 형식을 제공함으로써, 부드러운 궤적을 생성하는 상호작용 입자 구현 (해밀토니안 ODE) 을 가능하게 하여, 확률적 대응물과 비교하여 근사에서의 분산을 잠재적으로 줄일 수 있다. 순방향 및 역방향 방정식을 분리할 수 있는 능력은 경계값 문제의 해를 단순화하며, 무한 시간 범위 문제에 대한 순방향 전용 시뮬레이션 능력은 시간 역방향 전통적 접근법 대비 뚜렷한 장점을 제공한다.

본 논문은 이 작업을 가치 함수를 심층 학습을 통해 직접 근사하거나 결합된 HJB-포커 - 플랑크 시스템을 푸는 접근법과 구별되는 PMP 프레임워크로 평균장 형식을 확장한 것으로 위치시킨다. 표준 확률적 최적 제어에 초점을 맞추고 있지만, 저자들은 이 형식이 평균장 제어 문제와 부분 관측 시스템 (앙상블 칼만 필터와 결합) 으로 확장될 잠재력을 언급하며, 이는 현재 결과가 아닌 향후 연구 영역으로 식별된다.