Deep Neural Networks for Mean-Field Stochastic Optimal Control with Applications to Mean Variance Optimization

기술 요약: 평균장 확률적 최적 제어를 위한 심층 신경망

문제 정의
본 연구는 평균장 확률 미분 방정식(Mean-Field SDE)에 의해 지배되는 고차원 최적 제어 문제를 다룹니다. 상태 과정의 계수가 오직 상태에만 의존하는 고전적인 확률 제어와 달리, 평균장 모델은 상태의 확률 분포(또는 기댓값)에 대한 의존성을 포함합니다. 구체적으로 정의된 문제는 다음과 같은 형태의 비용 범함수를 최소화하는 것입니다:
$$\inf_{u \in U} \mathbb{E} \left[ \int_0^T h(t, x_t, \mathbb{E}[\phi(x_t)], u_t) dt + g(x_T, \mathbb{E}[\chi(x_T)]) \right]$$
여기서 드리프트(drift) 및 확산(diffusion) 계수는 상태 $x_t$와 그 기댓값 $\mathbb{E}[\psi(x_t)]$에 의존하는 평균장 SDE를 따릅니다. 저자들은 이러한 평균장 의존성이 시간 비일관성(time inconsistency)과 비선형 성능 기준을 유발하며, 이는 선형 기댓값 기반의 고전적 문제와 구별되는 점이라고 언급합니다.

주요 과제로 식별된 것은 "차원의 저주"로, 이는 격자 이산화에 기반한 유한 차분법이나 몬테카를로 방법과 같은 전통적인 수치 해석 방법들이 고차원 설정에서 지수적인 계산 복잡도 증가로 인해 실용적이지 못하게 만듭니다.

방법론
저자들은 **확률 최대 원리(Stochastic Maximum Principle, SMP)**를 활용하여 원래의 제어 문제를 동등한 변분 문제(variational problem)로 변환합니다. SMP를 적용함으로써, 이들은 해밀토니안(Hamiltonian)에 대한 최소 조건이 결합된 결합 전방-후방 확률 미분 방정식(Forward-Backward SDE, FBSDE)인 확장된 해밀토니안 시스템을 도출합니다.

핵심적인 방법론적 혁신은 최적성 조건을 새로운 제어 문제로 재구성하는 것입니다. 이 문제의 목표는 다음과 같은 이차 종단 비용(quadratic terminal cost)을 최소화하는 것입니다:
$$\inf_{\hat{p}_0, \{\hat{q}_t\}} \mathbb{E} \left[ | \hat{p}_T - g_x(\hat{x}_T, \mathbb{E}[\chi(\hat{x}_T)]) - \mathbb{E}[g_y(\hat{x}_T, \mathbb{E}[\chi(\hat{x}_T)])]\chi_x(\hat{x}_T) |^2 \right]$$
여기서 상태 $\hat{x}$와 어드조인트 과정(adjoint process) $\hat{p}$의 역학을 따릅니다. 만약 이 종단 비용이 0으로 수렴한다면, 그 해는 원래 문제의 최적 제어에 대응합니다.

이 고차원 FBSDE를 수치적으로 해결하기 위해, 본 논문은 세 가지 구별된 심층 신경망(DNN) 기반 알고리즘을 제안합니다:

1. 알고리즘 1 (수치 최적화를 사용하는 단일 DNN):

   • 단일 DNN이 제어 과정 $\hat{q}_t$를 근사합니다.
   • 최적 제어 $\hat{u}_t$는 L-BFGS 또는 SLSQP와 같은 최적화 기법을 사용하여 매 시간 단계마다 최소화 조건 $\arg\min_v H(\cdot)$을 수치적으로 해결함으로써 결정됩니다.
   • 이 방식은 최소화 조건을 훈련 루프 내의 외부 최적화 단계로 취급합니다.

2. 알고리즘 2 (명시적 제어를 사용하는 단일 DNN):

   • 함수 $\bar{H}$(최소화된 해밀토니안)와 최적 제어 $\hat{u}_t$가 명시적인 해석적 표현을 가질 때 적용 가능합니다.
   • 단일 DNN이 $\hat{q}_t$를 근사합니다.
   • 매 단계마다 반복적인 수치 최소화가 필요 없이 표준 FBSDE로서 시스템을 해결하므로 계산 비용을 크게 절감합니다.

3. 알고리즘 3 (패널티 항을 사용하는 이중 DNN):

   • 최적 제어의 명시적 표현을 구할 수 없는 경우를 위해 설계되었습니다.
   • 두 개의 DNN이 동시에 사용됩니다: 하나는 $\hat{q}_t$를 근사하고, 다른 하나는 $\hat{u}_t$를 근사합니다.
   • 일차 최적성 조건($H_u = 0$)은 손실 함수에 패널티 항 $\lambda \int_0^T |H_u|^2 dt$를 직접 추가함으로써 강제됩니다. 이를 통해 네트워크는 명시적인 제어 공식 없이도 최적 제어를 학습할 수 있습니다.

주요 기여

• 재구성: 본 논문은 확률 최대 원리를 활용하여 평균장 확률적 최적 제어 문제를 딥러닝에 적합한 다루기 쉬운 변분 문제로 성공적으로 재구성했습니다.
• 알고리즘의 다양성: 최적 제어에 대한 정보 가용성 수준(완전 명시적부터 완전 암시적까지)에 따라 맞춤화된 세 가지 특정 알고리즘을 도입했습니다.
• 평균장 항 처리: 본 방법론은 계수가 상태 과정의 기댓수에 의존하는 평균장 특성을 명시적으로 고려하여, 딥러닝의 적용 범위를 표준 SDE를 넘어 확장했습니다.
• 패널티 기반 제약: 알고리즘 3은 고차원에서 최대 원리 제약을 처리하는 참신한 접근법을 도입하여, 최적성 조건을 손실 함수에 직접 임베딩함으로써 명시적인 제어 공식 없이도 최적 제어를 학습할 수 있게 했습니다.

결과
제안된 방법들은 금융 수학의 고전적 응용 분야인 평균-분산 포트폴리오 선택(Mean-Variance Portfolio Selection) 문제를 통해 평가되었습니다. 시뮬레이션은 무위험 자산과 위험 자산이 존재하는 시장을 대상으로 하였으며, 파라미터는 표준 값(예: 무위험 이율 0.05, 변동성 0.20)으로 설정되었습니다.

• 수렴성: 세 알고리즘 모두 비용 범함수의 해석적 최적값으로 수렴함을 보여주었습니다.
• 정확도:
  • 알고리즘 2는 명시적 최적 제어가 제공하는 단순화 덕분에 가장 높은 정확도와 가장 작은 상대 오차를 달성했습니다.
  • 알고리즘 3은 명시적인 제어 공식이 없음에도 불구하고 해석적 해와 매우 유사한 결과를 내며 높은 정확도를 보였습니다. 패널티 항의 포함이 훈련을 최적성 조건을 더 견고하게 만족하는 해로 유도하는 데 기여한 것으로 평가되었습니다.
  • 알고리즘 1은 세 알고리즘 중 가장 낮은 정확도를 보였으며, 이는 반복적인 수치 최소화 과정에서 발생하는 계산 오버헤드와 잠재적 오류 때문인 것으로 나타났습니다.
• 효율성: 연구는 명시적 제어가 존재할 때 알고리즘 2가 가장 효율적이지만, 명시적 해를 구할 수 없는 일반적인 고차원 문제에서는 알고리즘 3이 강력하고 유연한 대안이 된다는 점을 강조합니다.

의의 및 주장
본 논문은 제안된 딥러닝 프레임워크가 평균장 확률적 최적 제어의 차원의 저주를 효과적으로 극복한다고 주장합니다. 저자들은 이차 종단 비용 문제로의 재구성이 최적성을 검증하기 위한 "더 다루기 쉬운 프레임워크"를 제공한다고 단언합니다.

저자들은 알고리즘 3을 가장 일반적이고 중요한 기여로 꼽는데, 이는 최적 제어의 명시적 해석적 표현 존재 여부에 의존하지 않고도 고차원 확률 제어 문제를 해결할 수 있게 하기 때문입니다. 결론적으로 이 방법들은 고차원에서 "우수한 정확도와 계산 효율성"을 보여주며, 평균-분산 포트폴리오 최적화와 같이 전통적인 방법이 실패하는 복잡한 응용 분야에 실행 가능한 도구가 될 수 있음을 입증합니다. 본 연구는 이론적 확률 제어(SMP를 통해)와 현대적 계산 기법(DNN을 통해) 사이의 간극을 메우며, 고차원 평균장 문제를 위한 실질적인 도구 상자를 제공합니다.