Deeper network methods for solving 3D American Heston-CIR model

기술 요약: 3차원 아메리칸 헤스톤-CIR 모델 해결을 위한 심층 네트워크 기법

문제 정의
본 논문은 조기 행사 경계(early exercise boundary)를 포함하는 복잡한 금융 편미분 방정식(PDE)인 3차원 아메리칸 헤스톤-CIR 모델을 해결하는 과제를 다룹니다. 이 모델은 세 가지 확률적 요인인 기초 자산 가격($S$), 변동성($\upsilon$), 이자율($r$)을 통합합니다. 목표는 가치 함수($V$), 조기 행사 경계($\hat{s}_f$), 그리고 그리스 지표(가치 함수의 미분값)를 동시에 근사하는 것입니다.

저자들은 이 특정 작업에 대해 기존 딥러닝 접근 방식의 결정적인 한계를 식별했습니다. 소프트맥스(softmax) 유닛을 사용하는 전통적인 심층 신경망(DNN)은 네트워크 깊이가 약 13개 은닉층을 초계할 때 성능 저하, 과적합 및 기울기 소실(vanishing gradient) 현상을 겪습니다. DenseNet이나 ResNet과 같은 구조가 이미지 분류에서는 성공을 거두었으나, 고차원 금융 모델링에서의 비선형 회귀 문제에 이를 직접 적용하는 것은, 특히 조기 행사 경계 근처에서 발견되는 특이점(singularities) 및 불규칙성을 다룰 때 부적합하다는 것이 입증되었습니다.

방법론
전통적인 DNN의 한계를 극복하기 위해, 저자들은 세 가지 새로운 네트워크 구조인 SoftNet, LinNet, AddNet을 제안합니다. 세 모델 모두 "다중 앙상블링(multiplicative ensembling)" 전략을 사용하여, 종료 조건(terminal conditions)을 정확하게 충족하도록 깊은 메인 하위 구조와 얕은 보조 하위 구조를 결합합니다.

1. SoftNet (결합을 통한 특징 재사용):

   • 구조: 깊은 첫 번째 하위 구조와 얕은 두 번째 하위 구조(두 개의 은닉층)로 구성됩니다.
   • 메커니즘: 첫 번째 하위 구조는 "소프트맥스 블록"(소프트맥스 활성화 함수를 사용하는 하위 네트워크)을 사용하여 구축됩니다. 이는 DenseNet에서 영감을 얻었으나 회귀용으로 조정된 방식으로, 블록 간의 숏컷 연결(shortcut connections)을 결합하여 **특징 재사용(feature reuse)**을 수행합니다.
   • 설계: 각 후속 소프트맥스 블록의 입력(세 번째 블록부터)은 원래의 입력 특징들과 이전 블록들의 출력을 결합한 것입니다. 또한, 여러 경로(dense, partial, none)를 사용하여 특징 재사용 전략을 달리하고 이를 최종 앙상블 전에 결합하는 모듈형 변형인 M-SoftNet도 도입되었습니다.

2. AddNet (조기 탈출 및 다중 혼합):

   • 구조: 메인 깊은 하위 구조의 중간 레이어로부터 **조기 탈출(early exits, local exits)**을 활용하여 자원 효율적으로 설계되었습니다.
   • 메커니즘: 이 네트워크는 $n$개의 단일 혼합(single-mixture) 딥러닝 솔루션을 생성합니다. 각 솔루션은 메인 구조의 "로컬 엑시트"(또는 최종 레이어) 출력과 두 개의 얕은 보조 하위 구조의 출력을 곱셈 방식으로 앙상블하여 형성됩니다.
   • 앙상블: 이 $n$개의 솔루션은 적응형 가중치($\hat{\pi}_j$)를 사용하여 가산(additive) 방식으로 앙상블됩니다. 저자들은 네트워크 깊이가 깊어질수록 더 얕은 로컬 엑시트에 더 높은 가중치를 할당하여, 깊은 층에서의 기울기 소실 영향을 완화하는 적응형 가중치 전략을 제안합니다.

3. LinNet (선형 유닛의 집합):

   • 구조: 세 모델 중 가장 효율적이며, 극도로 깊은 구조(최대 100개 은닉층)로 훈련되도록 설계되었습니다.
   • 메커니즘: 특징을 결합(concatenation)하는 대신(이는 너비를 증가시키고 계산 비용을 높임), LinNet은 **선형 유닛의 체계적인 집합(aggregation)**을 사용합니다. 이는 "소프트맥스 블록"과 선형 출력이 다음 소프트맥스 블록으로 전달되기 전에 합산되는 "집합 유닛(aggregating units)"을 교대로 배치합니다.
   • 안정성: 저자들은 소프트맥스 활성화 함수가 결합된 선형 유닛의 성장을 제어하는 분류 메커니즘 역할을 하여, 드롭아웃(dropout)이나 배치 정규화(batch normalization)와 같은 명시적인 규제 기술 없이도 수치적 안정성을 보장한다고 주장합니다.

주요 기여

• 구조적 혁신: 표준 CNN 기반 또는 전통적인 DNN 접근 방식을 넘어, 3차원 아메리칸 옵션 가격 결정 문제를 해결하기 위해 특별히 설계된 세 가지 뚜리한 딥 네트워크 구조(SoftNet, LinNet, AddNet)를 제안했습니다.
• 기울기 소실 완화: 제안된 설계는 전통적인 DNN이 13개 층 이상에서 겪는 기울기 소실 문제를 성공적으로 우회합니다. 저자들은 표준 DNN이 깊이 13에서 실패하는 반면, 제안된 모델들이 25, 35, 52, 심지어 100개 층(특히 LinNet의 경우)에서도 예측 정확도를 유지함을 입증했습니다.
• 정확한 종료 조건 부과: 모든 모델은 종료 조건(예: 만기 시 $V=0$)이 정확한 형태로 충족되도록 설계된 얕은 두 번째 하위 구조와 곱셈 앙상블 레이어를 포함하여, 은닉층의 편향(bias) 항을 제거합니다.
• 특이점 처리: 조기 행사 경계가 불규칙성을 보이는 $(0,0,0,0)$ 근처의 특이점에 샘플링 포인트를 집중시키기 위해 sinh 함수를 이용한 그리드 스트레칭(grid stretching) 전략을 포함합니다.

실험 결과
모델들은 다양한 행사가격($K$), 만기($T$), 변동성/이자율 범위를 포함하는 3차원 아메리칸 헤스톤-CIR 모델에 대해 테스트되었습니다.

• 깊이 대비 성능: 13개 은닉층을 가진 전통적인 DNN(C-DNN)은 낮은 성능(예: 가치 함수 오차 > 9.0, 참조값 ~1.36)을 보였습니다. 반면, 13개 이상의 층을 가진 SoftNet, AddNet, LinNet은 기존 수치 방법론(Boyarchenko & Levendorskii, Medvedev & Scaillet, Longstaff & Schwartz)과 일치하는 결과를 냈습니다.
• LinNet 효율성: LinNet은 최대 100개 은닉층까지 훈련할 수 있어 가장 높은 효율성을 보였습니다. 이는 SoftNet이나 AddNet에 비해 훈련 및 예측 실행 시간이 가장 적게 소요되었습니다.
• 정확도: 모델들은 가치 함수, 조기 행사 경계, 그리고 그리스 지표(Delta, Gamma, Vega, Rho, Vanna, Vomma)를 정확하게 예측했습니다. 예측된 표면은 매끄러웠으며, 그리스 지표들은 기대되는 이론적 범위(예: 풋 옵션의 Delta가 $[-1, 0]$ 범위 내에 있음) 내에 있었습니다.
• 데이터셋 민감도: 실험 결과, 훈련 데이터셋 크기를 늘릴수록($10^4$에서 $14^4$ 포인트로) 특히 M-SoftNet-10의 성능이 향 정도로 개선됨을 보여주었습니다.

의의 및 주장
본 논문은 제안된 세 가지 네트워크(SoftNet, LinNet, AddNet)가 기존의 아키텍처가 실패하는 복잡한 고차원 금융 PDE를 해결하기 위해 딥 뉴럴 네트워크를 훈련시키는 유효한 솔루션을 제공한다고 주장합니다.

• LinNet은 규제 없이 100개 은닉층까지 훈련할 수 있어 자원이 제한된 환경 및 극도로 깊은 작업에 적합한 가장 효율적인 솔루션으로 강조됩니다.
• SoftNet과 AddNet은 각각 특징 재사용과 조기 탈출이라는 대안적 전략을 제공하며, 이들 역시 기울기 소실을 완화합니다. 다만 SoftNet은 결합(concatenation)으로 인해 계산 비용이 더 높습니다.
• 저자들은 제안된 모델들이 규제 없이도 잘 작동하지만, 드롭아웃이나 배치 정규화와 같은 기술을 포함하면 훨씬 더 복잡하고 고차원적인 작업에 대한 일반화 능력을 더욱 향상시킬 수 있다고 겸허히 언급했습니다. 이들은 본 연구를 상관 행렬 및 고차원을 포함하는 아메리칸 가격 결정 모델의 전체 파라미터화에 관한 향후 연구를 위한 토대로 위치시킵니다.