Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study

이 논문은 **"연속 시간 강화 학습 (Continuous-Time Reinforcement Learning, RL) 을 통한 평균 - 분산 포트폴리오 선택"**을 주제로 하며, 시장 계수 (drift, volatility 등) 를 알 수 없는 환경에서 데이터 기반의 RL 접근법을 제시하고 그 이론적 성능 보장 (Regret Bound) 과 실증적 우수성을 입증합니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 정의

• 문제: 마코비츠 (Markowitz) 의 평균 - 분산 (MV) 포트폴리오 이론은 정적 (단기) 환경에서는 널리 쓰이지만, 동적 시장에서는 기대 수익률과 공분산 행렬을 정확히 추정하는 것이 매우 어렵고, 추정 오차에 극도로 민감하여 실제 적용이 제한적입니다.
• 제안: 기존 모델 기반 (Model-based) 접근법 (모델을 추정하고 이를 최적화 방정식에 대입하는 Plug-in 방식) 의 한계를 극복하기 위해, **모델 프리 (Model-free)**인 강화 학습을 도입합니다.
• 가정: 주식 가격은 관측 가능한 요인 (factors) 에 의해 주도되는 확산 과정 (Diffusion processes, 예: 이토 확산) 을 따르지만, 그 계수 (계수 행렬) 는 알려져 있지 않습니다. 투자자는 시장 모델에 대한 사전 지식이 없으며, 오직 관측 가능한 가격, 요인, 그리고 자신의 자산 가치 데이터만을 기반으로 학습합니다.

2. 방법론 (Methodology)

이 논문은 Wang et al. (2020) 과 Jia & Zhou (2022a,b) 가 개발한 연속 시간 RL 이론을 MV 문제에 적용하여 CTRL (Continuous-Time Reinforcement Learning) 알고리즘을 제안합니다.

• 핵심 아이디어:

  • 모델 추정 생략: 시장 파라미터 (기대 수익률, 변동성 등) 를 추정하지 않고, 정책 (Portfolio Strategy) 을 직접 학습합니다.
  • 확률적 정책 (Stochastic Policy) 과 엔트로피 정규화: 탐색 (Exploration) 을 촉진하기 위해 정책을 확률 분포로 정의하고, 목적 함수에 엔트로피 항을 추가합니다. 이는 학습 과정에서 다양한 시나리오를 경험하게 하여 최적 정책을 찾도록 돕습니다.
  • 마팅갈 조건 (Martingale Conditions) 기반 학습: 가치 함수 (Value Function) 와 정책 (Policy) 을 업데이트하기 위해, 특정 마팅갈 조건을 만족시키는 모멘트 조건 (Moment Conditions) 을 해결합니다. 이는 기존의 시간 차분 (TD) 학습을 연속 시간으로 확장한 것입니다.
  • 액터 - 크리틱 (Actor-Critic) 구조:
    • 크리틱 (Critic): 주어진 정책 하에서의 기대 보상 (목적 함수 값) 을 추정하기 위해 가치 함수를 학습합니다.
    • 액터 (Actor): 가치 함수를 기반으로 정책을 개선하기 위해 정책 기울기 (Policy Gradient) 를 계산하여 정책을 업데이트합니다.
    • 라그랑주 승수 (Lagrange Multiplier): 평균 - 분산 문제의 제약 조건 (목표 수익률) 을 만족시키기 위해 라그랑주 승수를 함께 학습합니다.

• 블랙 - 숄즈 (Black-Scholes) 환경에서의 구체적 알고리즘:

  • 요인이 없는 다차원 블랙 - 숄즈 시장을 가정하고, 가치 함수와 정책을 특정 함수 형태 (다항식 및 정규 분포) 로 파라미터화하여 구체적인 업데이트 규칙을 유도했습니다.
  • 이 알고리즘은 전체 경로 (Trajectory) 를 기반으로 파라미터를 업데이트하는 확률적 근사 (Stochastic Approximation) 알고리즘입니다.

3. 주요 기여 (Key Contributions)

1. 이론적 성능 보장 (Regret Analysis):
   • 모델 프리 RL 알고리즘이 블랙 - 숄즈 환경에서 **서브리니어 (Sublinear) 레그레트 (Regret)**를 달성함을 증명했습니다.
   • 레그레트는 학습 횟수 $N$에 대해 $O(\sqrt{N} \log N)$ 수준으로 수렴하며, 이는 학습 기간이 길어질수록 알고리즘이 이론적으로 최적의 정책 (Oracle) 에 거의 근접함을 의미합니다.
   • 이는 연속 시간 MV 포트폴리오 선택 문제에서 모델 프리 알고리즘에 대한 최초의 서브리니어 레그레트 분석입니다.
2. 새로운 패러다임 제시:
   • "모델을 학습하여 최적화하는 것"이 아닌, **"모델을 학습하지 않고 최적 정책을 직접 학습하는 것"**이 동적 환경에서 더 우월할 수 있음을 이론적으로 정립했습니다.
3. 광범위한 실증 연구:
   • S&P 500 구성주 (2000~2020 년) 를 대상으로 13 가지 기존 전략 (단순 평균 - 분산, 블랙 - 리터먼, 리스크 패리티, 다른 RL 알고리즘 등) 과 비교 분석을 수행했습니다.

4. 실증 결과 (Empirical Results)

• 성능: 제안된 CTRL 전략은 모든 평가 지표 (연간 수익률, 샤프 비율, 소르티노 비율, 칼마 비율 등) 에서 다른 모든 전략을 압도적으로 능가했습니다. 특히 변동성이 큰 약세장 (Bear Market) 에서 회복 시간 (Recovery Time) 이 가장 짧았고, 손실 (Drawdown) 을 효과적으로 통제했습니다.
• 거래 비용 및 안정성:
  • 기존 모델 기반 전략 (Plug-in MV) 은 파라미터 추정 오차로 인해 거래 빈도가 높고 (높은 Turnover), 과도한 레버리지와 집중 투자로 인해 파산 위험이 높았습니다.
  • 반면, CTRL 전략은 거래 비용이 낮고 (낮은 Turnover), 포트폴리오 집중도가 낮으며, 파산 확률이 거의 0% 에 가까웠습니다.
  • 거래 비용 (50 bps) 이 부과된 상황에서도 CTRL 의 우월성은 더욱 두드러졌습니다.
• 비교 대상: 단순 평균 - 분산 (mv), 연속 시간 평균 - 분산 (ctmv) 등 모델 기반 전략은 추정 오차로 인해 오히려 시장 지수 (S&P 500) 보다도 낮은 성과를 보였으며, 때로는 파산에 이르기도 했습니다.

5. 의의 및 결론

• 핵심 통찰: 이 연구는 금융 의사결정에서 "모델을 추정하는 과정"이 오히려 성능을 저하시키는 주요 원인임을 보여줍니다. 데이터와 환경의 상호작용을 통해 직접 최적 정책을 학습하는 RL 접근법이 모델 기반 접근법보다 훨씬 강력하고 견고함을 입증했습니다.
• 이론적 기여: 연속 시간 RL 의 이론적 기반을 다지고, 레그레트 분석을 통해 모델 프리 학습의 수렴성을 수학적으로 엄밀하게 증명했다는 점에서 학문적으로 큰 의의가 있습니다.
• 실무적 가치: 복잡한 시장 모델링 없이도 데이터만으로 안정적이고 수익성이 높은 포트폴리오 전략을 구축할 수 있음을 보여주어, 실제 자산 관리 (Asset Management) 에의 적용 가능성을 높였습니다.

요약하자면, 이 논문은 모델 프리 연속 시간 강화 학습을 통해 전통적인 평균 - 분산 포트폴리오 최적화의 근본적인 한계 (추정 오차 민감성) 를 해결하고, 이론적 성능 보장과 실증적 우수성을 동시에 입증한 획기적인 연구입니다.