Bridging Behavioral Finance and Robust Agentic DRL: A novel computational framework for Portfolio Selection

기술 요약: 행동 재무학과 강건한 에이전트 기반 DRL을 통한 포트폴리오 선택의 가교 형성

문제 제기
금융 시장은 역동적인 변동성, 거시 경제적 충격, 그리고 기존의 포트폴리오 최적화 모델이 포착하지 못하는 유의미한 행동적 반응이라는 특징을 가집니다. 평균-분산 포트폴리오(MPT) 전략을 포함한 전통적인 접근 방식은 일반적으로 수익률 기반 보상 구조에 의존합니다. 이러한 구조는 손실 회피, 이득과 손실에 대한 비대칭적 반응, 그리고 시장 상태의 내재적 불확실성과 같은 핵심적인 투자자 특성을 빈번히 간과합니다. 결과적으로, 표준 RL 에이전트는 변동성이 큰 조건 하에서 일반화에 어려움을 겪을 수 있으며, 이는 부적절한 타이밍, 과도한 위험 감수, 또는 시장 난기류 중 조기 탈출으로 이어질 수 있습니다. 기존 문헌에는 섭동 기반의 강건성(perturbation-based robustness)과 전망 이론(Prospect Theory)에서 영감을 받은 행동 모델링을 포트폴리오 관리를 위한 통합된 RL 아키텍처 내에 체계적으로 결합하는 것에 관한 명확한 공백이 존재합니다.

방법론
본 연구는 근사 정책 최적화(PPO) 알고리즘을 섭동 기반 강건 학습과 행동 보상 형성(behavioral reward shaping)이라는 두 가지 주요 메커니즘을 통해 확장한 새로운 계산 프레임워크인 RPPO-MPT를 제안합니다. 포트폴리오 선택 문제는 15개의 대형주 미국 주식을 포함하는 마르코프 결정 과정(MDP)으로 정식화됩니다.

방법론은 세 가지 비교 단계를 거칩니다:

1. Baseline PPO: 표준 PPO 에이전트는 균등 가중치로 초기화되며, 지도 학습을 통해 평균-분산 포트폴리오(MPT) 전략을 사용하여 사전 학습됩니다. 에이전트는 거래 비용($\gamma = 0.01$)에 의해 페널티를 받는 누적 수익을 극대화하도록 학습됩니다. 상태 공간은 14주간의 과거 수익률과 이전 포트폴리오 가중치를 포함합니다.
2. Robust PPO (RPPO): 이 변형 모델은 시장 노이즈에 대한 안정성을 높이기 위해 섭동 기반 학습 메커니즘을 도입합니다. 각 상태-행동 쌍에 대해, 에이전트는 가우시안 노이즈($\sigma = 0.03$)를 사용하여 $K=5$개의 섭동된 상태를 생성합니다. 강건한 보상은 트레이드오프 파라미터 $\beta = 0.2$에 의해 제어되는, 섭동된 상태들 간의 수익률 분산을 페널티로 부여함으로써 계산됩니다. 이는 정책이 작은 상태 변화에 덜 민감하게 만듭니다.
3. RPPO-MPT (제안된 모델): 이 모델은 RPPO의 강건성을 **전망 이론(Prospect Theory)**에서 영감을 받은 보상 구조와 통합합니다. 에이전트는 가공되지 않은 수익을 최적화하는 대신, "희망-공포(hope-fear)" 효용 함수를 최적화합니다.
   • 준거점 의존성: 수익은 준거점(0으로 설정)을 기준으로 평가됩니다.
   • 손실 회피: 보상 함수는 결과를 "희망"(이득)과 "공포"(손실)로 분해합니다. 손실은 손실 회피 계수($\lambda = 2.25$)에 의해 가중치가 부여되는 반면, 이득과 손실은 점진적 민감도($\alpha = \beta = 0.88$)의 적용을 받습니다.
   • 보상 형성: 최종 보상은 거래 비용을 뺀, 희망 성분을 공포 성분(수치적 안정성을 보장하기 위한 작은 상수 $\epsilon_1$ 포함)으로 나눈 비율입니다. 이 구조는 동등한 이득보다 하락 위험에 더 무거운 페널티를 명시적으로 부여하여, 에이전트의 목표를 행동 투자자의 선호도와 일치시킵니다.

실험 설정
모델은 2010년 1월부터 2022년 6월 중순까지의 15개 S&P 500 종목의 역사적 수정 가격 데이터를 사용하여 학습되었습니다. 표본 외(Out-of-sample) 테스트는 2022년 6월 중순부터 2025년 9월까지 수행되었습니다. 성능은 연율화된 수익률, 샤프 지수(Sharpe ratio), 정보 비율(Information ratio), $\alpha$, 최대 낙폭(maximum drawdown), 최장 낙폭, 연간 회전율 및 다양한 위험 회피 설정 하에서의 행동 효용을 포함한 종합적인 지표 세트로 평가되었습니다.

주요 결과
비교 분석 결과, 제안된 RPPO-MPT 프레임워크가 세 모델 중 가장 강력한 표본 외 성능 프로필을 달리는 것으로 나타났습니다:

• 우수한 위험 조정 수익률: RPPO-MPT는 샤프 지수, 정보 비율 및 $\alpha$ 측면에서 기본 PPO와 Robust PPO(RPPO) 모두를 능가했습니다.
• 행동적 정렬: 이 모델은 더 높은 행동 효용을 달 Achieved 하여, 손실 회피 및 비대칭적 위험 인식에 관한 투자자 선호도와의 더 나은 정렬을 입증했습니다.
• 낙폭 제어: 경쟁력 있는 낙폭 제어를 유지하면서도, RPPO-MPT 모델은 수익 창출을 희생하지 않고 하락 위험을 효과적으로 관리했습니다.
• 안정성: 섭동 기반 강건성의 통합을 통해 에이전트는 변동성이 큰 테스트 기간(2022–2025) 동안 안정성을 유지하며, 기본 PPO에서 때때로 관찰되는 과도한 집중 및 불규칙한 리밸런싱을 피할 수 있었습니다.

의의 및 주장
본 논문은 이 연구의 주요 기여가 **강건한 최적화(robust optimization)**와 **행동 재무학(behavioral finance)**을 단일 딥 강화 학습 아키텍처 내에서 성공적으로 연결한 것이라고 주장합니다. 금융 성과, 상태 불확실성에 대한 회복력, 그리고 투자자 일관적 효용을 공동으로 최적화함으로써, RPPO-MPT 프레임워크는 수익 극대화에만 의존하는 전통적인 RL 모델의 한계를 해결합니다.

저자들은 이 접근 방식이 실제 금융 시스템에 "회복력이 있고 심리학적으로 근거가 있는 의사결정 에이전트"를 배치하기 위한 실질적인 경로를 제공한다고 단언합니다. 본 연구는 시장 불확실성(섭동을 통해)과 투자자 심리(전망 이론 기반 보상 형성)를 명시적으로 고려하는 것이 RL 에이전트의 적응성과 투자자 정렬을 향상시켜, 기존의 포트폴리오 최적화 방법보다 더 강건한 대안을 제공함을 입증합니다.