기술 요약: FinPILOT – RL 트레이딩 에이전트를 위한 추론 시간 최적화

문제 정의

금융 트레이딩을 위한 강화 학습 (RLFT) 은 순차적 포트폴리오 의사결정을 위한 프레임워크로 자리 잡았습니다. 그러나 현재 접근 방식은 예측과 의사결정 간의 단절로 고통받고 있습니다. 기존 방법들은 일반적으로 두 가지 독립적인 흐름으로 나뉩니다:

1. 지도 학습 예측: 모델은 단기 수익을 예측하지만, 의사결정 문제는 외부 휴리스틱에 위임합니다.
2. 강화 학습: 에이전트는 고정된 정책으로 훈련됩니다. 훈련 중 가격 예측을 상태 특징으로 입력받을 수는 있지만, 추론 시 행동을 적응시키기 위한 계획 신호로서 예측을 활용하지는 않습니다.

또한, 모델 예측 제어 (MPC) 와 세계 모델 기반 RL(예: Dreamer, MuZero) 이 존재하지만, 이들은 일반적으로 로봇 공학에 적합한 고충실도 동역학을 가정하거나 정책과 세계 모델을 공동 설계해야 합니다. 에이전트를 재훈련하지 않고 별도로 훈련된 예측기를 사용하여 배포 시 임의의 사전 훈련된 RL 에이전트를 개선할 수 있는 메커니즘을 제공하지는 않습니다.

해결된 핵심 과제는 다음과 같습니다: RL 에이전트를 재훈련하지 않고 별도로 훈련된 가격 예측기에 의해 추론 시간 정책 최적화를 어떻게 주도할 수 있는가?

방법론: FinPILOT

저자들은 모델 예측 제어 (MPC) 에서 영감을 받은 플러그인 프레임워크인 FinPILOT(최적 트레이딩을 위한 금융 플러그인 추론 시간 학습) 을 제안합니다. 핵심 구조적 통찰은 금융 시장에서 미래 가격이 단일 에이전트의 포트폴리오 할당과 크게 무관하다는 점입니다. 이는 표준 RL 에서 전형적인 반복적, 행동 조건부 롤아웃이 필요 없이 예측 모델을 사용하여 다단계 가격 궤적을 생성할 수 있음을 의미합니다.

핵심 구성 요소

1. 사전 훈련된 에이전트: 미래 가격 예측에 접근할 수 없는 역사적 데이터로 훈련된 표준 모델 프리 RL 에이전트 (예: PPO, SAC).
2. 외생 예측기 ($F$): 테스트 윈도우 이전에 엄격히 훈련된 별도의 모델 (예: XGBoost). 이는 $H$-단계 가격 궤적을 생성합니다.
3. 추론 시간 MPC 루프: 각 의사결정 단계 $t$에서:
   • 예측기는 미래 상태의 궤적 $\{\hat{s}_{t+1}, \dots, \hat{s}_{t+H}\}$을 예측합니다.
   • 사전 훈련된 액터 $\pi_\theta$는 이 예측된 궤적에 걸쳐 상상된 목적 함수 $J_t$를 최적화함으로써 적응됩니다.
   • 생성된 첫 번째 행동만 실제 환경에서 실행되며, 정책 매개변수는 다음 단계를 위해 초기화되거나 업데이트됩니다.

상상된 목적 함수

이 프레임워크는 계획 기간 $H$에 대한 대리 수익을 정의합니다. 예측의 불확실성을 처리하고 위험 조정 성과를 개선하기 위해 목적 함수에는 하방 위험 패널티가 포함됩니다:
$$J_t(\theta) = \bar{J}_t - \lambda \sqrt{D_t + \epsilon}$$
여기서:

• $\bar{J}_t$는 $K$개의 파티클 (몬테카를로 샘플) 에 걸친 평균 수익입니다.
• $D_t$는 파티클별 수익의 하방 분산 (반편차) 입니다.
• $\lambda$는 위험 회피 계수입니다.
• 예측 노이즈 주입: 단일 점 추정에 과적합되는 것을 방지하기 위해 예측된 궤적에 가우시안 노이즈가 추가됩니다. 노이즈 규모는 실제 값이 아닌 예측기의 예측 분산에 기반하여 보정되므로, 이 방법은 예측기 무관성을 유지합니다.

2 단계 롤아웃

이 방법은 가격 전환이 에이전트의 행동과 무관하다는 사실을 활용하여 롤아웃을 분할합니다:

1. 1 단계 (기울기 없음): 결정론적 예측 궤적을 미리 계산하고 $K$개의 노이즈 파티클을 생성합니다. 각 파티클에 대해 말단 가치 추정치 $V_\theta$를 평가합니다.
2. 2 단계 (기울기 상승): 캐시된 파티클을 반복하여 폐형 포트폴리오 수익 방정식을 사용하여 상상된 보상을 계산합니다. 기울기는 정책을 업데이트하기 위해 액터 매개변수 $\theta$를 통해서만 추적됩니다.

주요 기여

1. FinPILOT 프레임워크: 하방 위험 패널티가 적용된 변형을 특징으로 하는, 모든 사전 훈련된 RL 에이전트와 호환되는 플러그인 추론 시간 MPC 프레임워크입니다. 훈련 절차에 대한 수정이 필요하지 않습니다.
2. 실증적 검증: 실용적인 XGBoost 예측기 (예측력 modest, $R^2 \approx 0.01$) 를 사용하여 TradeMaster DJ30 벤치마크에서 다섯 가지 RL 알고리즘 (PPO, SAC, A2C, TD3, DDPG) 에 걸쳐 총 수익 및 위험 조정 지표 (샤프, 소르티노, 칼마) 의 일관된 개선을 입증했습니다.
3. 일반화: 프레임워크는 하이퍼파라미터 재조정 없이 외환 (FX) 데이터셋으로 이전되어 자산 클래스 전반에 걸친 견고성을 시사합니다.
4. 치팅 실험 방법론: 예측 품질에 대한 정책 이득의 스케일링을 측정하기 위해 보정된 $R^2$ 수준에서 합성 예측을 구성하는 진단적 접근법입니다.

실험 결과

TradeMaster DJ30 벤치마크 (29 개 주식, 2012–2021) 및 FX 데이터셋에서 평가됨:

• 성과 향상: 실용적인 XGBoost 예측기 ($R^2 \approx 0.01$) 로 FinPILOT 은 일관된 이득을 창출했습니다.
  • PPO: 총 수익이 17.74% 에서 23.46% 로 증가했습니다.
  • SAC: 총 수익이 17.78% 에서 22.21% 로 증가했습니다.
  • 위험 조정 지표: 특히 확률적 정책 (PPO, SAC) 의 경우 샤프, 소르티노, 칼마 비율에서 유의미한 개선이 관찰되었습니다.
• 확률적 vs 결정론적: 확률적 정책 (PPO, SAC) 은 결정론적 정책 (TD3, DDPG) 보다 추론 시간 최적화로부터 더 크게 혜택을 받았습니다.
• 예측 품질 스케일링: "치팅 실험"은 임계값과 유사한 행동을 드러냈습니다. $R^2 = 0.001$과 $R^2 = 0.01$ 사이의 성과 이득은 거의 구별되지 않았으나, $R^2$가 0.8 로 증가함에 따라 계속 개선되었습니다. 이는 약하지만 경제적으로 의미 있는 신호조차 프레임워크의 이득을 주도하기에 충분함을 시사합니다.
• 계획 기간 민감도: $H=50$일의 계획 기간이 구조적 시장 regimes 포착과 고주파수 노이즈 간의 균형을 이루는 최적인 것으로 나타났습니다.

중요성 및 주장

본 논문은 FinPILOT 이 에이전트 재훈련의 계산 비용을 들이지 않고 RLFT 에서 예측과 의사결정 간의 격차를 해소한다고 주장합니다. 가격 예측기를 대리 세계 모델로 취급함으로써, 이 프레임워크는 사전 훈련된 에이전트가 추론 시 상상된 미래에 대비하여 "계획"할 수 있게 합니다.

저자들은 금융 시장의 구조적 특성 (폐형 보상 및 가격 수용자 가정) 이 세계 모델링을 순수한 가격 예측으로 단순화한다고 강조합니다. 이 프레임워크는 플러그인 솔루션으로 제시됩니다: RL 에이전트의 훈련을 변경하지 않으므로 기존 알고리즘의 광범위한 적용이 가능합니다.

결과들은 RL 트레이딩 에이전트의 성능이 고충실도 세계 모델 (금융에서 학습하기 어려움) 의 필요성에 의해 제한되는 것이 아니라, 추론 시간 적응을 통해 심지어 modest 한 예측 신호 ($R^2 \approx 0.01$) 도 활용하는 능력에 의해 제한된다는 것을 시사합니다. 저자들은 금융 예측 모델이 개선됨에 따라 FinPILOT 을 사용하는 에이전트의 성능도 이에 상응하여 향상될 것이라고 결론지었습니다.

한계: 저자들은 위험 조정 지표가 개선되었으나, 일부 확률적 정책 (PPO, SAC) 의 경우 기준선 대비 최대 드로우다운이 약간 증가했다고 지적했습니다. 이는 총 수익과 하방 노출 간의 트레이드오프가 향후 연구의 방향임을 나타냅니다. 평가는 두 가지 벤치마크 (DJ30 및 FX) 로 제한되며, 실제 트레이딩의 시장 영향이나 지연을 고려하지 않는 백테스팅에 의존합니다.