Decomposable Reward Modeling and Realistic Environment Design for Reinforcement Learning-Based Forex Trading

이 논문은 강화학습 (RL) 기반 외환 (Forex) 거래의 현실적 적용을 위해 설계된 모듈형 프레임워크를 제안합니다. 기존 연구들이 단순화된 시뮬레이터, 단일 스칼라 보상 함수, 제한된 행동 공간을 사용하여 실전 적용에 한계가 있었음을 지적하고, 이를 해결하기 위해 고충실도 실행 환경, 분해 가능한 보상 모델링, 법적 행동 마스킹이 적용된 행동 공간을 통합한 시스템을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem Statement)

기존 RL 기반 거래 연구는 다음과 같은 세 가지 구조적 결함으로 인해 실전 적용이 어렵습니다.

• 환경의 충실도 부족: 실제 외환 시장의 복잡한 실행 메커니즘 (스프레드, 슬리피지, 롤오버 비용, 마진 청산 등) 을 생략하거나 단순화하여, 시뮬레이션과 실전 (Sim-to-Real) 간의 격차가 큽니다. 또한, 관측과 실행 시점을 명확히 구분하지 않아 'Lookahead(선관측)' 누출이 발생할 수 있습니다.
• 보상 설계의 불투명성: 단일 스칼라 보상 (예: 순이익, 샤프 비율 등) 을 사용하여 학습 동역학을 진단하기 어렵습니다. 어떤 신호가 거래 타이밍을 개선하고 어떤 패널티가 과도한 거래를 억제하는지 분리하여 분석할 수 없습니다.
• 행동 공간의 비현실적 설계: 단순한 '매수/매도/보유'와 같은 이산 공간은 실제 거래 (포지션 확대, 축소, 반전 등) 를 표현하지 못하며, 연속 공간은 마진 한도 등 제약 조건을 명시적으로 처리하기 어렵습니다.

2. 방법론 (Methodology)

논문은 세 가지 핵심 구성 요소로 이루어진 모듈형 RL 프레임워크를 제안합니다.

A. 고충실도 실행 환경 (High-Fidelity Execution Environment)

• Strict Anti-Lookahead Semantics: 관측은 $t$ 시점의 종가 ($close_t$) 에서 이루어지고, 주문은 $t+1$ 시점의 시가 ($open_{t+1}$) 에서 체결되며, 포지션 평가는 $t+1$ 시점의 종가 ($close_{t+1}$) 에서 이루어지는 엄격한 시간적 인과 관계를 따릅니다.
• 현실적 거래 비용 모델링: 스프레드, 수수료, 슬리피지, 롤오버 자금 조달 비용 (수요일 3 배 적용), 마진 기반 강제 청산 로직을 포함합니다.
• 포트폴리오 관리: 최대 레버리지 (30 배), 유지 마진 비율, 청산 임계값 등을 실시간으로 모니터링하여 비현실적인 레버리지 추적을 방지합니다.

B. 분해 가능한 보상 모델링 (Decomposable Reward Modeling)

• 11 개 구성 요소 보상 아키텍처: 보상을 단일 값이 아닌 11 개의 구성 요소 (이익, 보유 인센티브, 변동성 패널티, 추락 패널티, 거래 비용, 과거래 패널티, 피라미딩/마틴게일 패널티, 마진 활용 패널티, 청산 패널티, 제약 위반 패널티 등) 로 분해합니다.
• 가중치 및 로깅: 각 구성 요소는 고정된 가중치를 가지며, 단계별 (per-step) 로 개별적으로 로깅됩니다. 이를 통해 각 보상 항목이 학습에 미치는 영향을 체계적으로 분석 (Ablation Study) 할 수 있습니다.

C. 구조화된 행동 공간 및 법적 마스킹 (Structured Action Space & Legal Masking)

• 10 개 이산 행동: HOLD, LONG/SHORT 오픈, 피라미딩 (승리 시 포지션 확대), 마틴게일 (손실 시 평균가 매수), 축소, 청산, 반전 (Reverse) 등 10 가지 구체적인 거래 원시 (primitives) 를 정의합니다.
• 법적 행동 마스킹 (Legal Action Masking): 현재 포지션 상태, 마진 여유, 스케일링 깊이 제한 등을 고려하여 유효하지 않은 행동을 환경 상호작용 및 가치 업데이트 (Target Computation) 단계에서 직접 차단합니다. 이는 DQN/DDQN 알고리즘에 적용되어 비현실적인 행동을 방지합니다.

3. 주요 실험 및 결과 (Results)

EURUSD 데이터셋 (시간 단위) 을 기반으로 한 통제된 실험 (Exp-01 ~ Exp-03) 을 수행했습니다.

• 보상 구성 요소 분석 (Exp-01):

  • 보상 구성 요소를 점진적으로 추가할수록 성과가 선형적으로 향상되지 않았습니다. 오히려 중간 단계에서는 성능이 저하되다가 최종 구성 (r7, 모든 요소 포함) 에서 최적의 성과를 보였습니다.
  • 최종 결과: 전체 보상 구성 (Full Reward) 이 최종 훈련 샤프 비율 0.765, **누적 수익률 57.09%**를 기록하여 가장 우수한 성과를 보였습니다. 이는 보상 설계가 단순한 가산이 아닌 복잡한 상호작용을 가진다는 것을 시사합니다.

• 행동 공간 비교 (Exp-02):

  • 확장된 10 개 행동 인터페이스는 단순한 3 개 행동 (HOLD, LONG, SHORT) 에 비해 누적 수익률은 높았으나, 거래 회전율 (Turnover) 이 증가하고 샤프 비율은 낮아지는 '수익 - 활동성 트레이드오프'를 보여주었습니다.
  • 이는 더 풍부한 행동 원시가 더 많은 기회를 포착하지만 경로 변동성을 증가시킴을 의미합니다.

• 스케일링 전략 분석 (Exp-03):

  • 스케일링 (피라미딩, 마틴게일) 을 적용한 모든 변형은 스케일링이 없는 경우보다 최대 추락 (Max Drawdown) 을 줄이는 효과를 보였습니다.
  • 특히 피라미딩과 마틴게일을 모두 포함한 조합 (s4) 이 가장 높은 종단 수익을 달성했습니다.

• 벤치마크 비교:

  • 제안된 Double DQN 에이전트는 랜덤 정책, 매수 후 보유 (Buy-and-Hold), 모멘텀, 평균 회귀 전략 등 기존 규칙 기반 베이스라인을 모든 위험 조정 지표 (샤프, 소르티노 등) 에서 압도적으로 능가했습니다.

4. 핵심 기여도 (Key Contributions)

1. 분해 가능한 보상 아키텍처: 외환 RL 을 위한 11 개 구성 요소 보상 시스템을 도입하여, 각 경제적 동인과 패널티를 독립적으로 활성화, 가중치 부여, 로깅할 수 있게 함으로써 체계적인 분석과 재현성을 가능하게 했습니다.
2. 법적 마스킹이 적용된 구조화된 행동 공간: 마진 제약과 포지션 상태를 고려한 10 개 이산 행동 인터페이스를 제안하고, 상호작용 및 학습 목표 계산 시 유효하지 않은 행동을 차단하는 마스킹 기법을 적용했습니다.
3. 고충실도 실행 환경: 엄격한 선관측 방지 (Anti-lookahead) 타이밍, 포괄적인 거래 비용 모델링, 그리고 실제적인 롤오버 및 청산 메커니즘을 포함한 Gymnasium 호환 환경을 설계했습니다.
4. 재현 가능한 연구 인프라: 구성 파일 (YAML) 만으로 실험 변형을 생성할 수 있는 프로토콜을 제공하며, 시드 고정, 아티팩트 관리, 누출 없는 특징 처리를 통해 결정론적 재현성을 보장합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 RL 기반 거래 연구에서 알고리즘 성능 향상보다는 시스템 설계의 방법론적 견고성에 초점을 맞추고 있습니다.

• 실증적 교훈: 보상 설계는 단순한 가산이 아닌 실험적 보정 (Calibration) 과정이며, 행동 공간의 세분화는 수익과 위험 (변동성) 사이의 명확한 트레이드오프를 발생시킵니다.
• 실용적 가치: 제안된 프레임워크는 투명하고 감사 가능한 (Auditable) 거래 정책 개발을 위한 표준 기반을 제공합니다.
• 한계 및 향후 과제: 현재는 단일 시드와 훈련 데이터 분할에 기반한 결과이므로, 다양한 시드와 테스트 기간을 통한 일반화 검증, 포트폴리오 수준의 확장, 실제 브로커 실행 환경과의 연동 등이 향후 과제로 남아 있습니다.

결론적으로, 이 연구는 외환 거래용 RL 에이전트를 개발할 때 현실적인 실행 환경, 투명한 보상 구조, 제약 조건을 준수하는 행동 제어가 필수적임을 입증한 중요한 시스템 수준의 기여입니다.