Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage

기술 요약: 공적분 기반 암호화폐 통계적 차익거래를 위한 자산 유니버스 설계 및 액션 스페이스 세밀도

문제 제기
암호화폐 시장은 높은 변동성과 연속적인 거래를 제공하여 공적분(cointegration)에 기반한 통계적 차익거래 기회를 창출한다. 그러나 딥러닝 강화학습(DRL) 프레임워크의 성능 평가는 흔히 알고리즘의 선택(예: DQN vs. PPO)에만 국한되며, 자산 유니스의 구성과 액션 스페이스의 세밀도를 고정된 부차적 전처리 단계로 취급하는 경향이 있다. 본 연구는 이러한 두 가지 설계 선택이 성능의 결정적인 결정 요인이라고 가정한다. 구체적으로, 합성 차익거래 포트폴리오의 안정성과 거래 가능성이 선택된 자산 유니스의 경제적 일관성에 의존하는지, 그리고 에이전트에게 노출 규모를 조절할 수 있는 능력(세밀한 액션)을 부여하는 것이 이진(binary) 방식의 전체 노출 결정보다 리스크 관리를 개선하는지를 조사한다.

연구 방법론
본 연구는 30분 단위 Binance USDT 결제 스팟 데이터를 사용하여 공적분 기반 DRL 프레임워크를 활용한다. 경험적 설계는 유니버스 크기와 경제적 일관성의 영향을 테스트하기 위해 네 가지 서로 다른 자산 유니스를 중심으로 구조화되었다:

1. 기본 14개 자산 유니스: 표준 14개 자산 세트를 재현함.
2. 광범위한 20개 자산 유니스: 확장성과 노이즈를 테스트하기 위해 확장된 세트.
3. 결제 코인 6개 자산 유니스: 결제 지향적 자산(예: BTC, XRP, DOGE)에 집중된 하위 집합.
4. 레이어-1 플랫폼 9개 자산 유니스: 블록체인 인프라 자산에 특화된 섹터별 하위 집합.

실험 프레임워크:

• 포트폴리오 구성: 각 거래 시나리오를 위해 288-관측치(6일) 형성 윈도우를 사용하여 공적분 벡터를 추정하고 두 개의 합성 포트폴리오(A와 B)를 구성한다. 이 가중치는 이후 48-관측치(1일) 거래 기간 동안 고정된다.
• DRL 에이전트: 세 가지 에이전트(DQN, PPO, A2C)를 평가한다.
• 액션 스페이스:
  • 이진(Binary): 에이전트는 전체 롱/숏 노출($a_t \in \{-1, 1\}$)을 선택해야 한다.
  • 세밀함(Granular): 에이전트는 전체, 절반, 또는 중립 노출($a_t \in \{-1, -0.5, 0, 0.5, 1\}$)을 선택할 수 있다.
• 보상 함수: 보상은 포트폴리오 A와 B 사이의 실현 상대 로그 수익률을 기반으로 하며, 노출 변화량($\Delta a_t$)에 비례하는 거래 비용에 의해 페널티를 받는다.
• 평가: 전략들은 표본 외(out-of-sample) 테스트(2024년 12월 – 2025년 5월)를 통해 비-DRL 공적분 벤치마크(COIN)와 비교된다. 견고성(Robustness)은 무작위 시드(42, 101, 202)를 통해 평가된다.

주요 기여

1. 설계 변수로서의 자산 유니스: 본 연구는 자산 유니스 선택을 중립적인 전처리 단계가 아닌 핵심적인 경험적 변수로 취급한다. 이는 자산 세트의 경제적 일관성이 공적분 관계의 학습 가능성에 유의미한 영향을 미친다는 것을 입증한다.
2. 액션 스페이스 세밀도 분석: 동일한 공적분 프레임워크 내에서 이진 액션과 세밀한 액션을 직접 비교하여, 부분적 노출 능력이 위험 조정 성과를 개선하는지 아니면 단순히 총 수익을 감소시키는지 테스트한다.
3. 시드 수준의 견고성: 본 연구는 단일 실행 결과 보고를 넘어, 여러 무작위 시드에 걸쳐 주요 모델을 평가함으로써 안정적인 모델 동작과 확률적 훈련 아티팩트(stochastic training artifacts)를 구분한다.

경험적 결과

• 자산 유니스의 영향: 성능은 유니스 설계에 매우 민감하다.
  • 결제 코인 6 및 기본 14 유니스가 가장 강력한 결과를 나타냈다. 결제 코인 유니스에서 이진 액션을 사용한 DQN은 **32.26%**의 총 수익(시드 42)을 달이트었다. 기본 14 유니스에서 DQN 이진 방식은 **30.24%**를 기록했다.
  • 광범위한 20 유니스는 DRL 에이전트에게 저조한 성과를 보였으며(모두 음의 수익), 비-DRL COIN 벤치마크(3.25%)가 모든 DRL 전략을 앞질렀다.
  • 레이어-1 플랫폼 9 유니스는 벤치마크를 포함한 모든 전략에서 음의 수익을 기록했다.
  • 결론: 자산 유니스를 확장하는 것이 반드시 성능 향상으로 이어지지는 않는다. 더 작고 경제적으로 일관된 유니스가 종종 더 안정적인 공적분 신호를 제공한다.
• 액션 스페이스 세밀도의 영향:
  • 이진 액션은 가장 강력한 설정(예: 결제 코인 및 기본 14 유니스의 DQN)에서 더 높은 총 수익을 생성하였으며, 이는 신호가 강할 때 전체 방향성 노출이 최적임을 시사한다.
  • 세밀한 액션은 보편적으로 수익을 높이지는 못했으나, 약한 환경에서 리스크 제어를 유의미하게 개선했다. 이는 신호가 노이즈가 심한 상황(예: 레이어-1 및 광범위한 20 유니스)에서 에이전트가 드로다운(drawdown)과 회전율을 줄일 수 있게 해주었다.
• 견고성:
  • 결과는 확률적 훈련 변동에 민감하다. 결제 코인 DQN 이진 방식은 시드 전반에 걸쳐 평균적으로 양의 수익(평균 16.50%)을 유지했으나, 높은 수익 분산을 보였다.
  • 기본 14 DQN 이진 방식의 시드-42 실행에서의 강력한 성과는 다른 시드에서는 유지되지 않았으며(평균 수익이 음수로 전환됨), 이는 단일 실행의 성공이 안정성을 보장하지 않음을 나타낸다.

의의 및 주장
본 논문은 암호화폐 통계적 차익거래의 성공이 단순히 알고리즘의 우월성에 의한 것이 아니라, 공적분 구조, 자산 유니스 설계, 액션 스페이스 명세, 그리고 훈련 안정성 사이의 상호작용에서 발생한다고 주장한다.

• 연구자들을 위하여: 본 연구는 DRL 트레이딩 평가가 고정된 설정 내에서 최고의 성능을 보이는 알고리즘에만 집중하기보다, 자산 유니스 설계, 액션 스페이스 명세, 시드 민감도를 반드시 보고해야 한다고 주장한다.
• 실무자들을 위하여: 자산 선택은 공적분 관계가 학습 가능한지를 결정하는 주요 모델링 결정임을 시사한다. 또한, 세밀한 액션 스페이스는 보편적인 수익 향상 도구가 아니라, 약한 신호나 높은 거래 비용을 처리하기 위한 리스크 관리 메커리즘으로 간주되어야 한다.
• 종합 결론: 트레이딩 환경의 설계(유니스와 액션 스페이스)는 DRL 알고리즘 자체만큼이나 중요하다. DRL은 유리한 설정(예: 결제 코인 유니스의 DQN)에서 가치를 더할 수 있지만, 기초 자산 관계가 노이즈가 많거나 불안정한 경우 클래식한 공적분 벤치마크를 보편적으로 능가하지는 못한다.