Optimization of dynamic crypto portfolios via deep reinforcement learning against supervised learning under transaction costs
이 논문은 PPO를 이용한 심층 강화 학습 접근 방식이 거래 비용이 발생하는 동적 암호화폐 포트폴리오를 최적화함에 있어 방향성 정확도보다 거래 효율성을 우선시함으로써, LSTM, Random Forest, XGBoost와 같은 지도 학습 모델보다 우수한 위험 조정 수익률과 시장 중립성을 달성하며 유의미하게 뛰어난 성능을 보임을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
디지털 통화의 세계는 전통적인 금융 직관을 거스르는 규모의 움직임 속에서 작동합니다. 주식이나 채권처럼 비교적 안정적인 시장과는 달리, 암호화폐의 지형은 극심한 변동성으로 정의됩니다. 이곳에서는 단 하루 만에도 가격이 요동칠 수 있으며, 가격을 결정하는 규칙들이 예고 없이 변하기도 합니다. 수십 년 동안 투자자들은 위험과 보상을 균형 있게 맞추기 위해 설계된 수학적 모델에 의존해 왔지만, 이러한 고전적인 도구들은 일반적인 경제재처럼 행동하지 않는 자산에 적용될 때 종종 실패하곤 합니다. 이 모델들은 시장 패턴이 반복되고 서로 다른 자산 간의 관계가 일정하게 유지된다고 가정하지만, 이러한 가정들은 디지털 금융의 혼돈스러운 환경 속에서 무너져 내립니다. 이 격변을 헤쳐 나가기 위해 연구자들은 미래를 완벽하게 예측하려 하기보다는, 노이즈로부터 학습할 수 있는 시스템을 구축하기 위해 인공지능에 주목해 왔습니다. 핵심 과제는 단순히 수익성 있는 거래를 찾는 것이 아니라, 포트폴리오를 조정할 때마다 이익을 갉아먹는 수수료와 같은 거래 자체의 숨겨진 비용으로 인해 돈을 잃지 않는 것입니다.
최근 한 연구에서 모로코 대학 연구진은 10개의 주요 암호화폐 포트폴리오를 관리하는 새로운 접근 방식을 테스트함으로써 이 구체적인 문제를 다루었습니다. 그들은 딥 강화 학습(deep reinforcement learning)이라 불리는 일종의 인공지능이 수년간 표준이었던 기존의 머신러닝 방식보다 더 뛰어난 성과를 낼 수 있는지 확인하고자 했습니다. 연구진은 인공 에이전트가 비트코인, 이더리움 등을 포함한 10가지 서로 다른 코인에 자금을 어떻게 배분할지 매일 결정하는 동시에, 현금과 유사한 안전한 무위험 자산에도 일부를 보유하도록 하는 디지털 환경을 구축했습니다. 결정적으로, 에이전트가 한 코인에서 다른 코인으로 자금을 이동할 때마다 실제 거래 비용을 모사하는 작은 수수료를 지불해야 했습니다. 목표는 어떤 방식이 시장의 불가피한 폭락 속에서도 살아남으면서 과도한 거래라는 함정을 피하고 포트폴리오의 가치를 가장 많이 키울 수 있는지 확인하는 것이었습니다.
연구팀은 이 새로운 접근 방식을 세 가지 잘 알려진 지도 학습(supervised learning) 모델과 비교했는데, 이 모델들은 먼저 자산의 미래 가격을 예측한 다음 그 예측을 바탕으로 무엇을 살지 결정하는 방식으로 작동합니다. 이러한 전통적인 모델에는 과거의 패턴을 기억하는 데 능숙한 LSTM(Long Short-Term Memory) 네트워크, 여러 결정 트리를 사용하여 답을 찾는 랜덤 포레스트(Random Forests), 그리고 데이터의 복잡한 관계를 포착하는 강력한 도구인 XGBoost가 포함되었습니다. 연구진은 이러한 전통적인 방식들이 거래 수수료가 도입되었을 때 상당한 어려움을 겪는다는 것을 발견했습니다. 이 모델들은 가격의 정확한 방향을 예측하는 데 집중하기 때문에, 아주 작은 예측 오류만으로도 너무 빈번하게 거래를 하게 됩니다. 이러한 잦은 매수와 매도는 미세한 계산 착오에 의해 유발되었으며, 결과적으로 수수료가 잠재적 이익을 빠르게 잠식하여 포트폴리오를 제자리걸음 상태로 만들거나 심지어 마이너스로 만들었습니다. 한 전통적 모델은 실제로 거래 비용조차 감당하지 못해 손실을 냈습니다.
반면, 근사 정책 최적화(Proximal Policy Optimization) 기법으로 훈련된 딥 강화 학습 에이전트는 근본적으로 다른 접근 방식을 취했습니다. 이 에이전트는 다음 가격을 추측하는 대신, 자신의 행동에 따른 결과로부터 직접 학습했습니다. 에이전트는 돈을 벌면 보상을 받았지만, 불필요하게 자금을 이동시키면 큰 벌칙을 받았습니다. 이를 통해 에이전트는 중요한 교훈을 얻었습니다. 즉, 기대 수익이 수수료를 정당화할 만큼 충분히 크지 않다면 차라리 현 상태를 유지하는 것이 낫다는 것이었습니다. 시장이 위험해지면 이 에이전트는 자본을 최악의 하락으로부터 보호하기 위해 안전한 현금 포지션으로 후퇴하는 법을 배웠습니다. 시장이 평온할 때는 성장을 포착하기 위해 투자를 지속했습니다. 이러한 전략 덕분에 에이전트는 2021년부터 2024년까지의 변동성 기간을 놀라운 효율성으로 헤쳐 나갈 수 있었습니다.
실험 결과는 극명했습니다. 딥 강화 학습 에이전트는 연간 수익률 37.22%를 달성하며 다른 방식들을 압도했습니다. 전통적인 모델들이 6.75%에서 -1.48% 사이의 완만한 수익률을 기록하는 동안, 이 새로운 에이전트는 포트폴리오를 성장시켰을 뿐만 아니라 리스크도 효과적으로 관리했습니다. 에이전트는 최악의 시장 침체기 동안 최대 손실률 28.74%를 기록했는데, 이는 다른 전략들이 경험한 손실보다 덜 심각한 수준이었습니다. 무엇보다 중요한 점은 이 에이전트가 시장 중립적(market neutral)임을 입증했다는 것입니다. 즉, 이 에이전트의 성공은 전체 시장이 상승하느냐 하락하느냐에 의존하지 않았습니다. 에이전트는 일반적인 시장 추세와 독립적인 전략 자체의 기술을 나타내는 '알파(alpha)'라는 특정 가치를 창출했습니다. 이에 비해 전통적인 모델들은 시장의 방향에 크게 묶여 있었으며, 추가적인 가치를 창출하기는커녕 오히려 부를 파괴하는 경우가 많았습니다.
이 연구는 변동성이 큰 디지털 자산을 관리하는 미래가 단순히 보상의 약속뿐만 아니라 행동의 비용을 이해하는 시스템에 달려 있을 수 있음을 시사합니다. 거래 수수료라는 현실을 학습 과정에 직접 포함함으로써, 연구진은 반응적인 기계라기보다 신중한 인간 투자자처럼 행동하는 에이전트를 만들어냈습니다. 에이전트는 끊임없는 활동보다 인내와 절제가 종종 더 수익성이 높다는 것을 배웠습니다. 비록 이 연구가 과거 데이터와 시뮬레이션을 통해 수행되었지만, 그 결과는 단순한 예측 모델에서 벗어나 시장의 마찰력까지 포함한 전체 거래 경험을 최적화하는 시스템으로 나아가야 한다는 강력한 논거를 제공합니다. 이 접근 방식의 성공은 혼란스러운 금융 세계에서, 언제 거래하지 않을지를 아는 능력이 언제 살지를 아는 것만큼이나 가치 있다는 점을 강조합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.