An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

당신은 로봇에게 비트코인을 거래하도록 가르치려 한다고 상상해 보십시오. 단순히 코인을 사서 보유하는 것보다 더 똑똑하기를 원하면서도, 로봇이 모든 돈을 잃는 일은 피하고 싶습니다. 이 논문은 그 과정에 대한 "비하인드 스토리" 다큐멘터리입니다. 저자인 윌리엄 대릴 토와(William Darryl Towa)는 무엇이 잘못되었는지, 무엇이 잘 되었는지, 그리고 왜 로봇이 가끔 그냥 소파에 앉아 아무것도 하지 않기로 결정하는지에 대해 매우 솔직하게 밝히기로 결심했습니다.

다음은 이 연구의 이야기를 쉬운 개념들로 나누어 설명한 것입니다:

1. 두 가지 서로 다른 훈련 캠프

저자는 단 하나의 데이터 세트만을 사용하지 않았습니다. 그는 두 가지 매우 다른 "체육관"에서 로봇을 훈련시켰습니다:

• 체육관 A (고속 현미경): 이것은 2021년의 특정 한 주 동안의 매우 상세한 초 단위 비트코인 오더북(사람들이 사고팔기를 기다리는 목록)의 모습을 사용했습니다. 이것은 마치 레이싱 카 드라이버를 슬로 모션으로 관찰하며, 스티어링 휠의 아주 미세한 움직임까지 보는 것과 같습니다.
• 체육관 B (장거리 고속도로): 이것은 2.4년간의 시간 단위 가격 차트를 사용했습니다. 이것은 동일한 드라이버가 수년에 걸쳐 다양한 날씨, 교통 상황, 도로 조건을 어떻게 다루는지 지켜보는 것과 같습니다.

2. 첫 번째 큰 추락: "얼어붙은 로봇"

저자가 처음 로봇을 훈련시키려 했을 때, 로봇은 즉시 고장이 났습니다. 로봇은 단 한 번의 거래를 수행한 후, 195,000단계 동안 그냥 얼어붙어 버렸습니다. 학습도 멈추고 움직임도 멈췄습니다.

진단: 저자는 이 "얼어붙은" 상태의 두 가지 이유를 찾아냈습니다:

1. 혼란스러운 숫자들: 로봇에게 입력된 숫자들의 크기가 너무 달랐습니다. 깃털의 무게(0.001)와 파란 고래의 무게(85,000)를 비교하려고 하는 것과 같습니다. 고래가 깃털을 압도해 버렸기 때문에 로봇은 혼란에 빠졌습니다. 저자는 데이터를 "정규화(normalization)"하여(모든 것을 동일한 척도로 맞춤) 이를 해결했습니다.
2. 고장 난 성적표: 로봇은 수학적으로 결함이 있는 시험으로 채점을 받고 있었습니다. 아주 작은 수학적 오류 때문에, 똑같은 행동에 대해 어떤 때는 점수를 "1,000"점 주고 어떤 때는 "-1,000"점을 주기도 했습니다. 이로 인해 로봇은 세상이 혼란스럽고 예측 불가능하다고 생각하여 포기해 버렸습니다. 저자는 점수가 상식적으로 이해되도록 수학을 수정했습니다.

3. "게으른" 로봇: 아무것도 하지 않는 것이 가장 현명한 선택일 때

수정 후, 저자는 고속 현미경 (체육관 A) 데이터로 로봇을 훈련시켰습니다. 로봇은 매우 이상한 교훈을 얻었습니다: 절대 거래하지 마라.

처음에 저자는 로봇이 고장 났거나 학습할 데이터가 부족하다고 생각했습니다. 하지만 곧 진실을 깨달았습니다: 로봇은 실제로 똑똑하게 행동하고 있었던 것입니다.

• 비유: 당신이 벼룩시장에 있다고 상상해 보십시오. 물건을 사고 10초 후에 다시 팔 때마다 시장에서 30%의 수수료를 부과합니다. 설령 물건 가격이 1% 올랐더라도, 수수료 때문에 여전히 손해를 보게 됩니다.
• 현실: 고속 데이터에서 비트코인 가격은 1초 동안 거의 움직이지 않았습니다 (자주 0.00000%). 하지만 거래 수수료는 엄청났습니다 (0.30%).
• 결론: 로봇은 어떤 거래를 하더라도 돈을 잃을 것이라는 사실을 깨달았습니다. 따라서 가장 수익성이 높은 전략은 가만히 앉아서 아무것도 하지 않는 것이었습니다. 저자는 이를 "경제적으로 합리적인 무위(economically rational inaction)"라고 부릅니다. 이는 실패가 아니라, 게임이 거래에 불리하게 설계되어 있다는 것을 로봇이 정확히 파악한 결과였습니다.

4. 장거리의 성공: 겸손한 승리

로봇이 장거리 고속도로 (체육관 B) 데이터(2.4년간의 시간 단위 차트)로 훈련받았을 때, 로봇은 다른 행동을 보였습니다. 로봇은 거래를 배웠지만, 매우 조심스럽게 움직였습니다.

• 결과: 테스트 기간 동안 시장은 약 21% 하락했습니다.
  • 만약 그냥 비트코인을 보유했다면 (Buy-and-Hold), **20.82%**를 잃었을 것입니다.
  • 로봇은 **19.42%**를 잃었습니다.
• 교훈: 로봇이 큰 부를 쌓은 것은 아닙니다. 시장을 압도적으로 이긴 것도 아닙니다. 하지만 로봇은 그냥 들고 있던 사람보다는 돈을 적게 잃었습니다. 이는 매우 힘든 경주에서 다른 주자들보다 아주 조금 앞서서 결승선을 통과한 러너와 같은 작고 꾸준한 승리였습니다.

5. "앙상블" 필터: 아무것도 하지 않은 문지기

저자는 두 로봇을 결합하려고 시도했습니다. 그는 "앙상블 필터"라는 문지기를 만들어, 고속 로봇이 좋은 기회를 포착했을 때만 장거리 로봇이 거래를 할 수 있도록 설계했습니다.

• 테스트: 저자는 두 데이터 세트가 겹치는 한 주 동안 이를 테스트했습니다.
• 결과: 문지기는 64번의 잠재적 거래를 차단했지만, 최종 결과에는 아무런 영향을 미치지 못했습니다. 왜일까요? 장거리 로봇이 이미 대부분의 시간 동안 아무것도 하지 않고 가만히 있었기 때문입니다. 문지기는 이미 텅 빈 클럽 앞에 서 있는 보안 요원과 같았습니다. 그는 사람들이 들어오는 것을 막았지만, 어차피 아무도 들어오려 하지 않았기 때문에 클럽은 계속 비어 있었습니다.
• 정직함: 저자는 이 "무효한 결과(null result)"를 숨기는 대신 공개했습니다. 그는 "이 부분이 작동하지 않았다"고 인정하는 것이 성공한 척하는 것보다 더 가치 있다고 주장했습니다.

6. 거대한 교훈: "다듬어진 거짓말"보다 "정직한 실패"가 낫다

이 논문의 가장 중요한 부분은 거래 전략이 아니라 태도입니다.

AI와 금융의 세계에서 연구자들은 종가 로봇이 수백만 달 달러를 벌어들이는 "해피 엔딩"만을 발표하곤 합니다. 이 논문은 다릅니다. 이 논문은 다음과 같이 말합니다:

• "우리의 첫 번째 시도가 왜 실패했는지 정확히 밝힙니다."
• "왜 우리의 두 번째 로봇이 아무것도 하지 않기로 결정했는지(그리고 왜 그것이 옳았는지) 밝힙-니다."
• "우리 시스템의 한 부분이 작동하지 않았으며, 그 증거는 여기 있습니다."

저자는 이러한 "부정적인 결과"와 "진단"을 공유하는 것이, 숨겨진 결함을 감추고 있는 매끄럽고 완벽한 이야기를 공유하는 것보다 전체 커뮤니티가 더 빨리 배울 수 있도록 돕는다고 믿습니다. 그는 누구나 자신의 작업을 검증할 수 있도록 모든 코드와 노트를 공개하여, 투명성이 과학을 발전시키는 최선의 방법임을 증명했습니다.

요약하자면: 이 논문은 비트코인을 거래하는 법을 배운 로봇, 잘못된 수학 때문에 고장 났던 로봇, 때로는 거래를 하지 않는 것이 최선이라는 것을 배운 로봇, 그리고 마침 finally 다른 사람들보다 돈을 조금 덜 잃는 법을 배운 로봇에 대한 이야기입니다. 이 모든 과정에서 저자는 당황스러운 부분까지 포함하여 모든 진실을 말하겠다고 약속했습니다.