Regime Dependent Machine Learning and the Limits of Algorithmic Trading in the Dhaka Stock Exchange

금융 세계에는 단순히 충분한 데이터를 수집하고 적절한 수학적 도구를 적용하기만 하면 주가의 미래를 예측할 수 있다는 지속적인 믿음이 존재한다. 이러한 아이디어는 시장이 완전히 무작위가 아니라, 오히려 뚜렷한 패턴이나 '레짐(regime, 국면)'에 따라 움직이며 평온함, 높은 변동성, 그리고 스트레스 상황 사이를 전환한다는 개념에 기초한다. 만약 투자자가 이러한 변화를 발생하는 즉시 식별할 수 있다면, 논리적으로 시장이 조용할 때 사고 혼란스러울 때 파는 방식으로 전략을 조정하여 평균적인 참여자들보다 앞서 나갈 수 있다는 것이다. 이 접근 방식은 현대의 알고리즘 트레이딩의 초석이 되었으며, 여기서 컴퓨터는 복잡한 머신러닝을 사용하여 방대한 양의 과거 데이터를 스캔하며 인간 트레이더가 놓칠 수 있는 신호를 찾는다. 이 연구를 이끄는 핵심 질문은 이러한 정교한 시스템이 특히 서구보다 덜 발달하고 더 예측 불가능한 시장에서, 실제로 그 신호들을 지속적이고 실질적인 수익으로 전환할 수 있는지 여부이다.

최근 방글라데시의 다카 증권거래소(Dhaka Stock Exchange)를 대상으로 한 한 연구는 엄격한 정밀함을 통해 이 질문에 답하고자 했다. 연구자인 Md. Shakil Sikder는 단순히 하나의 모델을 몇몇 기업에 테스트하는 데 그치지 않았다. 대신, 그는 결과가 우연이 아님을 보장하기 위해 세 개의 별도 주식 그룹을 구성했다. 첫 번째 그룹은 저자가 신중하게 선정한 유동성이 좋은 12개의 유명 기업으로 구성되었다. 두로, 두 번째 그룹은 인간의 선택 편향을 제거하기 위해 컴퓨터가 무작اً 추출한 6개의 기업이었다. 세 번째로, 연구 결과가 더 넓은 범위의 산업 전반에 걸쳐 유효한지 테스트하기 위해 24개의 추가 주식을 나중에 더 크게 포함시켰으며, 결과적으로 17개 섹터에 걸친 42개의 증권을 다루게 되었다. 목표는 현재의 시장 '레짐'에 따라 예측을 조절하는 특정 유형의 머신러닝이, 시장이 최근의 평균을 반복할 뿐이라고 가정하는 단순한 기준점(baseline) 전략을 일관되적으로 이길 수 있는지 확인하는 것이었다.

이 연구는 기초적인 통계 방법부터 신경망과 같은 고급 인공지능 시스템에 이르기까지 다섯 가지의 서로 다른 예측 모델을 채택했다. 이 모델들은 과거 가격 변동, 거래량, 모멘텀과 같은 13가지의 서로 다른 기술적 지표와 함께, 시장이 정상, 고변동성, 또는 스트레스 상태 중 어디에 있는지를 나타내는 신호를 입력값으로 받았다. 연구진은 '워크 포워드 검증(walk-forward validation)'이라는 엄격한 테스트 방법을 사용했는데, 이는 과거 데이터로 모델을 학습시킨 후 모델이 본 적 없는 미래의 데이터로 테스트함으로써, 정보가 미래로부터 과거로 유출되는 것을 방지하며 실시간 거래를 시뮬레이션하는 방식이다. 또한 연구진은 브로커리지 수수료, 세금, 그리고 대량의 주식을 매매할 때 자신에게 불리한 가격을 형성하지 않고 거래하는 과정에서 발생하는 슬리피지(slippage)를 포함하여 방글라데시 특유의 거래 비용을 고려했다.

결과는 세 그룹의 주식 모두에서 극명하고 일관되었다. 어떤 정교한 머신러린 모델도 단순한 기준점을 능가하지 못했다. 사실, LightGBM이라 불리는 그래디언트 부스팅 트리 알고리겠습니다. 이 가장 복잡한 모델은 모든 패널에서 기준점보다 현저히 낮은 성과를 보였다. 연구진이 거래 결정을 안내하기 위해 레짐 정보를 사용하려 했을 때, 해당 전략들은 어떠한 수익도 창출하지 못했다. 오히려 거래 전략들은 시작할 때 가졌던 자본의 대부분을 잃었다. 연구는 모델들이 이용하려 했던 근본적인 신호가 비용을 차감한 후에는 돈으로 바뀔 수 있는 방식으로 존재하지 않는다는 것을 발견했다. 심지어 연구진이 수수료를 피하기 위해 거래 횟수를 줄이려고 시도했을 때도 남은 수익률은 여전히 음(-)의 값을 기록했으며, 이는 문제가 단지 거래 비용 때문이 아니라 진정한 예측 신호의 부재 때문임을 나타냈다.

특히 드러난 발견 중 하나는 컴퓨터 모델이 다카 증권거래소의 독특한 메커니즘을 어떻게 해석했는가에 관한 것이었다. 이 거래소에는 주가가 일정 수준 이하로 떨어지는 것을 방지하는 하한가를 설정하는 규제 메커니즘이 있다. 극심한 스트레스 기간 동안 이 메커니즘은 거래를 중단시키거나 가격을 장기간 정체시킬 수 있다. 연구는 머신러닝 모델들이 변동성을 기반으로 시장 스트레스를 감지하려 할 때, 이러한 정체된 가격(flat-price) 상태를 오해한다는 점을 발견했다. 가격이 움직이지 않았기 때문에 모델은 변동성을 '0'으로 계산했고, 이 위험한 시기를 '저위험' 또는 '정상' 상태로 분류했다. 이 오류는 모델이 정작 도움이 가장 필요한 시기에 투자자를 보호하지 못하게 만들었다. 연구진은 이러한 '동결된 날(frozen days)'을 거래에서 제외하는 규칙을 테스트해 보았으나, 이 조정은 포트폴리오 재조정 비용이 잠재적 이익보다 컸기 때문에 오히려 성과를 악화시켰다.

또한 이 연구는 금융 연구의 흔한 함정인, 사후에 모델이 아는 것과 실시간으로 아는 것 사이의 차이를 다루었다. 연구진은 전체 데이터의 역사를 본 후에 모델이 시장 레짐을 식별할 수 있는 능력과, 레짐이 진행 중인 상황에서 이를 식별하는 능력이 매우 다르다는 것을 발견했다. 과거를 되돌아볼 때 모델은 특정 날을 스트레스 상황으로 정확히 라벨링할 수 있었지만, 결정적인 순간에 판단을 내릴 때는 절반 이상의 확률로 틀렸다. 이러한 사후 확신(hindsight)과 실시간 예측 사이의 간극은 왜 많은 백테스트 전략이 실제 시장에 적용될 때 실패하는지에 대한 결정적인 이유가 된다. 연구는 고급 통계적 보정과 다층적인 검증을 거쳤음에도 불구하고, 해당 전략들이 무작위성에 의해 설명될 수 없는 어떠한 기술도 보여주지 못했음을 확인했다.

궁극적으로, 이 연구는 다카 증권거래소의 경우 시장이 '약형 효율적 시장 가설(weak-form efficiency)'과 일치하는 방식으로 움직이고 있음을 시사한다. 이는 과거의 가격 움직임과 거래량이 미래의 이익을 위한 신뢰할 수 있는 로드맵을 제공하지 못함을 의미하며, 적어도 현재의 머신러닝 기술로는 활용할 수 없음을 뜻한다. 연구는 레짐 인식 머신러닝을 독특한 규제 특징을 가진 프런티어 마켓(frontier markets)에 쉽게 전이할 수 있다는 가정이 잘못되었다고 결론짓는다. 변동성 기반 탐지와 하한가 메커니즘 사이의 특정한 상호작용은 알고리즘이 쉽게 극복할 수 없는 사각지대를 만든다. 이 연구 결과는 실무자들과 연구자들에게 경고의 메시지를 전달하며, 유동성이 낮고 특정 규제 제약이 있는 시장에서는 가장 정교한 도구라 할지라도 이점이 존재하지 않는 곳에서는 이점을 찾아낼 수 없음을 보여준다. 증거는 통계적으로 볼 때, 복잡한 알고리즘으로 시장의 타이밍을 맞추려 하기보다는 주식을 장기 보유하는 수동적인 전략이 가장 확실한 전략임을 가리키고 있다.