Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

금융 세계에서 주식의 미래 가격을 예측하는 것은 성배와도 같습니다. 투자자들과 은행들은 일일 시장 움직임의 혼돈 속에서 패턴을 찾기를 희망하며 정교한 컴퓨터 시스템에 수십억 달러를 쏟아붓습니다. 주로 딥러닝을 사용하여 구축된 이러한 시스템들은 과거 가격과 경제 보고서 등 방대한 양의 정보를 소화하여 내일 주가가 오를지 내릴지를 추측하도록 설계되었습니다. 한 시스템이 실제로 우수한지를 판단하는 표준적인 방법은 그 예측값을 다른 시스템들의 목록과 비교하는 것입니다. 만약 새로운 모델이 기존 모델들보다 오류를 적게 범한다면, 그것은 승자로 선언되며 그 제작자들은 그 결과를 돌파구(breakthrough)로 발표합니다. 이 과정은 낮은 오류 점수가 모델이 데이터에서 진정한 신호, 즉 타인이 볼 수 없는 것을 보는 실제 능력을 발견했다는 것을 의미한다는 단순한 가정에 의존합니다.

그러나 새로운 연구는 이러한 승자들이 선정되는 방식의 근간 자체에 의문을 제기합니다. 컴퓨터 과학과 경영학 전문가 팀과 함께 작업한 연구진은 표준적인 채점 방식이 속을 수 있다는 사실을 발견했습니다. 그들은 컴퓨터 모델이 시장을 예측하는 법을 배웠기 때문이 아니라, 거의 아무것도 하지 않는 법을 배웠기 때문에 완벽한 점수를 얻을 수 있다는 것을 발견했습니다. 시장을 예측하기 어려울 때, 가장 안전한 수학적 움직임은 매번 평균적인 결과만을 추측하는 것입니다. 만약 모델이 너무 조심스럽거나, 혹은 그 설계가 모델을 너무 보수적으로 강제한다면, 모델은 자신의 예측치를 거의 평평하게 만들 정도로 축소할 것입니다. 연구는 현재의 순위 시스템이 이러한 축소 행동을 기술(skill)로 오해하여, '최고'라고 불리는 모델들이 실제로는 아무것도 예측하지 않기로 포기한 모델들이라는 리더보드를 만들어내고 있음을 보여줍니다.

연구진은 일일 주식 수익률을 예측하기 위해 설계된 특정 현대적 아키텍처를 테스트하기로 했습니다. MFGate-Net이라 불리는 이 시스템은 최첨단 예측 도구가 되도록 구축되었습니다. 이 시스템은 가격 차트에서 유도된 기술적 지표와 금리 및 시장 변동성과 같은 거시경제 데이터를 결합하였으며, 이러한 입력값들의 가중치를 동적으로 조절하는 메커니즘을 갖추고 있습니다. 이것이 제대로 작동하는지 확인하기 위해, 연구팀은 7년간의 과거 데이터를 사용하여 이를 학습시킨 후, 2022년부터 2024년까지의 새로운 미학습 기간을 대상으로 테스트했습니다. 이 테스트 기간은 고인플레이션 시기와 회복 단계를 포함하여 모델이 현실적인 도전에 직면하도록 신중하게 선택되었습니다.

연구팀이 표준적인 비교를 실행했을 때, 결과는 승리처럼 보였습니다. 새로운 모델은 더 오래되고 단순한 머신러닝 방법들과 다른 복잡한 딥러닝 네트워크들을 포함한 모든 경쟁자를 물리쳤습니다. 이 모델은 가장 낮은 오류율을 기록했으며, 통계적 검증을 통해 그 우위가 우연이 아님을 확인했습니다. 모든 관례적인 기준에 따르면, 이것은 시장을 예측하는 새롭고 우월한 방법이라는 헤드라인을 장식해야 마땅했습니다. 하지만 연구진은 거기서 멈추지 않았습니다. 그들은 더 단순하고 근본적인 질문을 던졌습니다: 이 모델이 정말로 가장 기본적인 예측을 이겼는가? 금융에서 가장 단순한 예측은 내일의 가격 변화가 정확히 제로(0)라고 가정하는 것입니다. 이것은 '무조건부 벤치마크(unconditional benchmark)'로 알려져 있습니다. 이는 아무것도 하지 않는 것의 기준선입니다.

그들이 이 정교한 모델을 제로 예측과 비교했을 때, 이야기는 완전히 바뀌었습니다. 복잡한 모델은 제로 예측을 이기지 못했습니다. 사실, 이 모델은 제로 예측과 통계적으로 구별할 수 없는 수준이었습니다. 모델의 예측치는 제로에 너무 가까워, 아무 일도 일어나지 않을 것이라고 추측하는 것보다 실질적인 이점을 제공하지 못했습니다. 더욱 놀라운 점은, 최신 딥러닝 네트워크부터 오래된 통계적 방법까지 리더보드의 모든 다른 모델들 역시 제로 예측을 이기지 못했다는 사실입니다. 그들은 모두 아무것도 하지 않는 것보다 못했습니다. 연구진은 앞서 본 순위가 누가 최고의 예측자인지를 측정하는 것이 아니라, 누가 가장 조심스러운지를 측정하고 있다는 것을 깨달았습니다. 예측을 가장 많이 축소하여 제로에 가깝게 만든 모델들이 가장 낮은 오류를 보이는 것처럼 보였던 것입니다. 순위는 누가 더 잘 예측하느냐가 아니라, 모델들이 얼마나 붕괴되었는지를 측정하는 척도였습니다.

이를 증명하기 위해 연구팀은 왜 이런 현상이 발생하는지에 대한 수학적 설명을 도출했습니다. 그들은 시장을 예측하기 어려울 때, 모델의 오류 점수는 모델의 예측이 실제 시장과 얼마나 변동하는지에 거의 전적으로 의존한다는 것을 보여주었습니다. 만약 모델이 움직임을 아주 적게 예측한다면, 설령 틀리더라도 오류 점수는 좋게 보일 것입니다. 연구는 한 모델과 다른 모델의 우월함이 나타나는 것이 단순히 그들이 예측치를 얼마나 축소했는지의 차이일 뿐임을 입증했습니다. 승자를 선언하는 데 사용된 통계적 검정은 사실 이 축소 정도를 측정하고 있었으며, 더 많은 데이터를 수집할수록 그들은 잘못된 결론에 대해 더 확신하게 되었습니다. 데이터셋이 커질수록 기술(skill)이라는 환상은 더욱 강력해졌지만, 실제 기술은 존재하지 않았습니다.

연구진은 이후 간단한 해결책을 제안했습니다. 모델들을 비교하기 전에, 모든 예측값의 변동 범위를 실제 시장의 변동 범위와 일치하도록 조정하는 것입니다. '분산 매칭(dispersion matching)'이라 부르는 이 과정은 축소에 대한 편향을 제거합니다. 일단 이 교정을 적용하자, 모델들 사이의 극적인 차이는 사라졌습니다. 이전에는 명확한 승자로 보였던 모델들이 이제는 패자들과 통계적으로 동등해졌습니다. 돌파구를 암시했던 '압도적인' 유의성은 사라지고, 모든 모델이 본질적으로 무작위 추측과 동일하게 수행하고 있다는 결과가 그 자리를 대신했습니다. 특정 사례에서는, 최고라고 선언되었던 모델이 제로 예측과 차이가 없다는 통계적 확률이 0.97에 달했습니다.

연구팀은 또한 이 모델들이 돈을 벌 수 있는지도 살펴보았습니다. 비록 모델이 가격을 완벽하게 예측할 수는 없더라도, 수익성 있는 거래를 안내할 수 있다면 여전히 유용할 수 있습니다. 연구진은 모델의 예측을 바탕으로 거래 비용을 고려한 트레이딩 전략을 시뮬레이션했습니다. 결과는 냉혹했습니다. 어떤 모델도 거래 비용을 제로로 설정했을 때조차 무위험 투자 수익률을 넘어서는 이익을 창출하지 못했습니다. 오류 차트에서 가장 성공적이었던 모델은 돈을 버는 측면에서는 최악의 성과를 냈는데, 이는 그 모델의 조심스러운 예측이 자본 비용에 의한 작은 손실을 누적시키는, 거의 움직이지 않는 전략으로 이어졌기 때문입니다. 이는 통계적 순위가 단순히 오도하는 것을 넘어, 경제적으로 무의미하다는 것을 확인시켜 주었습니다.

아마도 가장 당혹스러운 발견은 이 모델들이 어떻게 작동하는지 설명하기 위해 사용하는 도구들에 관한 것이었습니다. 인공지능 분야에서 연구자들은 종-종 시각화 도구를 사용하여 모델이 어떤 데이터 포인트에 주목하고 있는지를 보여줌으로써, 시스템이 의미 있는 패턴을 학습했음을 증로하고자 합니다. 연구팀은 타겟(target) 값이 무작위로 섞여 입력값과 출력값 사이의 실제 관계가 파괴된 데이터로 모델을 학습시켜 이를 테스트했습니다. 이러한 노이즈로 학습된 모델은 이론적으로 아무것도 학습할 수 없습니다. 그럼에도 불구하고, 연구팀이 이 '고장 난' 모델을 분석했을 때, 그것은 실제 모델에서 나온 것과 거의 동일해 보이는 설명을 생성했습니다. 시각화 자료는 동일한 특징들을 강조하고 동일한 패턴의 주의력을 보여주었습니다. 이는 해석 가능성(interpretability) 도구들이 모델이 얻은 특정한 지식이 아니라, 데이터 자체의 구조를 반영하고 있는 경우가 많다는 것을 시사합니다. 이 도구들은 비밀을 배운 모델과 아무것도 배우지 못한 모델을 구분하지 못합니다.

연구진은 금융 예측 분야 전체가 결과를 보고하는 방식을 바꿔야 한다고 결론지었습니다. 그들은 모든 연구가 모델이 조금이라도 기술을 가지고 있는지 증명하기 위해 단순한 제로 예측과의 비교를 반드시 포함해야 한다고 권고합니다. 또한, 낮은 오류 점수가 단순히 지나치게 조심스러운 결과가 아닌지 확인하기 위해 모델의 예측이 얼마나 변동하는지에 대한 척도를 보고할 것을 제안합니다. 이러한 점검 없이는, 문헌들이 최첨단 기술을 발전시키고 있는 것처럼 보이지만 실제로는 단지 얼마나 잘 '무(無)'인 척할 수 있는지를 두고 순위를 매기고 있는 것에 불과합니다. 이 연구는 시장을 예측하는 것이 불가능하다고 주장하거나 딥러닝이 쓸모없다고 말하는 것이 아닙니다. 단지 현재의 성공 판단 방식이 고장 났음을 보여줄 뿐이며, 규칙이 수정되지 않는 한 리더보드의 승자들이 실제로 미래를 볼 수 있는 사람들이 아닐 수도 있다는 점을 경고합니다.