Decomposing Rank Reversals under Temporal Nonstationarity: Alignment, Aggressiveness, and Instability

금융 예측의 세계에서 미래를 예측하는 것은 변화하는 지형과의 끊임없는 싸움이다. 모델이 의존하는 데이터—주가, 경제 지표, 시장 트렌드—는 가만히 머물러 있지 않는다. 그것은 표류하고, 변하며, 때로는 완전히 부서지기도 한다. 비정상성(nonstationarity)이라고 알려진 이 현상은, 어제의 데이터로 학습된 모델이 게임의 규칙이 바뀌었기 때문에 내일은 실패할 수 있음을 의미한다. 이에 대처하기 위해 예측가들은 얼마나 오래된 과거를 되돌아볼 것인지를 조정하곤 한다. 그들은 민첩성을 유지하기 위해 지난 한 달간의 데이터로만 모델을 학습시키거나, 안정적인 패턴을 찾기 위해 지난 10년의 데이터를 사용할 수도 있다. 데이터는 일반적으로 많을수록 좋거나, 충분한 정보가 주어진다면 복잡하고 강력한 모델이 항상 더 단순한 모델보다 뛰어날 것이라는 가정은 오랫동안 이어져 왔다. 하지만 주식 수익률을 예측하는 고도의 이해관계가 걸린 경기장에서, 현실은 훨씬 더 혼란스럽다. 때로는 단순한 모델이 복잡한 모델을 이기기도 하고, 때로는 그 반대가 일어나기도 하는데, 이는 전적으로 모델이 얼마나 많은 역사를 볼 수 있는지에 달려 있다.

카네기 멜론 대학교의 연구팀은 이러한 혼란스러운 성능 변화 뒤에 숨겨진 기계적인 이유를 밝혀냈다. 그들은 모델의 순위가 무작위로 바뀌는 것이 아니라, 세 가지 특정 힘에 의해 예측 가능한 방식으로 뒤바뀐다는 것을 발견했다. 그것은 모델이 얼마나 올바른 방향을 가리키는지, 얼마나 공격적으로 추측하는지, 그리고 훈련 데이터가 약간 변했을 때 답변이 얼마나 불안정한지에 관한 것이다. 단순한 선형 방정식부터 복잡한 신경망에 이르기까지 14가지의 서로 다른 예측 시스템의 성능을 방대한 미국 주식 및 산업 데이터셋을 통해 분석함으로써, 저자들은 '최고'의 모델이라는 타이틀이 고정된 것이 아님을 입증했다. 대신, 승자는 훈련 이력의 길이와 모델의 복잡성 사이의 섬세한 균형에 달려 있다.

연구진은 예측을 단일 숫자가 아니라 세 가지 뚜렷한 속성을 가진 기하학적 객체로 취급함으로써 이 문제에 접근했다. 첫 번째는 정렬(alignment)으로, 모델의 예측이 실제 미래 결과와 같은 방향을 가리키는지 측정한다. 두 번째는 공격성(aggressiveness)으로, 예측의 크기 또는 실제 목표 대비 예측값의 규모를 측정한다. 마지막으로 불안정성(instability)은 동일한 데이터의 약간 다른 조각을 바탕으로 재학습했을 때 모델의 답변이 얼마나 흔들리는지를 포착한다. 연구팀은 수학적으로 예측의 전체적인 성공이 이 세 가지 요소의 조합임을 증명했다. 즉, 모델은 좋은 정렬을 통해 점수를 얻지만, 너무 공격적이거나 너무 불안정하면 점수를 잃는다.

그들의 분석은 왜 모델의 순위가 역전되는지를 설명하는 결정적인 트레이드오프를 드러냈다. 딥 뉴럴 네트워크나 부스팅 트리와 같은 복잡한 모델은 복잡한 패턴을 포착하는 데 자연스러운 이점을 갖지만, 이 이점에는 대가가 따른다. 훈련 이력이 짧을 때, 이러한 복잡한 모델은 제한된 데이터에 과잉 반응하여 매우 불안정해질 수 있으며, 목표를 벗어난 과격하고 공격적인 추측을 할 수 있다. 이러한 짧은 윈도우 시나리오에서는 단순한 모델이 더 안정적이고 급격한 변동에 덜 취약하기 때문에 종종 승리한다. 그러나 훈련 이력이 확장됨에 따라 복잡한 모델은 점차 안정을 찾기 시작한다. 그들은 추가적인 데이터를 사용하여 패턴을 정교화하며, 이 과정에서 불안정성이 감소한다. 결국, 이력이 충분히 길어지면, 복잡한 관계를 모델링하는 그들의 탁월한 능력이 단순한 모델을 추월하게 된다.

연구는 이러한 역전이 미스터리가 아니라 계산 가능한 사건임을 보여주었다. 연구진은 훈련 윈도우의 길이에 따라 복잡한 모델이 단순한 모델보다 언제 더 우수한 성과를 내기 시작할지를 예측하는 구체적인 수학적 경계선을 도출했다. 그들은 데이터 드리프트(drift)의 속도와 시스템의 노이즈를 정밀하게 제어할 수 있는 통제된 시뮬레이션을 통해 이 이론을 검증했다. 이 시뮬레이션에서 그들은 데이터의 드리프트가 증가함에 따라 복잡한 모델을 위한 최적의 훈련 윈도우가 줄어들어, 구식 패턴에 의해 잘못 인도되지 않기 위해 더 최근의 데이터에 의존해야 함을 관찰했다. 반대로, 데이터가 노이즈가 많지만 안정적일 때는 더 긴 이력이 복잡한 모델이 번창할 수 있게 해주었다.

17개 미국 산업의 일일 주식 수익률을 사용한 실제 세계 테스트에서도 이 이론은 유효했다. 연구진은 XGBoost나 트랜스포머(Transformers)와 같은 복합적인 모델이 단순한 릿지 회귀(ridge regression) 모델보다 성과가 낮을 때, 그것이 거의 항상 복잡한 모델이 잘못 보정된 공격성의 급증으로 인해 고통받고 있었기 때문임을 발견했다. 그들은 너무 과하게 추측하고 있었고, 그들의 답변은 너무 휘발적이었다. 연구진이 모델을 덜 공격적으로 조정하자 성능 격차가 사라졌는데, 이는 실패의 원인이 근본적인 패턴에 대한 이해 부족 때문이 아니라, 예측의 규모를 적절히 조절하지 못한 능력의 문제였음을 증명한다. 또한, 여러 버전의 동일한 모델을 평균 내는 방식(앙상블 기술)을 통해, 노이즈로 인해 손실되었던 상당한 성능을 회복하고 불안정성 페널티를 완전히 제거할 수 있음을 발견했다.

이 연구는 변화하는 세상에서 안전을 유지하기 위해 단순히 훈련 윈도우를 제한해야 한다는 일반적인 직관에 도전한다. 저자들은 과거의 데이터를 무작정 차단하는 것이 불충분한 전략이라고 주장한다. 대신, 핵심은 복잡한 패턴을 학습하는 모델의 능력과 제한된 데이터로 인한 불안정성 사이의 특정한 긴장 관계를 이해하는 것이다. 실무자들에게 이는, 정교한 인공지능 모델을 사용할지 아니면 단순한 통계 도구를 사용할지에 대한 결정이 복잡성에 대한 일반적인 선호도가 아니라, 가용 가능한 이력의 구체적인 길이와 현재 시장의 노이즈 수준에 기반한 계산된 선택이어야 함을 의미한다. 만약 이력이 짧고 데이터가 변동성이 크다면, 더 단순하고 안정적인 모델이 더 나은 선택일 가능성이 높다. 만약 이력이 길고 패턴이 깊다면, 복잡한 모델이 결국 승리할 것이나, 다만 데이터에 과잉 반응하지 않도록 조정되어야 한다.

궁극적으로, 이 연구는 세상이 변할 때 모델이 왜 성공하거나 실패하는지를 이해하기 위한 진단 프레임워크를 제공한다. 이는 단순히 어떤 모델이 더 나은지를 측정하는 것을 넘어, 왜 순위가 뒤바뀌는지를 정확히 설명하는 단계로 나아간다. 예측의 구성 요소인 정렬, 공격성, 불안정성을 분리함으로써, 저자들은 모델의 성능이 고정된 특성이 아니라 주어진 이력의 양에 대한 동적인 반응임을 보여주었다. 이러한 통찰은 예측가들이 모델이 언제 그 우위를 잃을지 예측하고 그에 따라 전략을 조정할 수 있게 함으로써, 모델 선택이라는 혼란스러운 문제를 기억과 복잡성의 관리 가능한 계산 문제로 바꾸어 놓는다.