Aggregate Calibration Can Mask Stress-State Undercoverage: Bounded-Memory Forecast Intervals under Recurrent Financial Stress

금융의 세계에서 불확실성은 결함이 아니라 하나의 특징입니다. 시장은 직선으로 움직이지 않습니다. 시장은 휘청거리고, 멈추기도 하며, 때로는 자산을 쓸어버리거나 글로벌 경제의 변화를 촉발할 수 있는 격렬한 변동성 시기로 돌입하기도 합니다. 이러한 위험한 순간들은 매우 중대한 결과를 초래하기 때문에, 투자자와 기관들은 내일의 가격이 어디에 위치할지를 예측하는 범위인 예측 구간(forecast intervals)에 의존합니다. 좋은 예측은 단순히 하나의 숫자를 추측하는 것이 아니라, 대부분의 경우 진실을 포착할 수 있을 만큼 충분히 넓은, 가능한 결과들의 띠로서 안전망을 제공합니다. 이러한 안전망을 판단하는 기준은 '교정(calibration)'이라고 불립니다. 만약 어떤 예측이 90퍼센트의 확률로 맞다고 주장한다면, 장기적으로 실제 가격을 90퍼센트의 확률로 포함해야 합니다.

수십 년 동안 통계학자들은 시스템이 이 평균 목표치를 충족한다면 제 역할을 다하고 있다고 가정해 왔습니다. 그러나 금융 시장에는 독특한 습성이 있습니다. 시장은 무작위적이지 않습니다. 시장은 에피소드적(episodic)입니다. 평온한 시기가 몇 년 동안 지속될 수 있지만, 곧 10년 전의 혼돈이 갑작스럽게 다시 나타나기도 합니다. 이는 예측을 위해 설계된 시스템에 숨겨진 함정을 만듭니다. 만약 어떤 컴퓨터 프로그램이 결정을 내리기 위해 가장 최근의 데이터만을 기억한다면, 그것은 지난 위기에서 얻은 교훈을 잊어버릴 수 있습니다. 그 특정 유형의 위기가 돌아왔을 때, 단기 기억 속에 그 위기를 본 적이 없는 시스템은 안전망을 넓히지 못해 투자자들을 가장 보호가 필요한 순간에 무방비 상태로 내버려 둘 수 있습니다.

이것이 바로 연구자 루이항 한(Ruihang Han)과 리샹 린(Li-Hsiang Lin)이 조사하고자 했던 정확한 문제입니다. 그들은 서로 다른 방식의 과거 데이터 저장 및 활용이 금융 예측의 신뢰성에 어떻게 영향을 미치는지 테스트하기 위해 통제된 실험실을 구축했습니다. 그들의 연구는 특정 유형의 기억 제약, 즉 제한된 양의 과거 정보만을 보유할 수 있는 시스템에 초점을 맞추고 있습니다. 현실 세계에서 컴퓨터는 모든 날의 시장 역사를 영원히 저장할 수 없습니다. 새로운 데이터를 위한 공간을 만들기 위해 오래된 데이터를 버려야만 합니다. 표준적인 접근 방식은 '선입선출(first-in, first-out)' 방식을 사용하는 것으로, 데이터가 메모리에 가득 차는 즉시 그 데이터가 무엇을 나타내는지와 상관없이 가장 오래된 데이터를 밀어냅니다. 연구진은 다음과 같은 단순하지만 심오한 질문을 던졌습니다. 익숙한 유형의 시장 스트레스가 오랜 공백 끝에 돌아왔을 때, 오직 최근의 과거만을 기억하는 시스템이 여전히 이를 다룰 수 있는 적절한 도구를 갖추고 있는가?

답을 찾기 위해 연구팀은 다양한 종류의 금융 자산, 즉 상장지수펀드(ETF)와 50개의 주요 미국 주식 세트를 포함하여 일일 가격 범위를 예측하도록 설계된 예측 시스템을 구축했습니다. 그들은 2005년부터 2025년까지의 데이터를 사용했는데, 이 기간에는 여러 번의 뚜렷한 시장 평온기와 몇 차 번격한 고변동성 시기가 포함되어 있었습니다. 그들은 잘 알려진 시장 공포 지표인 VIX 지수를 사용하여 '스트레스'를 정의했습니다. 이 지수가 높을 때 시장은 스트레스 상태에 있었고, 낮을 때 시장은 평온했습니다. 연구진은 다른 모든 조건은 동일하게 유지한 채, 서로 다른 기억 규칙에 따라 예측 모델을 실행했습니다. 그들은 단순히 가장 최근의 250일간의 데이터만을 유지하는 표준 시스템을, 최근의 과거뿐만 아니라 이전의 고스트레스 기간으로부터 얻은 특정 역사적 기록까지 기억하는 더 정교한 시스템과 비교했습니다.

결과는 시스템의 전체적인 성과와 가장 중요한 순간의 성과 사이의 놀라운 괴리를 드러냈습니다. 멀리서 보았을 때, 가장 최근의 데이터만을 바라보는 표준 시스템은 완벽하게 작동하는 것처럼 보였습니다. 전체 평가 기간 동안, 이 시스템은 가격 범위를 90퍼센트의 확률로 성공적으로 예측하며 목표를 정확히 달성했습니다. 그러나 연구진이 시장이 높은 스트레스를 겪었던 156일 동안을 집중적으로 살펴보았을 때, 그림은 극적으로 변했습니다. 그 특정 일들 동안 표준 시스템의 정확도는 급락했습니다. 이 시스템은 실제 가격을 약 4분의 1의 확률로 포함하지 못했으며, 커버리지 비율은 약 76퍼센트로 떨어졌습니다. 시스템이 고장 난 것이 아니라, 그 위험이 자신의 단기 기억 속에 나타나지 않았기 때문에 그 위험에 대해 눈이 멀었던 것입니다.

반면, 특정 스트레스 상태를 기억하도록 설계된 시스템은 훨씬 더 나은 성과를 보였습니다. 과거의 고변동성 일들을 전용 아카이브로 보관하고 유사한 상황이 돌아왔을 때 이를 회상함으로써, 이 시스템은 위기 기간 동안 훨씬 높은 수준의 정확도를 유지했습니다. 이 시스템은 스트레스 상황에서 실제 가격 범위를 약 85퍼센트의 확률로 포착해 냈으며, 이는 표준 방식에 비해 상당한 개선입니다. 연구진은 이러한 이점이 스트레스 기간이 시작되는 바로 그 순간에 가장 두드드러진다는 것을 발견했습니다. 이는 표준 시스템이 가장 취약해질 수 있는 시점입니다. 스트레스 기간이 지속되면서 표준 시스템이 현재의 위기로부터 새로운 데이터를 축적하기 시작하면 두 시스템 간의 격차는 좁혀졌지만, 표준 시스템의 초기 실패는 유의미했습니다.

연구는 이러한 개선이 단순히 더 많은 데이터나 다른 방식의 정보 가중치 때문이 아님을 확인하기 위해 더 나아갔습니다. 그들은 특정 변수들을 테스트하기 위해 여러 대조군을 만들었습니다. 한 그룹은 개선된 시스템과 동일한 양의 메모리를 가졌으나 오직 최근 데이터만을 사용했습니다. 또 다른 그룹은 오래된 데이터에 접근할 수 있었지만, 모든 과거의 날들을 구분하지 않고 동일하게 취급했습니다. 이 두 변형 모델 모두 특정한 스트레스 기간을 구별하여 기억하는 시스템의 성능을 따라잡지 못했습니다. 이는 이점이 단순히 더 큰 데이터베이스를 갖는 데서 오는 것이 아니라, 기억의 구체적인 구성, 즉 어떤 역사적 날들이 현재 상황과 관련이 있는지를 아는 것에서 온다는 점을 입증했습니다.

연구진은 또한 이 이점이 얼마나 지속되는지 조사했습니다. 그들은 과거의 스트레스를 기억하는 이점이 위기의 바로 초기에 집중되어 있다는 것을 발견했습니다. 고변동성 기간이 시작되었을 때, 구조화된 기억을 가진 시스템은 이전에 이 패턴을 본 적이 있기 때문에 즉각적으로 안전망을 넓힐 방법을 알았습니다. 그러나 표준 시스템은 자신의 단기 버퍼에 충분한 새로운 데이터가 쌓일 때까지 기다려야 했습니다. 표준 시스템이 따라잡았을 때는 이미 가장 위험한 초기 단계가 지나간 후인 경우가 많았습니다. 이러한 타이밍의 차이는 최근의 역사에만 의존하는 것에 대한 결정적인 결함을 강조합니다. 가장 위험한 순간은 가장 즉각적이고 정확한 대응이 필요한 순간이지만, 동시에 오직 몇 달 전의 과거만을 바라보는 시스템에 의해 가장 잊히기 쉬운 순간이기도 합니다.

이 연구의 함의는 이 연구의 구체적인 수치를 넘어 확장됩니다. 이는 시스템이 평균적으로 잘 작동한다고 해서 신뢰할 수 있다는 가설에 도전합니다. 희귀하지만 파괴적인 사건이 반복되는 분야에서, 평균적인 성과는 오해의 소지가 있는 지표가 될 수 있습니다. 어떤 시스템은 시장이 평온하고 안정적인 90퍼센트의 시간 동안은 완벽하게 교정되어 있을 수 있지만, 가장 중요한 10퍼센트의 시간 동안은 처참하게 실패할 수 있습니다. 연구진은 시스템이 역사를 저장하는 방식이 예측을 하기 위해 사용하는 알고리즘만큼이나 중요하다는 것을 보여주었습니다. 만약 시스템이 과거를 잊어야만 하는 상황에 놓인다면, 무엇을 기억할 것인지 설계되어야 합니다.

이 연구는 엄격한 통제 하에 수행되었으며, 모든 테스트에 동일한 예측 모델과 동일한 시장 데이터를 사용했습니다. 결과는 두 가지 서로 다른 자산 패널에 걸쳐 일관되게 나타났으며, 이는 이 발견이 특정 유형의 주식이나 펀드에 국한되지 않는 견고한 것임을 시사합니다. 연구진은 스트레스의 정의를 바꾸거나 메모리 버퍼의 크기를 변경했을 때도 결과가 유지되는지 테스트했으며, 핵심 패턴은 그대로였습니다. 즉, 과거의 위기 특성을 잊어버리는 시스템은 위기가 돌아왔을 때 신뢰도가 떨어진다는 것입니다. 이것은 이론적인 가능성이 아니라 데이터에서 관찰된 현실입니다.

궁극적으로, 이 논문은 예측 시스템의 설계에 반드시 '기억 전략'이 포함되어야 한다고 주장합니다. 단순히 가장 최근의 데이터 포인트들을 저장하는 것만으로는 부족합니다. 조건이 변했다가 다시 돌아오는 환경에서 작동하는 시스템의 경우, 관련 있는 역사적 증거를 검색할 수 있는 능력은 예측 과정의 근본적인 부분입니다. 연구진은 과거의 스트레스를 보존하도록 기억을 구조화함으로써, 평균적으로 정확할 뿐만 아니라 가장 필요할 때 신뢰할 수 있는 시스템을 구축할 수 있음을 보여주었습니다. 금융 스트레스가 에피소드적이고 반복되는 세상에서, 가장 중요한 데이터는 우리가 그것을 다시 찾아낼 방법이 있다면, 가장 오래된 데이터일 수 있습니다.