Evaluating Machine Learning and Econometric Models for Inflation Forecasting: Evidence from a Sub-Saharan African Panel

위대한 예측 경주: 왜 가장 단순한 추측이 종종 승리하는가

다음 주 화요일의 날씨를 맞히려고 한다고 상상해 보십시오. 당신은 슈퍼컴퓨터를 꺼내 위성 이미지를 분석하고, 풍속을 측정하며, 복잡한 기후 모델을 돌릴 수도 있습니다. 아니면, 그저 창밖을 내다보고 "오늘이랑 비슷할 거야"라고 말할 수도 있습니다. 경제학의 세계에서 이것은 첨단 기술의 복잡성과 단순한 상식 사이의 궁극적인 대결입니다. 경제학자들은 인플레이션(빵, 연료, 월세 같은 물가가 상승하는 속도)을 예측하기 위해 수십 년 동안 거대하고 정교한 모델을 구축해 왔습니다. 그들은 정부가 금리를 설정하고 가계가 저축을 잃지 않도록 돕는 데 도움이 될 숨겨진 패턴을 찾고자 화려한 수학과 머신러닝을 사용합니다. 하지만 이 경주에는 고집스럽고 전통적인 라이벌이 있습니다. 바로 "랜덤 워크(random walk)"입니다. 이는 내일의 가격에 대한 최선의 추측은 단순히 오늘의 가격이라는 생각입니다. 동전 던지기를 맞히는 것처럼 바보같이 들리지만, 역사는 이 단순한 기술이 특히 경제가 거칠고 예측 불가능한 곳에서 극복하기가 믿기 힘들 정도로 어렵다는 것을 보여줍니다.

이 논문은 바로 그 전투를 다루지만, 약간의 반전이 있습니다. 연구진은 인플레이션이 진자처럼 격렬하게 요동칠 수 있는 지역인 사하라 이남 아프리카에서 이 아이디어들을 테스트합니다. 연구진은 8개국의 데이터를 50년 이상 수집하여, 현대적인 "스마트" 컴퓨터(머신러닝 및 딥러닝)가 마침내 단순한 "어제의 것을 보는" 방법을 앞지를 수 있는지 확인하기 위한 거대한 디지털 놀이터를 만들었습니다. 그들은 단순히 누가 더 낮은 오차 수치를 기록했는지만 본 것이 아니라, 엄격한 통계적 테스트를 사용하여 화려한 모델이 실제로 더 나은 것인지, 아니면 그저 운이 좋았던 것인지를 확인했습니다.

경주: 하이테크 vs. "어제" 전략

저자들은 가나, 나이지리아, 케냐, 코트디부아르, 남아프리카 공화국, 세네갈, 탄자니아, 우간다 등 8개 사하라 이남 아프리카 경제를 포함한 대규모 실험을 설계했습니다. 그들은 1972년부터 2024년까지 이어지는 424개의 경제적 삶의 스냅샷으로 구성된 데이터셋을 구축했습니다. 이것은 8명의 서로 다른 "코치"에게 인플레이션을 예측하는 법을 가르치는 거대한 훈련 캠프와 같습니다.

코치들은 구식과 신식을 혼합한 형태였습니다:

1. 순진한 코치 (랜덤 워크): 이 코치는 뇌가 없습니다. 그저 "내년의 인플레이션은 올해와 정확히 같을 것이다"라고 말할 뿐입니다.
2. 계량경제학 코치: 이들은 경제 이론에 기반한 선형 방정식과 고정된 규칙을 사용하는 전통적인 전문가들입니다.
3. 머신러닝 코치: 이들은 하이테크 마법사들입니다. 여기에는 랜덤 포레스트(의사 결정 나무의 팀), XGBoost(초최적화된 트리 부스터), 그리고 엘라스틱 넷(최적의 단서를 골라내는 스마트 필터)이 포함됩니다.
4. 딥러닝 코치 (LSTM): 이것은 가장 복잡한 것으로, 인간이 이야기를 기억하듯 긴 사건의 시퀀스를 기억하도록 설계된 일종의 인공지능입니다.

연구진은 데이터를 세 부분으로 나누었습니다: 학습 세트(코치를 가르치기 위한 것), 검증 세트(모델을 조정하기 위한 것), 그리고 테스트 세트(2018년부터 2024년까지의 최종 시험)입니다. 그들은 화려한 AI가 단순한 "어제를 보는" 코치를 이길 수 있는지 보고 싶었습니다.

충격적인 결과: 단순한 코치가 자리를 지키다

최종 시험 결과가 나왔을 때, 그 결과는 "더 크고 똑똑할수록 항상 더 좋다"라는 생각에 큰 충격을 주었습니다.

순진한 코치 (랜덤 워크)는 통계적으로 무패였습니다. 이 모델은 어떤 모델보다도 낮은 오차율을 기록했으며, 테스트 RMSE(추측이 얼마나 벗어났는지를 측정하는 척도)는 4.435였습니다. 더 중요한 것은, 연구진이 다른 모델이 진정으로 더 나은지를 확인하기 위해 엄격한 통계적 테스트(Diebold-Mariano 테스트)를 실시했을 때, 그 답은 단호하게 **"아니오"**였다는 점입니다. 어떤 복잡한 모델도 단순한 "어제를 보는" 추측보다 통계적으로 우월하다는 것을 증명하지 못했습니다.

다른 코치들의 성적은 다음과 같았습니다:

• 머신러닝 마법사들 (랜덤 포레스트 및 XGBoost): 이들은 복잡한 그룹 중 가장 성적이 좋았습니다. 랜덤 포레스트는 4.849의 테스트 RMSE를 기록했고, XGBoost는 5.825를 기록했습니다. 이들은 근접했지만, 통계적 테스트 결과 이들은 순진한 코치와 사실상 동등한 것으로 나타났습니다. 그들은 패배하지는 않았지만 승리하지도 못했습니다. 즉, **통계적 패리티(statistical parity)**를 달성했습니다. 랜덤 포레스트는 단순한 기준 모델과 통계적 무승부를 주장할 수 있는 유일한 모델이었지만, 이를 능가하지는 못했습니다.
• 전통적 전문가들 (Pooled OLS 및 Panel Fixed Effects): 이 오래된 선형 모델들은 부진했습니다. 이들은 순진한 코치에 의해 크게 뒤처졌으며, 각각 6.781과 6.612의 오차를 기록했습니다. 논문은 변동성이 크고 혼란스러운 경제에 강제로 직선 관계를 적용하려는 시도가 효과가 없음을 시사합니다.
• 딥러닝 스타 (LSTM): 이것은 가장 극적인 이야기였습니다. AI가 안전 장치 없이 너무 오래 학습(350 에포크)되었을 때, 이 모델은 "과적합(overfitting)"을 겪었습니다. 모델이 훈련 데이터를 너무 완벽하게 암기한 나머지 테스트에서 실패했고, 7.741이라는 끔찍한 점수를 받았습니다. 그러나 연구진이 "조기 종료(early stopping)"(AI가 혼란에 빠지기 전에 학습을 멈추는 기술)를 추가하자 점수는 6.162로 개선되었습니다. 이는 큰 발전이었지만, 여전히 단순한 순진한 코치를 이기지는 못했습니다. 그저 "통계적으로 구별 불가능한" 수준이 되었을 뿐입니다. 즉, 비등하게 따라갈 수는 있었지만 이기기에는 부족했습니다.

왜 스마트한 모델들이 실패했는가?

저자들은 하이테크 모델들이 이 특정 지역에서 코드를 풀지 못한 몇 가지 이유를 제시합니다.

첫째, 데이터가 너무 작고 노이즈가 많습니다. 훈련 세트에는 관측치가 304개뿐이었습니다. LSTM과 같은 초복잡 AI에게 이것은 단 몇 페이지의 사전만 읽고 언어를 배우려는 것과 같습니다. 모델은 혼란에 빠져 규칙을 배우는 대신 노이즈를 암기하기 시작합니다.

둘째, 경제가 계속 규칙을 바꿉니다. 테스트 기간(2018~2024)에는 코로나19 팬데믹과 글로벌 원자재 가격 급등과 같은 거대한 충격이 포함되었습니다. "단순한" 모델은 가장 최근의 수치만을 보기 때문에 이러한 충격에 즉각적으로 적응합니다. 반면 복잡한 모델들은 과거(2009년 이전 데이터)를 바탕으로 패턴을 찾으려 노력하는데, 세상이 갑자기 변할 때는 그 패턴이 더 이상 적용되지 않습니다. 이는 마치 맑은 날의 지도를 사용하여 폭풍우 속을 항해하려는 것과 같습니다. 지도는 매우 상세하지만, 잘못된 지도인 것입니다.

셋째, "단서"들이 그리 도움이 되지 않을 수 있습니다. 모델에는 금리, 정부 지출, 유가와 같은 데이터가 입력되었습니다. 하지만 이러한 경제 체제에서 인플레이션은 주로 그 자체의 모멘텀과 환율에 의해 주도되는 것으로 보이며, 이로 인해 다른 단서들은 덜 유용해집니다. 단순한 모델은 이 모든 추가적인 단서들을 무시하고 그저 모멘텀을 타는데, 이것이 승리하는 전략이 되었습니다.

이것이 미래에 의미하는 바

논문은 사하라 이남 아프리카의 정책 입안자들에게 다음과 같은 메시지를 전달하며 결론을 맺습니다. 단순히 새로운 멋진 도구들이 있다고 해서 기존의 단순한 도구들을 버리지 마십시오.

복잡한 모델(랜덤 포레스트나 교정된 LSTM 같은)은 인상적이며 단순한 모델의 성능과 맞먹을 수 있지만, 그것이 단순한 모델을 능가한다는 것을 증명하지는 못했습니다. 실제로 "지속성(persistence)" 모델은 매우 견고하기 때문에, 새로운 모델이 신뢰를 얻기 위해 반드시 넘어야 할 "골드 스탠다드" 또는 "기준점"으로 남아야 합니다.

저자들은 만약 중앙은행이 이러한 화려한 AI 도구들을 사용하고자 한다면, 매우 신중해야 한다고 제안합니다. 그들은 단순한 모델을 현실 점검용으로 백그라운드에서 계속 실행할 것을 권장합니다. 만약 복잡한 모델이 단순히 "내일은 오늘과 같을 것"이라고 추측하는 것보다 통계적으로 더 낫다는 것을 증명하지 못한다면, 그 모델은 추가적인 비용과 복잡성을 들일 가치가 없는 것입니다.

결국, 이 연구는 경제학의 오랜 미스터리에 한 장의 챕터를 추가합니다. 혼돈과 갑작스러운 변화가 가득한 세상에서, 때로는 그저 어제 일어난 일을 보고 그것이 다시 일어날 것이라고 가정하는 것이 가장 똑똑한 방법일 수 있습니다. "단순함"이 항상 최선은 아니지만, 변동성이 큰 사하라 이남 아프리카 시장에서는 현재 그 단순함이 챔피언입니다.