Evaluating Machine Learning and Econometric Models for Inflation Forecasting: Evidence from a Sub-Saharan African Panel

偉大なる予測レース：なぜ最も単純な推測が勝つのか

来週の火曜日の天気を予想しようとしている自分を想像してみてください。スーパーコンピューターを取り出し、衛星画像を分析し、風速を測定し、複雑な気候モデルを実行することもできるでしょう。あるいは、ただ窓の外を眺めて、「今日は今日と同じくらいだろう」と言うこともできます。経済学の世界において、これはハイテクな複雑さと、単純な常識との究極の対決です。経済学者は、パンや燃料、家賃などの価格が上昇する割合である「インフレ（物価上昇率）」を予測するために、数十年にわたり巨大で複雑なモデルを構築してきました。彼らは、政府が金利を設定し、家族が貯蓄を失うのを防ぐためのヒントとなる隠れたパターンを見つけ出そうと、高度な数学や機械学習を用いています。しかし、このレースには、根強く残る旧式のライバルが存在します。それが「ランダムウォーク」です。これは、「明日の価格に対する最良の推測は、単に今日の価格である」という考え方です。コイン投げを予想するような馬鹿げた話に聞こえるかもしれませんが、歴史は、特に経済が激しく予測不能な場所において、この単純な手法が驚くほど打ち負かしにくいものであることを示しています。

本論文はそのまさにその戦いに深く切り込みますが、少しひねりを加えています。それは、インフレが振り子のように激しく変動する可能性があるサブサハラ・アフリカ地域において、これらのアイデアをテストすることです。研究者たちは、8つの異なる国のデータを50年以上にわたって収集し、現代的な「スマート」なコンピュータ（機械学習およびディープラーニング）が、単純な「昨日を見る」手法をようやく出し抜くことができるのかを検証するための、巨大なデジタル・プレイグラウンド（遊び場）を作り上げました。彼らは単に誰が最も低いエラー数を出したかを見たのではなく、派手なモデルが本当に優れているのか、それとも単に運が良かっただけなのかを確認するために、厳格な統計テストを用いました。

レース：ハイテク vs 「昨日」戦略

著者たちは、ガーナ、ナイジェリア、ケニア、コートジボワール、南アフリカ、セネガル、タンザニア、ウガンダという8つのサブサハラ・アフリカ経済を対象とした壮大な実験を設定しました。彼らは、1972年から2024年までの経済生活のスナップショット424個からなるデータセットを構築しました。これは、8人の異なる「コーチ」にインフレを予測する方法を教えるための、巨大なトレーニングキャンプのようなものです。

コーチ陣は、旧式と新式の混合でした：

1. ナイーブ・コーチ（ランダムウォーク）： このコーチには脳がありません。ただ、「来年のインフレ率は、今年のインフレ率と全く同じになる」と言うだけです。
2. 計量経済学コーチ： これらは伝統的な専門家であり、経済理論に基づいた線形方程式と固定されたルールを使用します。
3. 機械学習コーチ： これらはハイテクな魔術師です。ランダムフォレスト（決定木のチーム）、XGBoost（超最適化された決定木ブースター）、そしてエラスティックネット（最適な手がかりを選択するスマートなフィルター）が含まれます。
4. ディープラーニング・コーチ（LSTM）： これは最も複雑なもので、人間の物語の記憶のように、一連のイベントの長いシーケンスを記憶するように設計された人工知能の一種です。

研究者たちは、データを3つの部分に分割しました：学習セット（コーチを教えるため）、検証セット（チューニングするため）、そしてテストセット（2018年から2024年までの最終試験）です。彼らは、派手なAIが単純な「昨日を見る」コーチを打ち負かすことができるのかを知りたかったのです。

衝撃的な結果：単純なコーチが防衛に成功

最終試験の結果が出たとき、その結末は「大きくてスマートなものほど常に優れている」という考えに対する大きな衝撃となりました。

ナイーブ・コーチ（ランダムウォーク）は、統計的に無敗でした。 彼は、テストRMSE（推測がどれほど離れていたかを示す指標）4.435という、どのモデルよりも低いエラー率を達成しました。より重要なことに、研究者が、他のモデルが本当に優れているかどうかを確認するために厳格な統計テスト（ダイボルド・マリアノ・テストと呼ばれるもの）を実行したところ、答えは明白な**「ノー」**でした。どの複雑なモデルも、単純な「昨日を見る」という推測に対して、統計的に優れていることを証明できませんでした。

他のコーチの成績は以下の通りです：

• 機械学習の魔術師たち（ランダムフォレストとXGBoost）： 彼らは複雑なグループの中で最も優れた成績を収めました。ランダムフォレストはテストRMSE 4.849、XGBoostは5.825という結果でした。彼らは僅差ではありましたが、統計テストの結果、ナイーブ・コーチと実質的に引き分けであったことが示されました。彼らは負けてはいませんでしたが、勝ち越したわけでもありません。つまり、**統計的パリティ（同等性）**を達成したのです。ランダムフォレストは、単純なベースラインと統計的な引き分けを主張できる唯一のモデルでしたが、それを上回ることはできませんでした。
• 伝統的な専門家（プールされたOLSおよびパネル固定効果）： これらの旧式の線形モデルは振る舞いが良くありませんでした。彼らはナイーブ・コーチに大きく敗北し、それぞれ6.781と6.612というエラーを記録しました。本論文は、変動が激しく混沌とした経済に対して、無理やり直線的な関係を当てはめようとすることはうまくいかないのではないかと示唆しています。
• ディープラーニングのスター（LSTM）： これは最も劇的なストーリーでした。AIが安全装置なしで（350エポック）長く学習しすぎると、「過学習（オーバーフィッティング）」に陥りました。訓練データを完璧に覚えすぎてしまったためにテストに失敗し、7.741というひどいスコアを叩き出しました。しかし、研究者が「早期停止（学習が進みすぎて混乱する前に学習を止めるテクニック）」を追加したところ、スコアは6.162に改善されました。これは大幅な改善でしたが、それでもナイーブ・コーチには勝てませんでした。単に「統計的に区別がつかない」状態になっただけです。つまり、引き分けにはできるほど優秀でしたが、勝てるほどではありませんでした。

なぜスマートなモデルは失敗したのか？

著者たちは、この特定の地域においてハイテクモデルがコードを解読できなかった理由をいくつか挙げています。

第一に、データが小さすぎ、かつノイズが多すぎる。 訓練セットにはわずか304の観測値しかありませんでした。LSTMのような超複雑なAIにとって、それは辞書の数ページだけを読んで言語を学ぼうとするようなものです。モデルは混乱し、ルールを学ぶのではなく、ノイズを暗記し始めてしまいます。

第二に、経済がルールを書き換え続けている。 テスト期間（2018年〜2024年）には、COVID-19パンデミックや世界的な商品価格の急騰といった大規模なショックが含まれていました。「単純な」モデルは直近の数値を見るため、これらのショックに即座に適応します。しかし、複雑なモデルは過去（2009年以前のデータ）に基づいたパターンを見つけようとします。世界が突然変化すると、そのパターンはもはや適用できなくなります。それは、晴れた日の地図を使って嵐の中を航行しようとするようなものです。地図は非常に詳細ですが、間違った地図なのです。

第三に、「手がかり」があまり役に立っていない可能性がある。 モデルには金利、政府支出、原油価格などのデータが投入されました。しかし、これらの経済圏では、インフレは主にそれ自体の勢い（モメンタム）と為替レートによって駆動されているようで、他の手がかりはあまり有用ではありません。単純なモデルはそれらの追加の手がかりを無視し、単に勢いに乗りますが、それが結果として勝利の戦略となったのです。

これが将来に意味すること

本論文は、サブサハラ・アフリカの政策立案者に対し、次のような明確なメッセージを伝えて締めくくっています。**「新しい派手なツールがあるからといって、単純なツールを捨ててはいけない」**ということです。

複雑なモデル（ランダムフォレストや修正されたLSTMなど）は印象的であり、単純なモデルのパフォーマンスに匹察することもできますが、それを打ち負かせるとは証明されていません。実際、単純な「持続性（パーシスタンス）」モデルは非常に堅牢であり、新しいモデルが信頼される前に打ち負かすべき「ゴールドスタンダード（黄金標準）」または「ベースライン」であり続けるべきです。

著者たちは、もし中央銀行がこれらの派手なAIツールを使用したいのであれば、慎重に行うべきだと提言しています。単純なモデルをバックグラウンドで走らせ続け、現実的なチェック機能として機能させることを推奨しています。もし複雑なモデルが、「明日は今日と同じである」と推測するだけで得られる結果よりも統計的に優れていることを証明できないのであれば、それは追加のコストと複雑さをかける価値はないのかもしれません。

結局のところ、この研究は経済学における長年の謎に新たな一章を加えています。混沌と突然の変化に満ちた世界では、最も賢明なことは、単に昨日何が起きたかを見て、それが再び起こると想定することなのです。「単純」なものが常にベストとは限りませんが、サブサハラ・アフリカの変動の激しい市場においては、現在、それがチャンピオンなのです。