Horizon-dependent forecast ranking under structural change: a rolling-origin benchmark for global COVID-19 incidence

本論文は、構造的変化や非定常性を伴う新型コロナウイルスの世界的な発生データを用いたローリングオリジン基準による評価を通じて、予測の精度が予測_horizon_に強く依存し、単純な基準モデル（ドリフトや季節性ナイーブ）が複雑な統計モデルを上回る場合が多いことを示しています。

要約

この論文は、**「新型コロナウイルスの感染者数を予測する際、どの計算方法が最も上手いのか？」**という問いに、ある重要な発見をもたらした研究です。

一言で言うと、**「未来を予測する『距離』によって、一番勝つ方法は全く変わる」**という驚くべき結論が導き出されました。

まるで**「天気予報」**を想像してみてください。

• 1 時間後の天気を当てるなら、今降っている雨を見れば大体わかります（単純な方法が最強）。
• 1 週間後の天気を当てるなら、季節の傾向や過去のデータから「だんだん寒くなるだろう」と推測する必要があります（少し複雑な方法が勝つ）。
• 1 ヶ月後の天気を当てるなら、また別の考え方が必要になるかもしれません。

この論文は、感染症の予測でも**「予測する期間（ハオリゾン）」**によって、一番上手い「予測の道具」が入れ替わることを証明しました。

---

🌍 物語の舞台：世界の感染者数という「暴れん坊」

研究対象は、2020 年初頭の世界的な感染者数のデータです。このデータは、まるで**「暴れん坊の川」**のようでした。

• 水量（感染者数）が急激に増えたり減ったりする。
• 川の流れ（報告システム）自体が、国によって変わったり、報告する国が増えたりして、川幅が広くなったり狭くなったりする。

このような「落ち着きのない川」の水位を予測するのは、非常に難しいことです。

🛠️ 登場する「予測の道具」たち

研究者たちは、いくつかの異なる「道具」を使って、この川の流れを予測しようとして競争させました。

1. 「ナイン（Naive）」：
   • イメージ：「昨日と同じだろう」という**「昨日の天気予報」**。
   • 特徴：最もシンプル。昨日の感染者数が今日も続くと思い込むだけ。
2. 「ドリフト（Drift）」：
   • イメージ：「昨日の傾向をそのまま引き継ぐ」「坂道を転がり続けるボール」。
   • 特徴：昨日と一昨日の差を見て、「このまま増え続ける（または減り続ける）」と予測する、少し賢いシンプル方法。
3. 「季節ナイン（Seasonal Naive）」：
   • イメージ：「1 週間前の同じ曜日と同じだろう」**「毎週火曜日に雨が降る」**という法則。
   • 特徴：週 7 日周期の報告の癖（例：週末は報告が遅れるなど）を利用する。
4. 「ARIMA」「ETS」「Prophet」：
   • イメージ：これらは**「高度な AI 」や「複雑な計算機」**。
   • 特徴：過去の膨大なデータや数学的なパターンを学習して、複雑な未来を予測しようとする道具。

🏆 競争の結果：距離によって勝者が変わる！

研究者たちは、**「1 日後」「3 日後」「7 日後」「14 日後」**の 4 つの距離で競争させました。すると、面白い結果が出ました。

• 🏁 1 日後（超短期）の王者：
  • **「ドリフト」**が優勝しました。
  • 理由：川の流れが急変する直前でも、「今、この勢いで進んでいる」という単純な推測が一番当たります。複雑な計算をするより、直感を信じた方が速くて正確なのです。
• 🏁 3 日後の王者：
  • **「季節ナイン」**が優勝しました。
  • 理由：3 日後というと、週 7 日周期の「報告の癖（週末は少ない、月曜は多いなど）」が効いてきます。この「リズム」を踏むのが一番上手でした。
• 🏁 7 日後・14 日後（中長期）の王者：
  • **「ドリフト」**が再び優勝しました。
  • 理由：時間が経つと、複雑な計算機（ARIMA や ETS）は「過去の複雑なパターン」に引きずられて迷走しますが、「今、この勢いで進んでいる」という単純なドリフトの方が、大きな流れを捉え続けることができました。
• 🤖 複雑な道具（Prophet）の失敗：
  • Prophet という道具は、**「当たり外れが激しい」**ことがわかりました。
  • 「100% 当たるはず！」と自信満々に広い範囲（予測区間）を提示していましたが、実際の数値から大きく外れることが多く、**「広すぎる傘」**を差しているような状態でした。

💡 この研究から学べる 3 つの教訓

1. 「万能の道具」は存在しない

「この予測ソフトが最高！」と一概に言えません。**「どれくらい先の未来を知りたいか」**によって、使う道具を変える必要があります。

• 明日の準備なら「シンプル」な方法。
• 1 週間先の計画なら「リズム」を重視する方法。
• 2 週間先の計画なら「勢い」を重視する方法。
  これが一番大事です。

2. シンプルな方法は侮れない

「もっと高度な AI や複雑な計算が必要だ」と思いがちですが、**「昨日の勢いをそのまま使う」**という単純な方法（ドリフト）が、パンデミックのような激変する状況では、実は最強の武器になることがありました。
**「シンプルこそが、最強の強さ」**を持つことがあります。

3. 「予測の精度」は「距離」で測るべき

「このモデルは全体的に 90% 正確だ」という平均的な評価は危険です。
**「1 日後は 95% 正確だが、14 日後は 50% しか当たらない」というように、「どの距離で、どれくらい正確か」**を細かく見る必要があります。

🎯 まとめ：私たちに何ができるか？

この研究は、感染症の予測に限らず、**「未来を予測するすべての仕事」**に当てはまる重要なメッセージです。

• 状況に合わせて道具を変える：遠くを見るなら、近くを見るなら、使い分けよう。
• シンプルさを忘れない：複雑なシステムがいつも正しいとは限らない。
• 評価の基準を細かくする：「全体平均」ではなく、「目的に応じた精度」で判断しよう。

パンデミックのような不確実な時代において、**「どの距離で、誰が勝つか」**を知っておくことは、私たちが明日の準備をする上で、非常に役立つ知恵なのです。

技術概要

論文技術要約

1. 研究の背景と課題

感染症の発生数（インシデンス）の短期予測は、監視データが高度に非定常であり、構造的変化（構造変化）や報告条件の変動の影響を受ける場合、極めて困難です。COVID-19 パンデミック中、公衆衛生機関は多くの予測モデルを使用しましたが、単一のモデルがすべての期間や予測_horizon_（予測期間）で優位であるとは限りません。
従来の評価手法（単一の訓練・テスト分割）は、データ生成プロセスが変化する構造的変化に対して脆弱であり、特定の期間に偏った結論を導く可能性があります。また、予測の精度が「予測_horizon_（1 日先、3 日先、7 日先、14 日先など）」によってどのように変化するか、およびその評価が設計選択（区切り方、訓練ウィンドウ、ターゲット定義など）にどの程度敏感であるかについての体系的な検討が不足していました。

2. 目的と貢献

本研究は、パンデミック初期（2020 年 1 月 22 日〜7 月 27 日）のグローバルな COVID-19 日次発生数データを用いて、統計モデルのベンチマークを透明性高く実施することを目的としています。主な貢献点は以下の通りです。

• Horizon 依存性の明確化: 単一の「最良モデル」を特定するのではなく、予測_horizon_（1, 3, 7, 14 日）ごとのモデルランキングがどのように変化するかを解明しました。
• ローリングオリジン・ベンチマークの適用: 実時間予測に近い「ウォークフォワード（rolling-origin）」バックテスト手法を採用し、非定常条件下でのモデル性能を評価しました。
• レジーム（構造）を考慮した評価: 分散安定化された系列に対する事後的な構造変化点検出を行い、異なる構造的フェーズ（レジーム）における誤差を層別化して分析しました。
• 堅牢性分析: 区切り設定、訓練ウィンドウの方針（拡張 vs スライド）、カバレッジ（報告国数）の安定化、およびターゲット定義（報告値 vs 累積値の差分）の変更に対する結果の安定性を検証しました。

3. 手法とデータ

• データ: ジョンズ・ホプキンス大学（JHU）CSSE のグローバル日次発生数データ（2020/1/22〜2020/7/27、188 日）。
  • 目標変数：$y_t$（日次新規症例数）。分散安定化のため、一部のモデルでは $z_t = \log(1 + y_t)$ を使用。
  • 特徴：報告国数が 6 から 187 へと単調増加し、データの非定常性と異分散性が顕著。
• 評価プロトコル:
  • ローリングオリジン: 最小訓練期間 $W_{min}=56$ 日とし、時間 $t$ までのデータでモデルを再推定し、$h \in \{1, 3, 7, 14\}$ 日先の $y_{t+h}$ を予測。
  • 指標: MAE, RMSE, sMAPE, MASE（すべて元の発生数スケールで計算）。
  • 統計的検定: Diebold-Mariano (DM) 検定を用いて、モデル間の誤差差の統計的有意性を評価。
• 比較対象モデル:
  • ベースライン: Naive（単純持続）、Seasonal Naive（週 7 日周期）、Drift（傾向直線外挿）。
  • 変換統計モデル: ARIMA(log1p), ETS(log1p)（指数平滑化状態空間モデル）。
  • 確率モデル: Prophet(log1p)。
• レジーム検出: 分散安定化系列 $z_t$ に対して、最小セグメント長 21 日、分割数 $K=2$ で事後的に構造変化点を検出（2020/3/13, 2020/5/28 の 2 点）。

4. 主要な結果

A. ホライズン依存性の強いモデルランキング

• Drift モデル: 1 日、7 日、14 日先の予測において、最も低い MAE を記録し、全体的に最も競争力がありました。単純な傾向外挿がパンデミック初期のグローバル集計データにおいて有効であることを示唆。
• Seasonal Naive: 3 日先の予測で最良の性能を示しました。非定常なトレンドの中でも週次報告の周期性が有効であることを示しています。
• ARIMA vs ETS:
  • 短期（1, 3 日）: ARIMA(log1p) が ETS(log1p) よりわずかに優位、または同等。
  • 中期〜長期（7, 14 日）: ETS(log1p) が ARIMA(log1p) より有意に優位となりました。
• Prophet: 点予測（Point forecast）としては全ホライズンで他モデルより大幅に劣りました。80% 予測区間の被覆率（Coverage）は短期で高いものの、これは予測区間が極端に広いためであり、実用的な鋭さ（Sharpness）を欠いていました。

B. 統計的有意性（Diebold-Mariano 検定）

• Drift は、1 日、7 日、14 日先の ARIMA および ETS に対して統計的に有意に優位でした。
• ETS(log1p) は、7 日および 14 日先の ARIMA(log1p) に対して有意に優位でした。
• 短いホライズン（1, 3 日）ではモデル間の差が小さく不安定ですが、長いホライズンでは明確な優劣が生じました。

C. 堅牢性分析の結果

• 構造変化点: 分割設定を変えても、3 月中旬の主要な転換点は安定して検出されました。
• 訓練ウィンドウ: 拡張ウィンドウに対し、スライドウィンドウ（特に 84 日、112 日）は ETS(log1p) の性能を中〜長期で改善しました。これは「適応性」と「推定安定性」のトレードオフを示しています。
• カバレッジ安定化: 報告国数が 180 以上になった後のデータのみで評価すると、3 日先の最良モデルが Seasonal Naive から ETS(log1p) に変化しましたが、「ホライズン依存性が強く、単純なベースライン（特に Drift）が依然として強力である」という主要な結論は維持されました。
• ターゲット定義: 報告値と累積値の差分から再構築した系列でも、モデルのランキング順序は変わりませんでした。

5. 結論と意義

• 単純なベースラインの重要性: 構造的変化下であっても、Naive や Drift といった単純なモデルは、複雑な変換統計モデルや機械学習モデルに匹敵、あるいは凌駕する性能を示すことが確認されました。これらは単なる基準点ではなく、実用的な予測モデルとして真剣に考慮すべきです。
• Horizon 固有の評価の必要性: 「どのモデルが最良か」という単一の結論は存在せず、予測_horizon_ごとに最適なモデルが異なります。パンデミック監視では、1 日先の状況把握と 2 週間先の病床計画など、目的に応じたホライズン固有のモデル選択が不可欠です。
• 評価フレームワークの改善: 報告条件の変化やデータ集約の影響を考慮した評価（ローリングオリジン、レジーム層別化、堅牢性チェック）が、信頼性の高いベンチマークには必須です。
• 確率予測の注意点: 予測区間の被覆率が高いことだけが「良い予測」ではなく、区間の幅（鋭さ）も同時に評価する必要があることを Prophet の結果が示唆しています。

本研究は、感染症予測において、単一の「正解」モデルを探すのではなく、予測_horizon_とデータ特性（構造的変化）を考慮した多角的な評価アプローチの重要性を強調するものです。