テクニカル・サマリー：流行予測における時系列基盤モデルの主要機能の理解

問題提起

季節性インフルエンザの正確な短期予測は、ワクチンの接種時期、病院のスタッフ配置、およびリソース配分を判断する上で、米国における極めて重要な公衆衛生上のニーズである。CDCのFluSightやCOVID-19 Forecast Hubといったイニシアチブが、流行予測に関する具体的なベンチマークを確立している一方で、現代の時系列基盤モデル（FM）や大規模言語モデル（LLM）ベースのアプローチが、実際の感染症データに対してどのような性能を示すかについては、十分に解明されていない。

疫学における時系列FMの既存の評価には、主に4つの限界がある：

1. データの範囲： 単一の国レベルの時系列データに依存しており、履歴が限られていることが多く、現実世界の計画策定に不可欠なマルチシーズン（複数シーズン）の地域的パターンを捉えきれていない。
2. 汎化性能： 地域間の転移（異なる人口統計や報告慣行を持つ地域間での転移）に関するテストがほとんど行われていない。
3. 実験設計： 多くの研究が、CDCの運用目標である1〜4週間のターゲットとは乖離した、アドホックな長期ホライゾン（例：24〜60週間）を使用しており、データの修正（バックフィル）も無視している。
4. 不整合性： データパイプラインやベースラインが不均一であるため、純粋なモデリングの進歩と前処理によるアーティファクトを区別することが困難である。

本論文は、現実的な公衆衛生上の制約の下で、古典的なニューラルネットワーク、数値的なトランスフォーマーベースのモデル、学習済み時系列FM、およびLLMベースのアプローチを比較検討することにより、これらのギャップに対処する。

メソドロジー

データと汎化レジーム

本研究では、インフルエンザ様疾患（ILI）について約20年間の、およびインフルエンザ関連入院患者数について3シーズン分の、米国保健福祉省（HHS）リージョンレベル（10リージョン）の週次時系列データを使用する。

• 時間的汎化（Temporal Generalization）： 特定のリージョンの初期セグメントでモデルを学習させ、同一リージョン内の、それより後の離れた時間範囲で評価を行う。
• 空間的汎化（Spatial Generalization）： 一部のリージョンで学習を行い、全く未知のリージョンで評価を行うことで、地理的な転移をテストする。
• 事前学習ソース： クロスドメインの転移を評価するため、以下の多様なコーパスを用いてモデルを事前学習させる：
  • 流行の週次データ： COVID-19の死亡者数。
  • TrafficL： 高頻度の交通車線占有率。
  • M4： 約10万個の単変量時系列からなる大規模で不均一なベンチマーク。
  • 入院データ： メカニズム的に関連する信号として使用。

実験設定

• ホライゾン： CDCの運用目標に合わせ、1〜4週間先。
• 指標： 平均二乗誤差（MSE）および正規化ナッシュ・サトクリフ効率（NNSE）。
• 評価対象モデル： 以下の17種類のディープ予測モデル：
  • パターンモデル： PatchTST, iTransformer, TFT, TiDE, TCN, LSTM（反復型および直接型）。
  • 基盤モデル（Foundation Models）： Chronosの各バリアント, TimesNet, TimeLLM。
  • 提案アーキテクチャ： MultiFoundationCore (MFC)。これは複数の学習済み予測器を融合させた混合エキスパート（MoE）モデルである。
• アブレーション解析： 事前学習ソースの影響、補助信号（入院データの入力としての使用 vs 事前学習としての使用）、再学習の頻度、および履歴データの長さに関する調査を行う。

主要な貢献

1. 体系的なベンチマーク： 著者らは、明確な時間的および空間的汎化レジームを用い、1〜4週間のマルチホライゾン・ターゲットの下で、ILIおよび入院患者数の両方に対する時系列基盤モデルの最初の体系的な評価を提供している。
2. アーキテクチャ比較： モデルファミリー間の制御された比較により、**混合エキスパート（MoE）**戦略、具体的には MultiFoundationCore (MFC) モデルが、最も強力な全体的性能を達成することが明らかになった。MFCは複数の学習済み予測器を融合させ、異種的な表現を活用することで、相補的な予測情報を提供する。
3. 事前学習に関する知見： 事前学習は、より長いホライゾン（3〜4週目）において最大の利点をもたらすことを示しており、特に事前学習ドメインがインフルエンザのダイナミクスとメカニズム的に一致している場合（例：入院データ）に顕著である。大規模で一般的なコーパス（M4）も、長期的安定性に大きな利益をもたらす。
4. LLMの限界： LLMベースの時系列手法（TimeLLM, Chronosなど）は、この設定においては数値的予測器に劣ることを発見した。著者らは、言語スタイルのトークン化が、短期的な流行予測に不可欠な連続的な数値構造（振幅、傾き、位相）を保持できないという、アーキテクチャ上の不一致に起因すると考えている。
5. 補助信号の分析： 入院データの有用性を明らかにし、それが事前学習ソースとしても、補助的な共変量としても有用であることを示した。事前学習として用いる方が、ホライゾン全体を通じてより一貫した利点をもたらす。

結果

時間的評価（リージョン内）

• トップパフォーマンス： MultiFoundationCore が最高の全体平均性能（MSE = 0.382, NNSE = 0.864）を達成し、すべての個別ベースラインを上回った。
• 数値モデル vs LLMモデル： 数値的なトランスフォーマーベースのモデル（PatchTST, iTransformer）は、LLMベースのアプローチを大幅に上回った。例えば、最良のChronos構成の平均MSEは0.683であったのに対し、PatchTST（事前学習なし）は0.439を達成した。
• 事前学習の影響： 事前学習は数値モデルを一貫して改善させた。入院データで事前学習されたPatchTSTはMSE 0.412、M4データでは0.415を達成しており、ベースラインの0.439と比較して向上している。事前学習の恩恵は、4週間のホライゾンで最も顕著であった。
• 戦略： 反復型アプローチは誤差の蓄積に苦しむため、より長いホライゾンでは、直接的なマルチアウトプット予測モデルの方が一般的に優れた性能を示した。

空間的評価（リージョン間）

• 汎化性能： 10のHHSリージョンの多様性が限定的であるため、モデルは空間分割よりも時間分割において良好な性能を示す傾向があった。
• トップパフォーマー： 空間的設定において、単一モデルとしては PatchTST が最も優れた性能（平均MSE = 0.449, NNSE = 0.848）を示し、次いでTFT、LSTMとなった。
• LLMの性能： LLMベースのモデル（TimeLLM）は、空間的汎化においても引き続き性能が低く、言語スタイルの事前知識を未知の地理的コンテキストに転移することの難しさを裏付けた。

補助信号と再学習

• 入院データ： 入院データをILI予測の事前学習ソースとして使用することで、MSEが大幅に減少した（例：TFTのMSEは0.428から0.346へ低下）。また、これを入力ストリームとして使用することも、特にILIの履歴が短い場合に有効であった。
• 再学習： より頻繁な再学習（200ステップごとではなく10ステップごと）は、精度において一貫した、しかし収穫逓減する（効果が薄れていく）利点をもたらした。これは、計算コストと予測性能の間に実用的なバランスが存在することを示唆している。
• 入院患者数の予測： より短期間でノイズの多い入院患者数データセットに対しては、コンパクトな TinyLSTM ベースラインが驚くほど良好な性能を示し、補助データがない場合には大規模な基盤モデルを上回った。しかし、ILIの共変量を融合させた場合には、依然として MultiFoundationCore が最も低い全体誤差（MSE = 0.00224）を達成した。

意義と主張

本論文は、インフルエンザ監視におけるモデル選択と戦略に関する実行可能なガイダンスを提供することを目的としている：

• モデル選択： 運用上の1〜4週間の予測においては、事前学習された数値的エキスパートを融合させる 混合エキスパート（Mixture-of-Experts） フレームワークが、単一モデルのアプローチよりも優れている。
• 事前学習戦略： 事前学習は、より長いホライゾンにおいて最も有益であり、かつソースドメインがターゲットとメカニズム的に関連している場合（例：ILIに対する入院データ）に最も効果的である。
• LLMへの注意： 再プログラミングされたLLMが、専門的な数値モデルを決定的に凌駕するという主張は、現実的な短期・マルチリージョンの流行設定においては支持されない。流行データの連続的な数値的性質には、現在の言語スタイル・アーキテクチャが欠いているインダクティブ・バイアス（帰納バイアス）が必要である。
• データの有用性： 長期的な監視記録と、メカニズム的に結びついた補助信号（入院患者数など）は、堅牢なマルチホライゾン予測にとって極めて重要である。

著者らは、本研究が完全なリアルタイム運用システムではなく、予測行動に関する体系的な研究であることを強調している。彼らは、時系列基盤モデルを用いた流行予測の将来の研究のための再利用可能なテストベッドとして、コード、データ、および学習済みチェックポイントを公開している。