Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

アイデアの核心：「平均」という嘘

あなたは天気予報士だと想像してください。もし、1年間の気温を予測するとしたら、あなたの「平均的な」予測は完璧かもしれません。しかし、突然の激しい雷雨が起きる瞬間のことを予測しようとしているなら、あなたの平均的な予測は役に立ちません。「気温は21度（70°F）になるでしょう」と言うかもしれませんが、実際には、猛暑（晴天）か、あるいは氷点下（雹）かのどちらかです。

この論文は、時系列基盤モデル（TSFMs）——将来のトレンドを予測するために設計された非常にスマートなAIシステム——が、現在、その最大の弱点を隠してしまうような方法でテストされていると主張しています。

標準的なテストは、すべてのデータにおける平均的なパフォーマンスを見ています。交通の流れは通常スムーズで速い（自由流）ため、AIの平均スコアは非常に良く見えます。しかし、この論文は、交通が「高速」から「渋滞」へと急変する（レジーム遷移）とき、これらのAIモデルが劇的に失敗することを示しており、標準的なテストではそれを見逃してしまうことを指摘しています。

問題点：AIの「盲点」

交通状況は単にゆっくりと遅くなるのではなく、多くの場合、「高速走行（時速約100km）」から「停滞（時速約25km）」へと、非常に素早く切り替わります。

• 現実： これらの遷移の瞬間、将来の速度は**二峰性（バイモーダル）**になります。つまり、車は「速いまま」か、あるいは「立ち往生するか」のどちらかです。中間はありません。
• AIの間違い： AIは「速い」データと「遅い」データの両方を見て、その中間を推測します。例えば「時速40マイル（約65km/h）だ」と予測します。
• 結果： 実際には車は時速65マイルで行っているか、時速15マイルで行っているかのどちらかです。AIの予測である時速40マイルは、どちらの場合においても間違っています。これは、まるで天気予報士が、実際にはハリケーンか快晴かのどちらかなのに、「時々曇り」と予測しているようなものです。

「高速」の交通がほとんどの時間に発生するため、AIの平均スコアは良好に見え、交通渋滞が形成されるという、恐ろしく重要な局面においてAIが完全に迷走している事実を覆い隠してしまいます。

実験：AIの「セーフティネット」の検証

研究者たちは、ロサンゼルスとサンフランシスコの実際の交通データを用いて、3つの有名なAIモデルをテストしました。彼らは単に速度予測がどれだけ正確に近いかを見たのではなく、予測区間（予測インターバル）、つまりAIの「セーフティネット」に注目しました。

• 目標： AIは「速度がXからYの間にある確率が90%である」と言うべきです。
• 失敗： 交通の遷移中、AIのセーフティネットはあまりにも狭く、かつ的外れな場所にありました。
  • 彼らが90%のセーフティネットを求めたとき、
  • 現実には、遷移中の正しい速度を捉えられたのはわずか**55%**でした。
  • それは、10匹のうち9匹を捕まえるはずの網を投げたのに、5匹しか捕まえられなかった漁師のようなものです。

「シンプルな」ベースライン vs 「スマートな」AI

研究者たちは、非常にシンプルな手法を試しました。それが**歴史的ベースライン（Historical Baseline）**です。
複雑なAIを使う代わりに、単にその特定のセンサーで過去に何が起きたかを確認します。もし火曜日の午後2時で交通が減速しているなら、過去の火曜日の午後2時に何が起きていたかを確認するのです。

• 結果： この単純な「ルックアップテーブル（参照表）」は、実は超複雑なAIよりも遷移を捉えることに長けていました。なぜなら、この手法は自然に「二峰性」の現実（渋滞する場合もあれば、しない場合もあること）を含んでいるからです。
• 注意点： ただし、この単純な手法は、全体の「正確な速度」を予測することに関しては非常に苦手としていました。それは「何が起こり得るか」を知ることには優れていましたが、「何が起こるか」を知ることには不向きでした。

解決策：二峰性混合拡張（BMA）

著者たちは、BMAと呼ばれる賢い修正案を考案しました。これは「ハイブリッド・ドライバー」と考えてください。

1. ドライバー（運転手）： AI（TSFM）がドライバーです。現在の状況に基づいて、正確な速度をナビゲートし予測します。
2. コパイロット（副操縦士）： 歴史的データがコパイロットです。この道の「歴史（例：この橋は午後5時によく渋滞する）」を知っています。
3. 修正： AIが速度を予測するとき、BMAメソッドはコパイロットに確認します。もしコパイロットが「おい、今この道が渋滞する確率は50%あるぞ」と言えば、このメソッドはAIの予測の中に「渋滞」の可能性を注入します。

魔法の効果：

• 通常の走行時には、AIの高い精度を維持します。
• 遷移時における「セーフティネット」を修正し、高速と低速の両方の結果を捉えられるように幅を広げます。
• これを、AIを再学習させることなく実現します。これは、カメラに新しいレンズを追加するような、後処理による修正です。

まとめ

この論文は、これらのAIモデルを「平均的な」スコアだけで判断すべきではないと結論付けています。モデルがスムーズな交通を予測するのが得意だからといって、それがラッシュアワーの緊急派遣や配送時間の予測に安全に使えるとは限らないのです。

私たちは、AIを**「困難な部分（遷移時）」**に特化してテストする必要があります。もしそうしなければ、紙の上では完璧に見えても、まさに最も必要とされる瞬間に失敗してしまうモデルを、信頼してしまうことになるかもしれません。