Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

核心理念：“平均值”的谎言

想象你是一名天气预报员。如果你预测全年的气温，你的“平均”预测可能是完美的。但如果你试图预测一场突如其来的剧烈雷阵雨，你的平均预测就毫无用处。你可能会说：“气温是 70°F，”但实际上，要么是 90°F（晴天），要么是 40°F（冰雹）。

这篇论文指出，时间序列基础模型 (TSFMs) —— 即那些旨在预测未来趋势的超智能 AI 系统 —— 目前正处于一种掩盖了其最大弱点的测试方式之下。

标准的测试关注的是所有数据的平均表现。因为交通通常是顺畅且快速的（自由流状态），所以 AI 在平均水平上看起来表现出色。但论文显示，当交通突然从“快速”切换到“拥堵”（即状态转换/regime transition）时，这些 AI 模型会表现得一塌糊涂，而标准测试却无法捕捉到这一点。

问题所在：AI 的“盲区”

交通不会只是慢慢变慢；它往往会非常迅速地从自由流（例如 65 mph）切换到交通瘫痪（例如 15 mph）。

• 现实情况： 在这些转换时刻，未来的车速是双峰分布 (bimodal) 的。这意味着车辆要么保持高速，要么陷入拥堵。不存在中间地带。
• AI 的错误： AI 看到了“快”的数据和“慢”的数据，然后猜了一个中间值。它预测车速为 40 mph。
• 结果： 实际车速要么是 65 mph，要么是 15 mph。AI 预测的 40 mph 在这两种情况下都是错的。这就像天气预报员在飓风或晴空万里之间，预测说是“局部多云”。

因为“快速”交通发生的时间最长，AI 的平均得分看起来很高，从而掩盖了它在关键、可怕的时刻（即交通拥堵正在形成时）完全迷失方向的事实。

实验：检查 AI 的“安全网”

研究人员在来自洛杉矶和旧金山的真实交通数据上测试了三种著名的 AI 模型。他们不仅观察了速度预测的接近程度，还观察了预测区间 (prediction intervals)（即 AI 的“安全网”）。

• 目标： AI 应该说：“我有 90% 的把握确定速度会在 X 和 Y 之间。”
• 失败： 在交通转换期间，AI 的安全网过窄且位置不对。
  • 他们要求一个 90% 的安全网。
  • 实际上，在转换期间，AI 仅在 55% 的时间内捕捉到了正确的车速。
  • 这就像一个渔夫撒下的网本应能捕捉 10 条鱼中的 9 条，但实际上只抓到了 5 条。

“简单”基准 vs. “智能”AI

研究人员尝试了一个非常简单的技巧：历史基准 (Historical Baseline)。
他们没有使用复杂的 AI，而是仅仅查看该特定传感器在过去发生了什么。如果现在是周二下午 2:00 且交通正在变慢，他们就会查看以往每个周二下午 2:00 的情况。

• 结果： 这个简单的“查找表”实际上比复杂的 AI 更擅长捕捉转换过程。为什么？因为它自然地包含了“双峰分布”的现实（有时会堵，有时不会）。
• 代价： 这种简单的方法在预测精确速度方面表现很差。它擅长知道可能发生什么，但不擅长知道将会发生什么。

解决方案：双峰混合增强 (BMA)

作者提出了一种聪明的修复方法，称为 BMA。你可以把它想象成一个“混合驾驶员”。

1. 驾驶员： AI (TSFM) 是驾驶员。它知道如何根据当前情况导航并预测精确的速度。
2. 副驾驶： 历史数据是副驾驶。它了解“这条路的历史”（例如：“这个桥在下午 5 点经常堵塞”）。
3. 修复方案： 当 AI 预测一个速度时，BMA 方法会检查副驾驶。如果副驾驶说：“嘿，现在这条路有 50% 的概率会发生拥堵，”该方法就会在 AI 的预测中注入一些“拥堵”的可能性。

神奇之处在于：

• 它保留了 AI 在正常驾驶时的极高准确性。
• 它修复了转换期间的“安全网”，使其足够宽，能够捕捉到“快速”和“缓慢”这两种结果。
• 它在无需重新训练 AI 的情况下完成这一切。这是一种后处理修复，就像给相机更换了一个新镜头。

总结

论文得出结论，我们需要停止仅通过“平均”分数来评判这些 AI 模型。仅仅因为一个模型在预测平顺交通方面表现良好，并不意味着它在高峰时段用于紧急调度或物流交付时是安全的。

我们需要专门针对困难部分（即转换阶段）来测试 AI。如果我们不这样做，我们可能会信任一个在纸面上看起来完美，但在我们最需要它的时候却失效的模型。