LiveHouse-TS: An Open-world Living Benchmark for Time Series Foundation Models
本文介绍了 LiveHouse-TS，这是首个通过在真实未来数据上进行连续增量测试来评估时间序列基础模型的开放世界生存基准，揭示了静态排名往往无法反映长期鲁棒性以及在演变分布偏移下的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
预测未来是人类的一种基本冲动，无论是我们查看天气、规划预算，还是试图理解暴风雨后河流的流向。几十年来，科学家们一直致力于构建数学模型来预测这些模式，但最近出现了一类新一代工具，有望在不需要学习每种特定情况细节的情况下实现这一目标。这些被称为“基础模型”（foundation models）的工具，是在来自许多不同领域的海量历史数据上进行训练的。它们学习了时间与变化的通用语言，从而能够立即对新的、未见过的数据做出合理的推测，这种能力被称为“零样本预测”（zero-shot forecasting）。人们曾希望这些强大的系统可以取代为每个特定任务构建定制化模型的需求，提供一种预测从股票价格到能源使用等一切事物的通用解决方案。
然而，这些模型在实验室中的表现与它们在现实世界中的实际表现之间存在显著差距。传统上，研究人员使用静态快照来评估这些系统：他们提取一段固定的过去数据，训练一个模型，然后观察它对预留出的固定未来数据段的预测效果。这种方法就像是根据一份永远不变的练习卷给学生评分。虽然它提供了一个清晰的分数，但却无法捕捉到生活的混乱现实——在现实中，条件不断变化，季节更迭，且意外事件层出不穷。一个模型可能会通过记忆不再存在的模式来通过静态测试，却在世界发生变化时表现拙劣。问题在于：当它们所预测的数据不断演变时，这些模型是否仍能保持可靠，还是会在规则改变时崩溃？
为了回答这个问题，一个研究团队引入了一种名为 LiveHouse-TS 的新测试方法。他们没有使用冻结的快照，而是构建了一个像“持续绩效评估”一样运行的、有生命力的基准测试。想象一个舞台，模型必须在数据可用的确切时刻进行实时预测，且此时真实结果尚未知晓。随着每天新数据的到来，模型被要求再次进行预测，并立即对其表现进行评分。这一过程无止境地重复，创造出一种模拟实际部署条件的评估流。该系统涵盖了来自 11 个不同领域的 17 个数据集，范围从天气、海浪到金融市场和地震计数。它在从秒到年的各种时间尺度上测试模型，确保评估能够捕捉到广泛的现实世界行为。
研究人员使用当今最先进的几种预测模型以及传统的统计方法进行了这项实时实验。结果揭示了排名的剧烈重组。那些此前在静态、基于快照的排行榜上占据主导地位的模型，发现自己在实时环境中表现挣扎。在静态测试中，一个模型可能因为完美匹配了某个特定的历史时期而显得表现最佳。但当置于不断流动的新数据之下时，这些相同的模型往往会迅速退化，无法适应变化的模式或意外的变化。相反，一些在静态测试中并非顶尖表现的模型，被证明更加稳健，能够在数据演变过程中保持一致的准确性。
其中一个最引人注目的发现是：一个模型预测单一时间点点的能力，并不能保证它能处理未来的不确定性。该研究引入了新的衡量方式，不仅测量预测有多准确，还测量其随时间推移的稳定性，以及是否随着更多信息的加入而有所改善。他们发现，虽然许多现代模型可以产生优秀的点预测，但它们往往无法提供可靠的概率估计，或者无法在数据变得剧烈波动时调整其置信水平。例如，在天气和海洋动力学等领域，来自静态测试的顶级模型表现不佳，而其他模型则能更好地适应变化的情况。这表明，目前依赖固定数据集的标准测试方法，可能会让我们对哪些模型真正准备好投入实际应用产生一种虚假的安全感。
研究还强调，没有任何单一模型是通用的赢家。即使是最复杂的系统，在处理数据突发峰值或适应长期趋势等方面也表现出了弱点。实时基准测试表明，性能并非一种永久性的属性；如果底层数据模式发生变化，今天表现卓越的模型在明天可能就不再如此。通过随着新数据的到来不断更新排行榜，研究人员证明了排名是流动的，必须反复赢得。这种方法暴露了静态测试所忽略的缺陷，例如模型倾向于平滑掉重要细节，或者无法对新信息做出快速反应。
最终，这项工作表明，通往真正可靠预测之路需要超越一次性的评估。研究人员认为，要了解这些强大的工具在实践中将如何表现，我们必须在它们实际使用的环境中进行测试：一个不断变化的世界。实时基准测试为此提供了一个框架，提供了一种透明且可重复的方式，来观察哪些模型能够真正经受住时间的考验。它并没有宣布唯一的冠军，而是提供了一张动态的强弱图谱，帮助科学家和从业者根据模型在现实压力下的表现，选择合适的工具。这些发现提醒我们，在复杂且不断变化的时间序列数据景观中，适应能力与准确性同样重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。