A Critical Audit of Spatiotemporal Forecasting Benchmark Datasets and Baselines
本文批判性地评估了广泛使用的时空预测基准测试，揭示了其结构性偏差以及简单线性模型的强劲表现如何削弱了当前图神经网络（GNN）比较的可靠性，并倡导进行更严谨的统计评估和开发新型混合建模方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在数据科学领域，人们对于通过观察事物在时间和空间上的变化来预测未来有着日益增长的痴迷。想象一下，一个遍布城市的传感器网络，每个传感器都在报告交通速度；或者一组追踪不同地区疾病爆发情况的健康记录。这些不仅仅是数字列表；它们是相互关联的系统，其中一个位置发生的事情往往会影响到附近的区域。为了理解这种复杂性，研究人员转向了一种被称为图神经网络（graph neural network）的人工智能类型。可以将这些网络想象成一种教计算机理解关系的方法，就像一个人会理解一条街道上的交通拥堵很可能会导致下一条街道的延误一样。多年来，科学界一直依赖于一套特定的标准数据集，来测试这些先进的计算机模型是否真的比更简单的方法更有效。这些数据集涵盖了从互联网活动、物流需求到交通流量和公共卫生记录的方方面面。普遍的观点认为，这些复杂的、具备关系感知能力的模型是实现顶尖预测的唯一途径，从而让旧的、更简单的技术望尘莫及。
然而，一项新的分析表明，这种信心可能被误导了。来自英国、德国和以色列机构的一组研究人员决定退后一步，仔细审视用于评判这些模型的原始数据。他们发现，这些数据集用于测试的标准准备方式可能会掩盖其所包含信息的真实本质。具体而言，在两个最受欢迎的数据集中——一个追踪水痘病例，另一个追踪物流需求——数据通常经过处理，仅显示从一周到下一周的变化，而不是实际的数值。这种被称为“差分”（differencing）的数学技巧旨在使模式更容易被识别，但研究人员发现，在这些特定案例中，它实际上剥离了最重要的信号。这就像是通过只听音符之间的沉默来理解一首歌；节奏依然存在，但旋律却丢失了。当研究人员观察未经处理的原始数字时，他们发现了被标准准备方法所遮蔽的强大且可预测的模式。
调查显示，当这些数据集以自然状态进行检查时，那些忽略位置间复杂联系的简单数学模型，其表现可以与最先进的人工智能系统不相上下，甚至更好。研究人员将这些依赖于观察过去趋势和季节性周期的简单模型，与复杂的图网络进行了对比测试。在涉及公共卫生和物流需求的数据集上，这些简单的模型表现出了惊人的竞争力。在某些情况下，一个仅仅观察单个位置历史记录而无需考虑其邻居的简单模型，其表现甚至超过了那些旨在利用邻居信息的先进系统。这表明，对于这些特定问题，空间的或基于位置的连接并不是主要的驱动因素；相反，每个位置的历史记录才是最强的预测因子。复杂的模型在试图学习位置之间的关系时，往往只是在为一个可以通过观察时间模式本身就能解决的问题添加不必要的噪声。
这项研究还揭示了目前评估交通数据的一个重要问题。虽然交通数据集显示了观察不同道路之间联系的真实价值，但研究人员发现，标准的评估协议往往会惩罚过于简单的模型。他们证明了许多现有的基准测试存在缺陷，因为它们强迫模型在“差分”后的数据上进行训练，这使得任务变得人为地困难，并倾向于那些恰好拟合了噪声而非信号的模型。通过回归原始数据，研究人员表明模型可以具有更好的泛化能力，这意味着它们可以在新的、未见过的数据上做出更准确的预测。这一发现挑战了“越复杂越好”的假设。它表明，该领域一直过度依赖于一套狭隘的工具和数据集，而这些工具和数据集可能并未测试正确的各项能力。研究人员认为，在构建更加复杂的系统之前，科学家们首先应确保他们使用的是能够真正反映现实世界模式的数据。
这项工作的最实际成果或许是提供了一种结合两者之长的新方法。研究人员不再试图强迫一个复杂的模型去做所有事情，而是提出了一种两步走的方法。首先，他们使用一个可靠的简单模型，基于时间模式来预测未来。然后，他们将这些误差——即简单模型出错的部分——输入到复杂的图网络中。这使得先进系统能够专注于处理那些简单模型错过的、困难的、特定于位置的细节，而不是试图重新学习基础的时间趋势。当他们在交通数据集上测试这种混合方法时，它取得了最先进的结果，打破了之前的记录。这种方法表明，预测的未来可能不在于构建更大、更复杂的网络，而在于理解何时使用简单的工具，以及何时让先进的系统处理剩余的复杂性。这项工作提醒我们，在追求采用新技术的热潮中，绝不能忽视数据本身的根本属性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。