🤖 machine learning

Hierarchical Spatio-Temporal Transformer for Coherent Emergency Department Forecasting

本文介绍了 HierSTT，这是一个基于 Transformer 的层级化框架，通过在医院、区域和国家层面共同预测急诊需求以确保预测的一致性，并在一个新的葡萄牙全国数据集上证明了其相比于现有的非层级化和协调方法具有显著的准确性提升。

原作者： Filipa Lino, Bárbara Tavares, Carlos Santiago, Cláudia Soares, Manuel Marques

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Filipa Lino, Bárbara Tavares, Carlos Santiago, Cláudia Soares, Manuel Marques

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试预测天气。如果你只看自己后院的温度，你可能会猜明天会下雨。但如果你同时也观察全国范围内的天气模式，你会意识到一场巨大的风暴正在袭来，这意味着你的后院会变湿，而隔壁的小镇也会一样。在数据科学的世界里，这就是“孤立地观察单个数据点”与“理解所有数据点如何在一个庞大且相互关联的家族中组合在一起”之间的区别。这篇论文属于科学中的一个分支，叫做“时间序列预测”（Time Series Forecasting），它本质上是利用过去的数据来猜测未来会发生什么的艺术。它建立在两个宏大的理念之上：“层级时间序列”（Hierarchical Time Series），这是一种高级说法，指的是数据是按层级组织的（比如单家商店、整个城市以及整个国家）；以及“Transformer”，这是一种最初为阅读语言而设计的超级智能计算机大脑，但现在也非常擅长发现数字中的模式。我们为什么要关注这个？因为如果这些预测错了，医院可能会面临床位或人员短缺，导致人们等待救援的时间过长。把数学算对意味着节省时间、金钱，甚至可能挽救生命。

现在，让我们谈谈作者 Filipa Lino 及其团队正在解决的问题。急诊科（ED）就像是医院的前门，总是拥挤不堪。预测会有多少人走进那扇门简直是一场噩梦，因为它取决于太多因素：星期几、天气、流感季节，甚至当地体育队是否赢得了一场重要的比赛。通常情况下，医院试图预测自己的繁忙日期，区域卫生主管试图预测整个区域的需求，而国家领导人则试图猜测全国的总量。但问题在于：他们通常是分开进行这些预测的。这就像是一个家庭试图策划一场晚宴，每个人都单独猜测自己需要多少食物，然后母亲再试着把它们全部加起来。结果呢？一场混乱的局面——总食物量与每个人认为自己需要的量并不匹配。作者称之为“不一致性”（incoherent）预测。

为了解决这个问题，该团队创建了一个新的计算机模型，名为 HierSTT（层级时空 Transformer）。把 HierSTT 想象成一个超级有序的家庭晚宴策划者。与其让每个人孤立地进行猜测，这个模型更像是一位观察大局的睿智家长。它首先预测全国范围内的需求（“国家层面”）。然后，它利用这个大局来指导五个大区（“区域层面”）的预测。最后，它利用区域计划来帮助预测 81 家个别医院的需求。这是一种“自上而下”的方法，即高层的预测会向较小的预测“低声传达指令”，从而确保如果国家模型说有 10,000 人就诊，那么所有医院预测的总和确实等于 10,000。

该模型构建得像一场高科技的接力赛。在顶端，它使用“时间融合 Transformer”（Temporal Fusion Transformer）来理解国家趋势，观察诸如节假日和死亡率等因素。然后，它将接力棒传递给用于区域和医院的“时空 Transformer”（Spatio-Temporal Transformers）。这些低层级的模型非常特别，因为它们可以互相交流；它们知道如果 A 医院很忙，附近的 B 医院可能也会很忙。它们在训练期间还使用了一种特殊的“一致性感知损失”（coherence-aware loss）。想象一下一位老师在批改学生的数学作业时，不仅看最终答案是否正确，还要看解题步骤是否逻辑自洽。如果医院的预测结果加起来不等于区域总量，模型就会受到“惩罚”，并学会如何修正。

团队在来自葡萄牙的一个真实数据集上测试了该模型，涵盖了从 2021 年 1 月到 2024 年 4 月的 81 家医院和 5 个区域。他们将新模型与传统方法（如简单平均值）以及其他互不沟通的先进 AI 模型进行了对比。结果令人印象深刻。与表现最好的非层级深度学习模型相比，HierSTT 将平均预测误差降低了约 32%。它不仅把数字算对了，还保持了“家庭数学”的一致性。虽然其他模型可能在猜测国家总量方面表现出色，但在猜测单个医院方面却表现糟糕（或者反之亦然），但 HierSTT 在所有层面都表现得始终如一。它证明了通过教导 AI 去尊重家族层级以及不同层级之间的联系，你可以得到一个更清晰、更可靠的预判图景。作者指出，这种方法是一个重大的进步，表明我们不必在准确性和一致性之间做选择；我们可以两者兼得。

技术摘要：用于连贯急诊科预测的分层时空 Transformer

1. 问题定义

急诊科（ED）面临着由不可预测的患者需求、季节性激增和非紧急就诊带来的持续压力。有效的规划需要在多个决策层面进行准确预测：医院需要局部估算以进行人员配置，地区需要预测以协调各单位，而国家层面则需要系统性的投影。

目前的方法通常在单一层面（例如单个医院或地区）孤立地预测急诊科需求，忽略了其中固有的层级结构（即医院聚合为地区，地区聚合为国家系统）。这种孤立会导致不连贯的预测，即医院层级的预测总和与区域或国家层级的预测不匹配。此外，不同层级的数据具有异质性：医院数据捕捉运营细节，而区域和国家层面则提供更广泛的环境和人口信号。现有的深度学习模型往往无法共同建模这些层级依赖关系和异质协变量。

2. 方法论：HierSTT

作者提出了 HierSTT（分层时空 Transformer），这是一个旨在同时预测医院、地区和国家三个层级的急诊科需求，并确保层级连贯性的深度学习框架。

架构

该模型采用自上而下的架构，由高层表示引导低层预测：

国家层面： 使用时间融合 Transformer (TFT) 进行建模。该组件利用基于 LSTM 的编码器-解码器和多头自注意力机制，捕捉全局时间模式和异质协变量（如死亡率、全国需求）。
区域和医院层面： 使用时空 Transformer 编码器-解码器模块进行建模。这些组件处理多个相互作用的实体（5 个地区，81 家医院）。
- 编码器： 在（每个实体的 42 天历史记录内）进行时间自注意力计算，并与（每个时间步跨实体的）空间自注意力交替进行，以学习实体内模式和实体间相关性。
- 解码器： 生成 28 天预测周期的预测。至关重要的是，它通过交叉注意力机制将高层预测（国家预测引导区域解码；区域预测引导医院解码）作为额外的输入引入。这使得低层估算能够受全局信号的调节。

训练目标

为了在不进行硬性约束的情况下强制实现一致性，作者引入了一个感知连贯性的损失函数：
$\mathcal{L} = (1 - \alpha)(\mathcal{L}^{(n)} + \mathcal{L}^{(r)} + \mathcal{L}^{(h)}) + \alpha \mathcal{L}_{coh}$

$\mathcal{L}^{(\cdot)}$ 代表各层级的直接预测损失（Smooth L1）。
$\mathcal{L}_{coh}$ 是一个连贯性损失，用于惩罚低层预测聚合值与高层预测值之间的不一致（例如，医院预测之和与区域预测之间的差异）。
$\alpha$ 用于平衡准确性和连贯性。

数据集

本研究引入了一个新的葡萄牙全国急诊科数据集，涵盖：

81 家医院，归属于 5 个区域健康管理机构 (RHA)。
时间跨度：2021 年 1 月 1 日至 2024 年 4 月 20 日（排除了 2021 年早期数据以减轻 COVID-19 异常值的影响）。
异质协变量：
- 医院： 分诊级别、等待时间、就诊路径、开放/关闭状态。
- 区域： 聚合需求、空气质量指数 (AQI)、温度。
- 国家： 系统性需求、死亡率。

3. 核心贡献

分层框架： 一个基于 Transformer 的框架，能够在单个端到端模型中同时预测三个聚合层级的需求。
感知连贯性的训练： 一种新型损失函数，在训练期间强制执行跨层级一致性，超越了事后协调方法。
新数据集： 一个包含特定于各行政层级的异质协变量的、全面的真实世界葡萄牙急诊科活动数据集。

4. 实验结果

实验在 28 天预测周期和 42 天历史数据的基础上进行。HierSTT 与统计基准模型（ARIMA、ETS）、非层级深度学习模型（LSTM、Transformer、TFT、N-BEATS）以及层级协调方法（自上而下、自下而上、中层法）进行了对比。

预测准确性：
- 相对于表现最好的非层级深度学习基准，HierSTT 将平均加权绝对百分比误差 (WAPE) 降低了 32%。
- 在区域层面，与表现最好的非层级基准相比，其 MAE 降低了约 38%，RMSE 降低了约 27%。
- 在医院层面，其 MAE 比 N-BEATS 提升了约 8%。
- 在国家层面，其性能与独立的 TFT 相当，证明联合训练不会降低高层预测的准确性。
层级连贯性：
- HierSTT 在所有非协调模型中实现了最低的层级聚合误差 (HAgE)，使预测侧的连贯性比 ARIMA 提高了约 13%。
- 不同于通过代数方式强制实现连贯性的协调方法（通常以牺牲准确性为代价），HierSTT 学习生成既准确又近乎连贯的预测。
- 它在真实值 HAgE 方面优于协调基准，表明其低层预测在聚合后能比依赖事后调整的方法更接近观察到的高层数值。

5. 重要性与主张

论文声称 HierSTT 解决了急诊科预测中的关键空白，即现有方法要么忽略层级结构，要么依赖于无法在训练期间学习跨层级依赖关系的事后协调。

联合优化： 通过对时间动态、异质协变量和层级依赖关系进行联合建模，HierSTT 在预测准确性和连贯性之间实现了卓越的平衡。
运营相关性： 该框架支持多层级决策，确保局部人员配置计划（医院层面）与区域及国家资源分配策略保持一致。
鲁棒性： 该模型在随机种子测试中表现出稳定性，并能有效处理包括医院关闭在内的现实医疗数据的异质性。

作者总结道，有效的层级预测需要将结构约束直接集成到学习过程中，而不是将其视为后处理步骤，这一原则通过 HierSTT 在所有评估指标上的性能提升得到了验证。