📊 statistics

Modalities Should Talk to Each Other: Dual-Stream Multimodal Learning for Long-Horizon Influenza Forecasting

本文提出了双流注意力机制（Dual-Stream Attention, DSA），这是一种多模态深度学习框架，利用双向跨模态注意力机制将带有噪声的文本新闻标题与数值型流行病学信号进行有效融合，在预测未来12周流感样病例活动方面，实现了比现有基准模型更优的先进性能。

原作者： Seyed Mohammad Hossein Hashemi, Mohsen Hooshmand, Parvin Razzaghi

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seyed Mohammad Hossein Hashemi, Mohsen Hooshmand, Parvin Razzaghi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

预测流感季节的未来是公共卫生官员面临的一项高风险挑战。他们不仅需要知道当前有多少人患病，还需要了解情况在未来几个月内将如何演变。这些信息决定了疫苗应送往何处、需要准备多少张病床，以及何时发布公众警告。几十年来，专家们一直依赖于硬性数据：医生就诊量和实验室检测结果的每周计数。这些统计数据很精确，但往往滞后于现实，只有在疾病已经开始传播之后才显示出病例激增。近年来，随着新闻标题和描述症状及疫情的搜索摘要这一每日信息流的出现，一种新的信息源在这些数字之外浮现出来。虽然这些文字提供了观察现状的早期视角，但它们是杂乱、无结构且往往难以独立解释的。挑战在于如何教会计算机同时“倾听”硬性数字和嘈ла的文字，并理解文字可以解释数字，而数字可以为文字提供语境。

一个研究小组开发了一种名为“双流注意力机制”（Dual-Stream Attention）的新方法来解决这个问题。该系统并非将数值数据和文本视为最后才简单拼接在一起的独立列表，而是强制这两个数据流在整个过程中进行“对话”。想象一位翻译官，他不仅仅是在听取发言者说话后写一份报告，而是在听取文字的同时，不断观察发言者的语气和肢体语言，并同时通过文字来理解肢体语言。在这个系统中，计算模型的一部分负责阅读每周的流感统计数据，而另一部分则负责阅读随附的新闻标题。在做出预测之前，这两个部分会交换信息。文本流会询问数字：“在这些新闻报道的背景下，这种病例激增意味着什么？”而数字流会询问文本：“这条标题描述的是真实的疫情爆发，还是仅仅是一个传闻？”这种往复的信息交换使模型能够动态地权衡证据，决定在任何给定时刻哪种来源更值得信赖。

研究人员利用涵盖美国的大型数据集对该方法进行了测试，使用过去三十六周的数据来预测未来十二周的流感活动。他们将这个新系统与几种强大的现有模型进行了对比，其中包括一些依赖大规模语言模型的模型，以及其他仅使用数值数据的模型。结果显而易见：让这两种模态相互对话的新系统显著提高了准确性。它产生的平均误差更小，而且至关重要的是，在流感季节最严重的时期，它极不容易出现灾难性的错误。在一系列为了确保结果并非偶然而进行的严格随机测试中，新系统始终优于其竞争对手。它将平均预测误差降低到以往最佳单数据模型的半数以上，并在疫情最混乱的周期间表现出了卓越的可靠性。

这项研究还调查了为什么这种方法如此有效。研究人员发现，这种优势并不单纯来自于使用了更复杂的语言模型，也不在于针对医学术语对软件进行了微调。相反，关键在于那种允许两种信息相互影响的机制。他们测试了如果停止两个数据流之间的对话并仅在最后进行合并，或者如果只让文本影响数字而不让数字影响文本，会发生什么。在每种情况下，完整的双向对话都产生了最好的结果。系统学到了文本在解释数字方面特别有用，尤其是在流感高峰期；同时也学到了数字对于锚定文本至关重要，能够防止模型被无关的新闻故事所干扰。

即使研究人员尝试将其应用于不同的地区（特别是来自非洲的数据集，那里的流感模式和可用数据可能有所不同），这种方法依然表现出了稳健性。该系统仍然是测试模型中的佼佼者，这表明通过交叉验证数值趋势与文本语境来获取信息的优势具有普遍性，而不仅仅是一种仅适用于特定数据集的方法。研究人员还观察了系统在流感季节不同阶段的表现，例如病毒刚刚上升、达到最高峰以及逐渐消退的时期。该系统在高峰期表现出色，而这正是公共卫生规划最关键的时期，它也是唯一一个能持续超越所有其他模型的系统。虽然它并非在每一年中的每一个时刻都是绝对的最佳，但它是最一致可靠的，从未大幅落后于领先者，也避免了困扰其他模型的极端失败。

最终，这项工作证明了疾病预测的未来在于集成。通过构建一个尊重硬性数据与人类语言各自独特优势、并教导它们相互解释的系统，研究人员创造了一个能够更好地洞察全局的工具。研究结果表明，预测疾病传播最准确的方式不是在数字和故事之间做选择，而是让它们相互启发，从而为接下来的几周创造出一个更清晰、更可靠的预测。

技术摘要：用于长周期流感预测的双流多模态学习

1. 问题定义

本文解决了长周期流感样疾病（ILI）活动预测的挑战，具体目标是基于 36 周的历史窗口预测未来 12 周的 ILI 趋势。其核心难点在于如何有效融合在同一预测起点处可获得的两种截然不同的数据模态：

数值信号： 结构化的、每周的流行病学监测数据（例如，不同年龄组的 ILI 百分比）。
文本信号： 噪声较大、结构松散的每周新闻标题和症状、循环病毒及公共卫生观察结果的摘要。

现有的方法通常将这些模态视为固定特征，在独立编码后进行拼接，或将文本作为单向调节信号使用。这未能显式地建模动态交互过程，即一种模态的状态应当如何影响另一种模态的解释（例如，利用文本来语境化数值上的激增，或利用数值趋势来确定文本信号的流行病学相关性）。此外，文本信号往往存在滞后性或与近期趋势间接相关，因此需要精巧的架构设计以避免噪声传播。

2. 方法论：双流注意力机制 (DSA)

作者提出了双流注意力机制 (Dual-Stream Attention, DSA)，这是一个多模态深度学习框架，旨在让数值流和文本流在进行时间聚合之前能够相互调节。该架构由五个关键组件组成：

2.1. 数值编码器

数值历史 ( $\mathbf{X}_{num} \in \mathbb{R}^{36 \times 14}$ ) 被投影到隐藏层大小，并由一个 4 层 Transformer 编码器处理。值得注意的是，作者在此阶段省略了位置编码，而是依赖于稍后在时间模型中应用的因果掩码来保持顺序，因为实验表明过早添加位置编码会降低性能。

2.2. 标题编码器

每周的文本片段经过分词并使用在生物医学文本上预训练的语言模型 BioLinkBERT-base 进行编码。

适配： 在训练期间仅解冻最后 8 层，以平衡适配能力与过拟合风险。
池化： 模型并未直接使用 [CLS] 标记，而是采用对标记表示进行掩码平均池化（masked mean pooling）的方法来生成每周嵌入 ( $\mathbf{e}_t$ )。
周间注意力： 这些嵌入通过一个自注意力层，使第 $t$ 周的文本表示能够整合来自其他周度的上下文信息，然后再进行融合。

2.3. 跨模态注意力 (CMA) 模块

这是 DSA 的核心创新。CMA 实现了一种双向注意力机制，而非简单的拼接：

数值 $\to$ 文本： 数值流查询文本流，以根据当前的流行病学状态来解读文本应如何被理解。
文本 $\to$ 数值： 文本流查询数值流，以根据文本语境来解读数值趋势应如何被理解。
融合： 两个方向的注意力输出被拼接、投影，并通过残差连接加回归一化后的流中，随后进行层归一化（Layer Normalization）。这使得每种模态的表示都能根据另一种模态进行重新加权。

2.4. 因果时间模型

融合后的表示被传递至一个 2 层因果 Transformer。严格的注意力掩码确保模型只能关注回看窗口内的当前及过去的位置，从而防止来自未来时间步的信息泄漏。最后一个时间步的最终隐藏状态被池化用于预测。

2.5. 回归器

一个两层多层感知机 (MLP) 将最终的时间表示直接映射到 12 周的预测时界。模型使用均方误差 (MSE) 进行端到端训练。

3. 主要贡献

架构： 引入了 DSA，它显式地建模了数值流行病学历史与并发每周文本之间的双向跨模态调节，超越了无条件的拼接。
严谨评估： 通过多种子（10 个随机种子）评估，对比了强单模态（iTransformer, DLinear, PatchTST）、文本增强型（TaTS）以及基于大语言模型的基准模型（GPT4MTS）。研究包含了对尾部风险、时界性能、相位分层鲁棒性和模型置信集（Model Confidence Sets）的分析。
消融分析： 通过受控实验证明，性能提升主要源于双向融合机制，而非语言模型的微调或特定的编码器选择。
忠实度分析： 基于扰动的掩码分析显示，学习到的跨模态注意力具有功能性的信息量，且在“文本 $\to$ 数值”方向上观察到更强的效应。

4. 实验结果

在 Time-MMD Health_US 数据集（36 周回看，12 周预测）上进行的评估结果如下：

准确度： DSA 实现了 0.416 的中位数测试 MSE，显著优于 iTransformer (0.668)、TaTS (0.607) 和 GPT4MTS (0.851)。这代表了分别 54.95%、37.29% 和 67.23% 的平均误差降幅。
鲁棒性与尾部风险： 与所有基准模型相比，DSA 的最差窗口误差 (Max MSE) 和 P90 MSE 明显较低。在 100% 的自助抽样（bootstrap draws）中，DSA 均排名第一，而尽管 GPT4MTS 具有竞争力的平均误差，但在 74.6% 的抽样中排名最后。
相位分层性能：
- 高峰期（Peak Phase）： 在流行病高峰期（最具操作关键性的阶段），DSA 取得了相对于所有基准模型的清晰领先优势。
- 其他阶段： DSA 在淡季、上升期和下降期均保持了竞争力，尽管在上升期略逊于 TaTS，在下降期略逊于 GPT4MTS。
泛化能力： 在外部数据集（Time-MMD Health_Africa）上，DSA 同样在九个评估基准中排名第一。
消融实验：
- 去除因果掩码会导致 MSE 显著增加 (1.09 $\to$ 1.71)。
- 冻结文本编码器（不进行微调）的表现仍优于表现最好的融合基准 (TaTS)，表明融合机制是提升性能的主要驱动力。
- 双向注意力优于单向变体（仅限 Text $\to$ Num 或 Num $\to$ Text）。
- 使用通用领域 BERT 或较小的模型（如 MiniLM）替换 BioLinkBERT 会导致性能轻微下降，但并未导致模型失效，这表明其优势更多取决于融合架构而非特定的预训练模型。

5. 意义与主张

本文主张 DSA 提供的是一种稳健的整体架构，用于长周期流感预测，而非在每种特定流行病学条件下都占据统治地位的模型。其主要意义在于：

显式交互： 成功建模了噪声较大、存在时间偏移的监测文本如何在不被无条件信任的情况下为数值趋势提供信息。
操作价值： 通过在所有流行病阶段（尤其是关键的高峰阶段）保持持续的竞争力和最小化尾部风险（最差情况下的误差），DSA 比那些仅在特定阶段或平均情况下表现优异的模型具有更高的实际公共卫生资源分配价值。
方法论洞察： 证明了在多模态时间序列预测中，双向跨模态注意力优于单向调节或简单的拼接，特别是当各模态具有不同的可靠性和时间尺度时。

作者总结道，虽然 DSA 并非在每一个单独的阶段都具有绝对统治力（例如下降阶段），但其在随机种子、流行阶段和地理区域上的连贯性，使其成为部署预测系统（即未来流行阶段未知时）的更优选择。