🤖 AI

STAMP: Spatial-Temporal Adapter with Multi-Head Pooling

本文介绍了 STAMP，一种轻量级且灵活的多头池化时空适配器，它通过利用单变量嵌入隐式捕捉时空特征，使通用时间序列基础模型在临床脑电图任务上能够实现与专用脑电图基础模型相当的性能。

原作者： Brad Shook, Abby Turner, Jieshi Chen, Michał Wiliński, Mononito Goswami, Jonathan Elmer, Artur Dubrawski

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Brad Shook, Abby Turner, Jieshi Chen, Michał Wiliński, Mononito Goswami, Jonathan Elmer, Artur Dubrawski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《STAMP：带多头池化的时空适配器》的通俗化解读，辅以生动的类比。

宏观视角：“通用翻译器”的难题

想象你拥有一位才华横溢、享誉全球的翻译家（即时间序列基础模型，TSFM），他阅读过数百万本关于天气模式、股市和能源电网的书籍。这位翻译家在识别随时间变化的数据模式方面极其敏锐。

现在，你希望这位翻译家去解读脑电图（EEG）数据——即来自人脑的电信号。问题在于，脑数据既杂乱又独特。它拥有两个特殊的维度：

时间：信号如何一秒接一秒地变化。
空间：大脑的不同部位（头皮上的电极）如何相互“交谈”。

如果你直接将脑数据交给翻译家而不加任何辅助，他会感到困惑。这就像给一位只懂做汤的厨师一块生牛排，却指望他在没有任何指示的情况下完美地将其烤好。论文发现，如果你只是将脑数据喂给翻译家并要求一个简单的平均值（比如“平均味道是什么？”），结果基本上等同于随机猜测。

解决方案：STAMP（专用适配器）

作者构建了一个名为STAMP（带多头池化的时空适配器）的新工具。你可以将 STAMP 想象成翻译家的专用耳机，或者一个定制转接头。

STAMP 并非从头开始重新训练这位才华横溢的翻译家（这既昂贵又缓慢），而是直接安装在现有翻译家的顶部。它利用翻译家对数据的原始“理解”，并添加一层具体的指令，帮助其理解大脑独特的布局。

STAMP 通过以下三件事让翻译家发挥作用：

1. “姓名牌”（位置编码）

翻译家并不天然知道信号来自何处。它是来自大脑左侧？还是来自 5 秒之前？

类比：想象一个房间里挤满了人，大家都在大喊大叫。翻译家听到了噪音，却不知道谁在说话，也不知道他们站在哪里。STAMP 给每个人戴上了姓名牌。它将数据标记为“左脑”、“右脑”、“时刻 1"、“时刻 2"。这帮助翻译家理解大脑活动的地理分布和时间线。

2. “跨通道混合器”（交叉 GMLP）

脑信号非常复杂。左侧可能会影响右侧，2 秒前的信号可能会影响现在发生的情况。

类比：想象一群乐手演奏不同的乐器。普通的翻译家可能会分别聆听每位乐手。而 STAMP 则像一位指挥家，他聆听小提琴手如何与鼓手互动，以及 10 秒前的长号手如何影响现在的萨克斯手。它专门关注不同大脑位置（空间）和不同时刻（时间）之间的相互作用，而不是孤立地看待它们。

3. “智能高亮笔”（多头注意力池化）

在翻译家处理完所有数据后，你需要做出最终决定（例如：“这个人是在睡觉吗？”或者“他们是否想象了移动手部？”）。

类比：想象你有一份 100 页的报告。天真的做法是阅读每一个字并平均其含义。STAMP 则像一支智能高亮笔。它扫描报告并说：“嘿，第 42 页上的这三句话对做出这个决定最重要。忽略其余部分。”它学会了权衡脑信号中最关键的部分，以做出最终预测。

为什么这很重要

论文在8 个不同的脑数据集上测试了这种新适配器，任务包括检测癫痫发作、识别情绪以及控制脑机接口。

结果：STAMP 的表现与最先进的、专门为大脑从头构建的脑专用模型（脑基础模型）一样好，甚至更好。
效率：那些“脑专用”模型就像拥有数百万个参数（齿轮和凸轮）的巨型超级计算机。而 STAMP 是一个轻量级、口袋大小的工具。它仅使用约75 万个参数，而专用脑模型则使用数百万（有时高达 2900 万！）。
灵活性：STAMP 可以与不同的“通用翻译器”（如 MOMENT、Chronos 等）配合使用。即使翻译家以前从未在脑数据上接受过训练，STAMP 也能帮助其有效地理解脑信号。

论文未声称的内容

重要的是要坚守作者实际所说的话：

他们并未声称这是阿尔茨海默病的治愈方法，也不是明天就能在医院诊断抑郁症的方法。他们仅在现有的公开数据集上为研究目的进行了测试。
他们并未声称它适用于所有任务。他们发现它在特定的“情绪识别”任务（识别“厌恶”与“恐惧”等复杂情感）上表现稍差，这表明底层翻译家可能需要在情感数据上进行更多训练。
他们并未说你需要重新训练整个系统。系统的“大脑”（TSFM）保持冻结状态；只有小型的 STAMP 适配器被训练。

总结

STAMP 是一个巧妙的轻量级附加组件，它将一位通用的时间序列数据 AI 专家转化为能够解读脑电波的专家。它通过赋予 AI 一张大脑地图（空间）、一个时钟（时间）以及一种聚焦最重要信号的方法来实现这一目标，而无需从头构建一台庞大的新计算机。

技术摘要：STAMP：具有多头池化的时空适配器

问题陈述

在多样化领域上进行预训练的时间序列基础模型（TSFMs）已在各种建模任务中展现出强大的性能。与此同时，针对脑电图（EEG）数据开发的特定基础模型（EEGFMs）旨在捕捉脑电活动的独特时空特征。然而，尚未在 EEG 任务上对通用 TSFMs 与 EEG 专用基础模型进行对比分析。此外，尽管 EEGFMs 通常采用复杂架构来建模空间和 temporal 依赖关系，但通用 TSFMs 通常将输入视为单变量时间序列，这使得它们在处理 EEG 任务时天然无效，因为 EEG 任务中通道间的空间关系和时间演化至关重要。将 TSFMs 简单应用于 EEG 数据（例如使用简单的平均池化）会导致接近随机水平的性能。

方法论

作者提出了STAMP（具有多头池化的时空适配器），这是一种轻量级、灵活的适配器，旨在置于通用 TSFMs 之上，以实现有效的 EEG 建模。STAMP 利用冻结的 TSFM 生成的单变量嵌入，并通过三个核心组件隐式地建模 EEG 数据的时空特征：

位置编码（PEs）： 为了解决标准 TSFM 嵌入中缺乏空间和 temporal 上下文的问题，STAMP 添加了可学习的位置嵌入。这些包括逐 token 的位置嵌入（ $p_{ij}$ ）、逐空间位置的嵌入（ $s_i$ ）和逐时间步的嵌入（ $t_j$ ）。修改后的嵌入计算为 $\tilde{e}_{ij} = e'_{ij} + p_{ij} + s_i + t_j$ ，其中 $e'_{ij}$ 是降维后的 TSFM 嵌入。消融研究表明，使用所有三种类型的编码能带来最佳性能。
交叉门控 MLP（CC-GMLP）： 为了捕捉时空网格上的关系，STAMP 采用了一种受交叉交叉 Transformer（CC-TF）和门控 MLP（GMLP）启发的新颖 CC-GMLP 架构。该模块分离了空间和 temporal 关系的建模。它通过一系列块处理输入网格 $\tilde{E}$ ，其中 temporal 门控（ $g_T$ ）和空间门控（ $g_S$ ）单元沿各自轴独立运行，随后进行拼接。这使得能够以参数高效的方式学习跨通道关系，且独立于特定的信号时间演化。
多头注意力池化（MHAP）： 为了聚合混合 token 嵌入以进行最终预测，STAMP 利用 MHAP。该机制学习为每个 token 相对于最终任务的重要性加权。它将 token 投影到较低维空间，计算与查询向量的注意力分数，并聚合结果。跨查询的最终聚合步骤确定了每个头的整体重要性，生成一个汇总向量。该向量与混合 token 嵌入均值的残差连接相结合，随后进行最终的线性投影。

该适配器在冻结的 TSFM（主要是 MOMENT Large，但也测试了 MOMENT Small/Base、Chronos 和 TSPulse）之上进行训练。STAMP 中的可训练参数总数约为 750,000，仅占典型 EEGFMs 中数百万参数的一小部分。

主要贡献

首次对比分析： 本文提供了 EEG 专用基础模型与通用 TSFMs 在 EEG 特定任务上的首次对比分析。
新颖的适配器架构： 引入了 STAMP，它成功地将单变量 TSFM 嵌入适配为多变量时空 EEG 数据，而无需在 EEG 数据上重新训练 TSFM。
高效性： STAMP 实现了与最先进的 EEGFMs（如 CBraMod 和 LaBraM）相当的性能，同时使用的可训练参数显著更少（CBraMod 约为 29M，LaBraM 为 5.8M，而 STAMP 约为 0.74M）。
全面评估： 该方法在 8 个基准 EEG 数据集上进行了评估，涵盖了多种临床任务，包括运动想象、心算、情绪识别和事件分类。

结果

性能与基线对比： STAMP 产生的性能与 EEGFMs（CBraMod、LaBraM）相似或更优，并且在大多数数据集上严格优于非基础 EEG 模型（EEG Conformer、ST-Transformer）。
消融研究：
- 位置编码： 包含所有三种位置编码类型（token、空间、时间） consistently 提高了性能，排除 PEs 则导致结果最差。
- Token 混合： CC-GMLP 架构在所有数据集上均优于基本 GMLP 和基于 Transformer 的混合策略（B-TF、CC-TF）。
- Token 聚合： 虽然 MHAP 和平均池化在大多数数据集上表现相似，但 MHAP 在 BCIC-IV-2a 数据集上提供了显著的性能提升，表明其在捕捉复杂 token 关系方面的效用。
TSFM 兼容性： STAMP 在使用来自各种 TSFMs（MOMENT、Chronos、TSPulse）的嵌入时表现良好，即使这些模型未在 EEG 数据上预训练（如 Chronos、TSPulse），也证明了该适配器的泛化能力。
局限性： 在情绪识别数据集（SEED-V 和 FACED）上，STAMP 的表现不如其他方法。作者推测，当前的 TSFMs 可能无法提取与细粒度情绪识别相关的特征，因为即使切换到 Chronos 嵌入，性能也未显著提高。

意义与主张

本文主张，STAMP 证明了通用时间序列基础模型可以通过最少的额外可训练参数有效地适配 EEG 任务。作者认为，虽然 TSFMs 在“开箱即用”时可能看起来不如 EEGFMs 表现优异，但相对较少的适配——特别是添加位置编码和 token 混合策略——足以实现具有竞争力的结果。

其意义在于，通过利用现有的、大规模预训练的 TSFMs，而不是从头开始训练庞大的领域特定基础模型，有可能降低开发 EEG 解决方案的成本和时间。作者指出，虽然生成初始嵌入需要计算资源，但这可以预先并行完成。他们得出结论，STAMP 为 EEG 数据建模提供了一条灵活且参数高效的途径，尽管他们承认，对于当前 TSFMs 表现不佳的任务（如细粒度情绪识别），仍需进一步探索。