ZIPBrain: Can EEG Foundation Models Be Faster, Locally Deployable, but Accurate?

想象一下，你的大脑就像一座繁忙的城市，不断通过电线发送着数百万条微小的消息。科学家们建造了超级智能的计算机，称为“基础模型”（foundation models），它们可以读取这些电信号（被称为 EEG），从而理解这座城市内部正在发生什么。这些模型就像是卓越的侦探，但它们也非常笨重且缓慢。它们试图阅读每一条消息，哪怕其中许多消息只是静电噪声或重复的低语。因为它们试图同时处理如此庞大的数据，所以需要极其昂贵的大型计算机才能运行，这使得它们很难在小型设备上使用，比如佩戴式头戴设备，或者在对速度要求极高的真实医院场景中应用。

一个核心问题是，研究人员一直在问：我们能否在不降低智能水平的前提下，让这些超级智能的大脑侦探变得更快、更轻量化？答案在于意识到并非所有的脑电消息都是同等重要的。就像在一个嘈杂的派对上，大多数人只是在闲聊天气，而只有少数人在大声宣布重要新闻一样，模型读取的大量数据实际上是冗余的。本文介绍了一种名为 ZIPBrain 的巧妙新工具，它充当了脑电信号的高效“超级编辑”。它不再阅读每一个字，而是快速识别出重要的“新闻”和无聊的“闲聊”，将无聊的部分合并在一起，让计算机只专注于真正重要的事情。这使得智能模型可以在更小的设备上运行得更快，有望将先进的大脑监测技术带到你的掌心之中。

问题所在：太多噪声，时间太少

把一个 EEG 基础模型想象成一名正在参加考试的学生。测试是一个长期的、连续的脑电信号流。为了理解这些信号，模型将其分解成被称为“Token”（标记）的微小块。问题在于，对于长时程的记录，学生必须阅读数以千计的 Token。在计算机科学领域，阅读每一个 Token 并将每一个 Token 与其他所有 Token 进行比较是一项数学上非常繁重的任务。这就像是在尝试将体育场里的每一个人都与其他人进行比较，以寻找长相相似的人；这项工作增长的速度极快，以至于在小型设备上无法快速完成。

此外，脑电信号是出了名的“多噪”。实际的大脑活动往往被背景静电和身体运动所掩盖。这意味着模型读取的大量 Token 实际上只是重复的、无聊信息的副本。这说明由于信噪比较低，许多 Token 本质上是在浪费精力。挑战在于，如何在不需要人工预先观察的情况下，分辨出哪些 Token 是“信号”，哪些是“噪声”。

解决方案：ZIPBrain，智能编辑

作者提出了 ZIPBrain，一种全新的方法，它作为一个“即插即用”的模块。想象你有一份冗长且混乱的故事草稿。你不想从头开始重写整个故事，你只想删掉其中的废话。ZIPBrain 对脑电信号做的是同样的事情，但它是自动完成的，且不需要重新训练模型（重新训练就像是教学生一种全新的阅读方式）。

ZIPBrain 通过四个简单的步骤工作，其策略尊重了脑电数据的独特属性：

1. 寻找“枢轴”（锚点）： 首先，系统查看所有的 Token，并挑选出那些具有最强“能量”（在数学上，即最大的尺寸或范数）的 Token。这些被称为枢轴（Pivots）。可以将它们想象成房间里最有自信、声音最大的说话者。系统决定保留并保护这些枢轴不受干扰，因为它们很可能承载着最重要的结构信息。
2. 识别冗余： 接下来，它将其他所有 Token 与这些强力的枢轴进行比较。如果一个 Token 与某个枢轴看起来非常相似，它就会被标记为“冗余”。这就像意识到房间里的五个人都在说着完全相同的话；你只需要听其中一个人的即可。
3. 匹配与合并： 系统随后将冗余的 Token 与其“唯一”组中最接近的匹配项配对。但这里有一个棘手之处：如果你只是将两个数字取平均值，结果会变得更小、更弱。为了解决这个问题，ZIPBrain 使用了一种特殊的保范数合并（norm-preserving merge）。它对 Token 取平均值，但随后将结果“拉伸”回原来最强 Token 的强度。这确保了在压缩过程中不会丢失任何重要的“能量”或信号强度。
4. 结果： 最终的输出是一个更短、更干净的 Token 列表，它包含了所有重要信息，同时跳过了重复的噪声。

研究发现：更快、更轻，有时甚至更聪明

研究人员在五个不同的数据集上，针对四种不同的最先进 EEG 模型测试了 ZIPBrain，这些数据集涵盖了从癫痫发作检测到睡眠阶段分类的各种场景。结果令人印象深刻。

• 速度： 通过压缩 Token，ZIPBrain 将标准设置下的模型运行时间（墙钟推理时间）缩短了 32.7%。当他们使用一种名为 CUDA Graph 的特殊优化技术（该技术能更高效地组织计算机的工作）时，加速效果提升到了 41.8%。
• 准确性： 出人意料的是，提高模型的运行速度并没有降低其准确性。事实上，与其他 Token 压缩方法（如 ToMe、EViT 等基准方法）相比，ZIPBrain 的平均准确率提升了 1.3% 到 10.5%。虽然它通常能达到原始未压缩模型的性能水平，但在某些特定情况下（例如在 TUAB 数据集上的 BIOT 模型），压缩后的模型表现甚至比未压缩的模型还要好，这表明移除冗余噪声有助于模型专注于真实的信号。
• 压缩率： 即使在进行重度数据压缩（移除高达 80% 的 Token）时，模型的性能依然保持稳定。例如，在 TUEV 数据集上，即使减少了 80% 的 Token，模型仍保持了高准确率，而其他方法则出现了明显的性能下降。

他们排除了哪些方案

论文还测试了一些其他的想法，以观察它们是否有效，并发现一些常见的方法并不适合脑电信号：

• 仅仅剪枝（删除）： 他们尝试在不进行合并的情况下直接删除冗余 Token。虽然这在处理简单任务时表现尚可，但在更复杂的数据库上，其表现不如 ZIPBrain。这表明，仅仅丢弃数据并不如仔细合并数据来保留信号强度那样有效。
• 随机分组： 他们尝试使用随机分组而非智能的“枢轴”系统。这导致了性能的大幅下降，证明了 ZIPBrain 选择保留和合并哪些 Token 的特定方式至关重要。
• 简单平均： 他们尝试使用标准的平均法进行 Token 合并，而没有进行“拉伸”步骤。这也损害了性能，证实了保留信号能量（范数）对于脑电数据是必不可少的。

为什么这很重要

作者认为，ZIPBrain 是将这些强大的脑电模型从实验室带到现实设备中的切实解决方案。因为它具有“无需训练”（不需要重新教导模型）和“即插即用”（可以轻松融入现有系统）的特性，它可以帮助医生在资源受限的设备上（如便携式头戴设备或医院中的边缘计算设备）实现先进的大脑监测。这项研究表明，通过聪明地处理我们所忽略的内容，我们可以让技术既更快又更准确。