🧬 biology

Cross-Subject Modeling for Widefield Calcium Imaging via Atlas-Aligned Spatiotemporal Tokenization

该论文介绍了 WiCAT，这是一种用于宽场钙成像的多主体基础模型，它利用图谱对齐的时空标记化和自监督预训练，在实现优于单会话基准性能的同时，实现了对未见主体的零样本行为解码和脑区重建。

原作者： Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Hosseini, Eray Erturk, Saba Hashemi, Maryam M. Shanechi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你的大脑是一座规模宏大、繁忙喧嚣的城市。通常情况下，当科学家想要研究这座城市是如何运作时，他们一次只观察一个街区，或者仅仅研究某一个特定人的通勤路线。他们为那个人、那一天、那项特定的任务绘制一张地图。但如果你想要一张适用于所有人、能瞬间生效、且不需要在每位新来者到达时都重新学习街道布局的地图呢？这就是伟大的梦想，直到现在，它一直是一个谜题。

于是，WiCAT 出现了——这是由南加州大学（USC）研究人员开发的一种全新的“大脑翻译器”。你可以把 WiCAT 想象成一位超级聪明的导游，他研究的是整个城市的蓝图（大脑解剖结构），而不是仅仅死记硬背单个游客的行为习惯。

问题所在：太多噪音，太多地图

宽场钙成像（Widefield calcium imaging）就像是一架在脑表面飞行的超高清无人机相机。它能同时捕捉到数百万个神经元的闪烁活动，创造出一段关于大脑运作的宏大、旋转的视频。但问题在于：这些视频规模巨大、杂乱无章，并且充满了“背景噪音”——比如大脑在自发鸣响，或者对一些与当前任务无关的事物做出反应。

由于这种混乱，科学家们通常不得不丢弃单次实验的数据，并为下一次实验重新开始。他们无法轻易地将来自 38 只小鼠、378 个不同记录会话以及两种不同类型任务的数据结合起来，从而构建一个庞大且强大的模型。这就像是通过只读一本书中的一个句子来学习语言，然后就把这本书扔掉，再从另一本书开始重新学习一样。

解决方案：“图谱”妙招

研究人员意识到，虽然每只小鼠都是独特的，但它们的脑部“城市地图”实际上是基于相同的蓝图构建的。为了解决这个问题，他们发明了一种方法，强制要求每一只小鼠的大脑数据都要适配到同一张标准地图上，即 Allen Brain Atlas（艾伦大脑图谱）。

可以这样理解：想象你有 38 个人在各自画着自己房子的地图。有人使用 10x10 的网格，有人使用 20x20 的网格，而且他们把厨房画在的位置也略有不同。WiCAT 会获取所有这些杂乱的图纸，并将它们精准地对齐到一个单一的、完美的、预先绘制好的网格上。突然之间，小鼠 A 的“厨房”就正好与小鼠 B 的“厨房”重合了。

一旦一切都对齐了，WiCAT 会将大脑视频切割成微小的拼图碎片（token），并将其输入到一个巨大的 AI 大脑（Transformer）中，让它去预测缺失的部分看起来是什么样的。这就像是在玩一个游戏：你遮住了 90% 的大脑视频，然后要求 AI 去猜隐藏在下面的内容是什么。为了赢得游戏，AI 必须学会大脑运动和思考的“规则”，而不仅仅是记住它见过的那些特定小鼠的面孔。

魔力所在：零样本（Zero-Shot）超能力

真正的魔力发生在研究人员将 WiCAT 测试在它从未见过的小鼠身上时。

在过去，如果你向旧模型展示一只新小鼠，模型会感到困惑并失败。但 WiCAT 不同。因为它在训练期间已经学习了大脑城市的“通用规则”，所以它只需看一眼全新的小鼠，就能立即开始解码其行为。

零样本行为解码（Zero-Shot Behavior Decoding）： 模型可以观察一只新小鼠，并以惊人的准确度猜出它正在做什么（比如伸手拿杠杆或转头），而无需事先使用该特定小鼠的数据进行练习。这就像是遇到一个陌生人，仅仅因为你研究过人类腿部的蓝图，就能瞬间了解他们的走路方式。
填补空白： 模型甚至可以根据大脑其他部分的活动，猜出它“看不见”的部分（被遮蔽掉的区域）正在发生什么。这就像是即使你看不见房间里的情况，仅通过听走廊里传来的模糊声音，就能听出房间内的对话。

WiCAT 不是什么（以及它排除了什么）

了解这个模型不具备哪些功能非常重要，因为论文对此阐述得非常明确。

它不是一个忽略解剖结构的“一劳永逸”的魔杖。 论文明确反对那些试图在没有地图的情况下进行学习的模型。如果你尝试在不对齐大脑图谱的情况下训练模型，它将无法泛化到新的受试对象。这个“地图”是必不可少的。
它不需要为每一只新小鼠进行重新训练。 论文测试了一些试图学习“特定会话细节”（例如每只小鼠的唯一 ID）的模型。那些模型在面对新小鼠时都失败了。WiCAT 证明了你不需要为每只动物重新训练整个系统；共享的“大脑语言”已经足够了。
它还不是一个“完美”的解决方案。 论文指出，尽管结果很强，但模型仍然依赖于大脑是否被正确对齐。如果地图发生了扭曲或错位，模型的性能就会下降。它很鲁棒，但并非无懈可击。

数据说话（证据）

研究人员并不只是凭感觉猜测；他们进行了测量。

他们利用来自 38 个受试对象、378 个会话的数据进行了训练。
在测试未见过的模型时，Wi-CAT 在 Musall 数据集上的行为解码得分（R²）达到了 0.3274，在 Kondo 数据集上达到了 0.1840。
相比之下，旧的“单会话”模型在同样的测试中，得分分别仅为 0.0477 和 0.0573。这是一个巨大的飞跃！
更棒的是，如果给模型一点点帮助（大约 16 次试验或约 100 秒的记录），它就能进行适应并变得更好，得分分别达到 0.4336 和 0.2869。

核心结论

WiCAT 是迈向“大脑基础模型（Foundation Model）”的重要一步——即一个能够理解不同动物和任务之间通用大脑活动语言的强大 AI。它表明，如果我们能正确对齐数据，并教会 AI 去寻找通用模式而非特定细节，我们就能构建出能够瞬间泛化到新受试对象的模型。

论文并未声称这解决了所有问题，也没有说它适用于所有类型的脑部数据（如深层脑部记录）。但对于宽场钙成像而言，它提出了一个新的方向：停止将每一只大脑视为独特的谜题，开始教 AI 去学习连接它们的共同蓝图。而且最棒的是？代码是开源的，所以任何人都可以尝试在这个“大脑翻译器”的基础上进行构建。

技术摘要：通过对齐图谱的时空标记化实现跨被试建模

问题陈述
宽场钙成像为行为动物的全脑皮层动力学提供了前所未有的获取途径，提供了具有高时间分辨率和广泛空间覆盖范围的中尺度神经活动。然而，此类记录的高维性、复杂的时空结构以及大量的任务无关活动，在历史上限制了建模工作仅能进行单会话或单被试分析。现有的方法通常依赖于特定会话的参数或预处理步骤（如 PCA、LocaNMF），这限制了其可扩展性和跨被试泛化能力。虽然多被试预训练模型在其他神经模态（如脉冲发放、LFP）中已展现出潜力，但在宽场钙成像领域尚未得到验证。此外，实现针对未见被试的受试者不变（subject-invariant）零样本行为解码和神经重建仍然是一个开放性挑战。

方法论：WiCAT
作者引入了 WiCAT（宽场钙成像图谱对齐标记化模型），这是一个多被试基础模型，旨在学习不同被试、会话和数据集之间的共享时空表示。该架构由三个核心组件组成：

基于图谱的标记化（Atlas-Grounded Tokenization）： 为了在具有不同皮层形态和记录设置的被试之间实现参数共享，所有宽场记录都被空间注册到一个共同的解剖参考框架（Allen Brain Atlas Common Coordinate Framework）中，并重采样为统一的空间分辨率（128 × 128）。对齐后的帧被划分为不重叠的时空补丁（patches）。至关重要的是，模型采用了与每个对齐图谱补丁索引相关的全局空间嵌入（global spatial embeddings）。这些嵌入在所有被试、会话和数据集中都是共享的，提供了一种一致的皮层位置表示，而不包含会话特有的成分。
时空 Transformer 主干（Spatiotemporal Transformer Backbone）： 标记化数据由一个应用联合空间和时间注意力的 Transformer 编码器进行处理。使用旋转位置嵌入（RoPE）来编码相对时间信息。模型在一个统一的标记序列上运行，使其能够在单个注意力机制内捕捉跨皮层区域和时间的相互作用。
自监督预训练（MAE）： 模型使用掩码自编码器（MAE）目标进行预训练。在预训练期间，90% 的时空标记在空间和时间维度上被随机掩盖。编码器仅处理未被掩盖的标记，而轻量级 Transformer 解码器则使用均方误差（MSE）损失来重建被掩盖的补丁。关键在于，预训练过程中不提供任何被试、会话或数据集的标识符；模型必须仅依靠稀疏的上下文和共享的全局空间嵌入来重建神经活动。

核心贡献

多被试建模： WiCAT 是第一个将不同被试的神经记录映射到共享表示空间中的宽场钙成像模型，超越了以往工作的单会话限制。
基于图谱的标记化： 作者提出了一种使用全局空间嵌入的标记化方案，该方案能够捕捉受试者不变的解剖结构，从而实现无需会话特定参数的跨被试建模。
具有挑战性的预训练框架： 设计了一个自监督 MAE 框架，通过不访问被试标识符来学习时空表示，迫使模型学习全局动力学而非会话特定的噪声。
零样本能力： 该模型展示了鲁棒的零样本连续行为解码能力，以及在未见被试上的高效少样本适配能力。它还能实现对留出脑区的零样本重建，表明学习到的表示捕捉到了跨被-试且跨区域的依赖关系。
跨数据集迁移： 预训练的表示可以有效地迁移到具有不同记录设置、空间分辨率和行为任务的数据集。

结果
在涵盖 38 个被试和 378 个会话的两个大规模数据集（Musall 和 Kondo）上进行评估，WiCAT 的表现优于包括单会话动力学模型（SBIND）、基于 PCA/LocaNMF 特征的线性回归以及 SBIND 的多会话扩展版本在内的基准模型。

行为解码： 与所有基准模型相比，WiCAT 在微调集和零样本集上均实现了显著更高的行为解码性能（ $R^2$ ）。值得注意的是，在零样本集（未见被试）上，WiCAT 线性探测（Linear probing）实现的 $R^2$ 分数分别为 0.3274 (Musall) 和 0.1840 (Kondo)，大幅超过了次优的多会话基准模型。
零样本泛化： 模型在不对主干或解码器进行任何梯度更新的情况下，在未见被试上保持了强大的性能。
神经重建： 在零样本留出脑区重建任务中，WiCAT 在主要皮层区域（如 SS、VIS、MO）始终实现了比线性跨区域解码器基准更低的重建误差（MSE），并保留了区域特有的时间结构。
消融研究： 移除全局空间嵌入或引入会话特定参数会显著降低零样本性能，证实了所提架构对于跨被试迁移的必要性。此外，MAE 预训练在处理此类模态时优于 JEPA 式预训练。
扩展性： 性能随预训练数据量和模型容量的增加而提升，表明该框架可以有效地利用更大的数据集。

意义
本文将 WiCAT 定位为宽场钙成像迈向“基础模型风格”建模的重要一步。通过证明可以在无需会话特定调优的情况下，在不同被试和会话之间学习共享表示，这项工作解决了神经成像中可扩展性和泛化性的关键障碍。能够在未见被试上执行零样本行为解码和神经重建的能力，表明该模型捕捉到了皮层活动的根本且受试者不变的时空动力学。这种方法促进了学习到的表示在不同动物、会话和实验条件下的复用，有望加速对分布式种群动力学和大规模功能组织的研究。作者指出，虽然目前公开的宽场数据规模小于其他模态，但该框架旨在随着更大、更多样化数据集的出现而进行扩展。