🧬 biology

Task-guided cross-subject latent alignment: a multi-encoder-decoder VAE

本文介绍了多编码器-解码器变分自编码器（MED-VAE），该框架通过将神经表示锚定到由预训练人工神经网络提供的共同支架上，在不需要共享刺激的情况下，实现了卓越的跨受试者神经对齐和可泛化的解码。

原作者： Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Angeliki Papathanasiou, Jascha Achterberg, Thomas E. Nichols, Rui Ponte Costa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你正在尝试翻译一本用秘密代码编写的书。问题在于，有 8 个不同的人，每个人都有自己独特的代码版本。尽管他们读的是完全相同的故事，但 A 先生将“苹果”写成“红色的水果圆圈”，B 先生将其写成“脆甜”，而 C 先生将其写成“果园-1”。

如果你想了解他们在思考故事中的什么内容，你不能直接比较他们的笔记，因为词汇并不匹配。传统上，科学家试图通过让每个人阅读相同的 872 页书来解决这个问题，从而建立一个基于这些共享页面的词典。但如果这些人阅读的是不同的书，或者页面并不重叠呢？旧的方法就会失效。

这篇论文介绍了一种名为 MED-VAE 的新工具，它解决了这个问题，且不需要每个人都阅读相同的页面。以下是它的工作原理，使用简单的类比：

1. “通用翻译器”（ANN 支架）

与其强迫人们直接进行交流，研究人员引入了一个通用翻译器（一种人工神经网络，具体为 ResNet-50）。这个翻译器已经阅读了数百万张图像，并且非常清楚一个标准的、“完美”的“苹果”、“汽车”或“人”是什么样子的。

旧方法： 你要求 A 先生和 B 先生描述同一个苹果，然后你尝试匹配他们的描述。
新方法： 你要求 A 先生描述这个苹果，同时要求 B 先生也描述这个苹果。然后，你要求两人都将他们的描述翻译成通用翻译器的语言。

因为通用翻译器对“苹果”有一个完美的共同定义，所以即使 A 先生和 B 先生从未交谈过，他们在向它表达时也会被迫“说同一种语言”。

2. “双向通道”（架构）

研究人员构建了一个具有两个侧面的机器：

输入侧： 每个人都有自己的私人翻译器，将他们的脑电波（fMRI）转化为通用翻译器的语言。
输出侧： 有一个共享解码器，试图将那种“通用语言”转回通用翻译器原始的“完美”图像特征。

神奇之处在于，该机器被训练为同时完成两件事：

确保通用翻译器的语言可以被转回一张完美的图像。
确保通用翻译器的语言可以被转回那个特定人的脑电波。

这在每个人的脑电波之间产生了一种“压力”。为了满足机器的要求，当 A 先生和 B 先生看到相似的事物（如猫）时，他们的脑电波必须最终落在“通用语言”中的完全相同的位置，即使他们看到的图片整体上是不同的。

3. 结果：更好的地图

当研究人员测试此方法时，他们发现了三个主要发现：

整齐有序的图书馆： 在新的共享空间中，“书”（图像）是按类别完美分类的。如果你观察数据的地图，所有的“动物”都在一个簇中，而所有的“车辆”都在另一个簇中。旧方法就像一个混乱的堆积物，动物和汽车混杂在一起。
无需“共享页面”： 旧方法（如 SRM 和 Procrustes）需要每个人观看相同的 872 张图像才能学习如何对齐。MED-VAE 则不需要。它仅仅通过使用通用翻译器作为引导，就学会了这种对齐。
更好的预测能力： 由于对齐效果极佳，如果你提取 A 先生的脑电波活动，将其翻译成通用语言，然后再将其翻译回 B 先生的脑电波语言，你会得到一个非常准确的关于 B 先生脑电波活动的预测。这就像是仅通过观察 A 先生的数据，就能读懂 B 先生的思想，而无需见过 B 先生的数据。

4. “噪声”过滤器

一个有趣的发现是关于“噪声”的问题。旧方法似乎在实验过程中能更好地重建精确的脑电波，然而研究人员意识到，这是因为旧方法在无意中记住了实验那一刻发生的“静态”或“噪声”（例如人的心跳或呼吸）。

当他们在新的试验中测试这些方法（检查信号是真实的还是噪声）时，旧方法失败了。然而，MED-VAE 忽略了噪声并保留了真实的信号。这就像旧方法在记录语音的同时也记录了背景杂音，而 MED-VAE 则过滤掉了杂音，只保留了清晰的人声。

总结

这篇论文提出了一种在不需要人们观看相同图片的情况下，对齐不同人脑电波活动的方法。它通过使用预训练的 AI 作为“共同基础”或支架来实现这一点。这创造了一个共享的精神地图，使得不同的脑电波可以进行比较，从而让我们更好地理解人类是如何看待世界的，并允许我们基于一个人的脑电波来预测另一个人的脑电波。

技术摘要：通过多编码器-解码器 VAE 实现任务引导的跨被试潜空间对齐

问题陈述

对齐不同个体间的神经活动对于发现共享的计算原理以及构建具有泛化能力的解码器在系统神经科学中至关重要。然而，传统的对齐方法（如共享响应模型 SRM、Procrustes 分析、Hyperalignment）依赖于一个关键约束：它们需要所有受试者共同观看的共享刺激来推导变换矩阵。这一局限性严重限制了其在自然主义范式中的应用，因为在这些范式中，受试者观看的图像往往是高度非重叠或非共享的，从而阻碍了大规模、跨研究神经影像数据集的聚合。此外，仅针对共享子集进行训练的方法在处理持留（held-out）、非共享刺激时往往表现不佳，因为它们的对齐变换可能无法捕捉到更广泛数据集所需的完整表征空间。

方法论：MED-VAE

作者引入了多编码器-解码器变分自编码器（Multi-Encoder-Decoder Variational Autoencoder, MED-VAE），这是一个旨在无需共享刺激即可实现跨被试对齐的框架。其核心思想是利用预训练的人工神经网络（ANN）作为计算“支架”（scaffold），将来自不同受试者的表征锚定到一个共同的潜空间中。

架构

MED-VAE 采用多路径架构：

被试特异性编码器： 每个受试者 $i$ 都有一个专用的编码器（ $Enc_{fMRI}^i$ ），将他们的 fMRI 响应（ $x_{fMRI}^i$ ）映射到共享的 $d$ 维潜空间（ $z_i$ ）。
共享 ANN 编码器： 一个共享编码器（ $Enc_{ANN}$ ）将预训练 ANN（具体为 ResNet-50）的特征映射到相同的潜空间。
被试特异性解码器： 每个受试者都有一个专用的解码器（ $Dec_{fMRI}^i$ ），从潜空间重建其原始的体素模式。
共享 ANN 解码器： 一个通用的解码器（ $Dec_{ANN}$ ）从任何潜表征（无论是源自 fMRI 还是来自 ANN 本身）重建 ANN 特征。

训练目标

该模型使用结合了 KL 正则化的损失函数进行训练，整合了四条重建路径：

模态内 fMRI： 从受试者自身的潜码重建其 fMRI 数据。
跨模态 ANN $\to$ fMRI： 从 ANN 编码器生成的潜码重建受试者的 fMRI 数据。
模态内 ANN： 从 ANN 编码器的潜码重建 ANN 特征。
跨模态 fMRI $\to$ ANN： 从受试者由 fMRI 衍生的潜码重建 ANN 特征。

共享的 ANN 解码器是主要的对齐机制。通过强制所有受试者的潜表征重建相同的层次化视觉特征和语义关系（这些特征由 ANN 编码），模型施加了一种隐式的对齐压力。这确保了语义相似的刺激（即使由不同受试者观看）也会映射到潜空间中相近的位置。至关重要的是，ANN 支架仅在训练期间是必需的；在推理阶段，受试者仅通过其 fMRI 编码器即可投影到共享空间中。

核心贡献

消除共享刺激的需求： MED-VAE 无需受试者观看完全相同的刺激即可实现跨被试对齐，而是依赖于预训练 ANN 的结构先验。
语义组织： 该方法产生的潜空间具有更优越的语义组织能力，表现为与传统方法相比具有更高的轮廓系数（silhouette scores）和更好的跨被试类别解码准确率。
鲁棒的泛化能力： 与在非共享刺激上性能下降的传统方法不同，MED-VAE 展示了强大的泛化能力，能够捕捉受试者不变的表征，而非仅仅过拟合于特定的共享子集。
信号保留： 跨试次（cross-trial）评估表明，虽然传统方法可能表现出较高的试次内重建水平（通常捕捉的是试次特定噪声），但 MED-VAE 在抑制噪声的同时保留了同等水平的刺激驱动信号。
下游实用性： 对齐后的空间支持卓越的跨被试神经预测和图像解码，允许利用一个受试者的潜表征来重建另一个受试者的脑活动。

结果

实验使用了 Natural Scenes Dataset (NSD)，涉及 8 名受试者观看约 10,000 张几乎没有重叠的自然图像。

语义结构： MED-VAE 潜空间的轮廓系数（0.34）显著高于 SRM (0.22) 和 Procrustes (0.21)，表明其具有连贯的语义类别聚类。留一受试者（leave-one-subject-out）解码也显示 MED-VAE 具有更高的准确率。
对齐指标： MED-VAE 实现了更高的分量相关性（0.64 vs. 0.52/0.45）和表征相似性分析（RSA）得分（0.63 vs. 0.41/0.41），优于基准方法。
泛化差距： 传统方法（SRM, Procrustes）在评估半共享持留集（128 张图像）时，性能较训练集出现明显下降，而 MED-VAE 保持了稳定的性能，表明其并不依赖刺激重叠来进行对齐。
跨被试检索： MED-VAE 在持留集上的 Top-1 检索准确率达到 46.2%，是 SRM (21.8%) 和 Procrustes (18.4%) 的两倍多。
噪声 vs. 信号： 试次内重建指标更倾向于传统方法，但跨试次评估（将试次 $i$ 的重建结果与试次 $j$ 的真实值进行相关性分析）显示各方法之间没有显著差异。这证实了传统方法的优势在于重建了试次特定噪声，而 MED-VAE 同样有效地保留了刺激驱动的信号。
图像解码： 当将跨被试预测输入到冻结的 MindEye2 解码器时，MED-VAE 在高层语义度量（如 CLIP 相似度、Inception 分数）方面优于基准方法，尤其是在低维（32D）空间中。

意义与主张

论文声称 MED-VAE 提供了一个框架，可以在无需共享刺激这一瓶颈的情况下，识别用于跨被试预测和下游任务的可泛化公共子空间。通过用预训练 ANN 的隐式约束取代显式的刺激匹配，该方法实现了：

群体级分析： 处理来自不同扫描协议或观看不同刺激的受试者数据。
跨被试神经预测： 以及以极低的单受试者校准成本进行图像解码。
数据增强： 通过借鉴已对齐的数据，为扫描时间有限的受试者提供数据支持。

作者强调，该公共空间捕捉的是视觉表征的计算组织（类别结构和语义关系），而非任意的统计对应关系。他们指出，对齐质量从根本上受限于所选 ANN 支架（例如 ResNet-50）的模型-大脑对应关系，这表明在未来工作中，具有更强动态或时间建模能力的支架可以进一步提升对齐效果。该框架被视为迈向聚合跨研究和跨个体神经数据，从而开展更强大神经科学研究的重要一步。