🤖 AI

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

Mind-Omi 引入了一个统一的多任务框架，该框架利用一种新颖的离散扩散范式和脑标记器将连续神经信号转化为离散标记，从而在七个不同的脑 - 视觉 - 语言任务中实现灵活的编码、解码与推理，并通过多任务协同达到最先进的性能。

原作者： Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你的大脑是一座庞大而繁忙的图书馆，你经历的每一个想法、图像和单词都以独特而复杂的代码形式存储其中。多年来，试图解读这座图书馆的科学家们不得不为每一项任务聘请不同的专家。一位专家只能将大脑信号翻译成图像，另一位只能将它们转化为文字，第三位则只能做相反的工作。他们就像单功能的瑞士军刀：擅长一件事，但对其他任何事都无能为力。

这篇论文介绍了Mind-Omni，一种改变游戏规则的新型“通用翻译器”。它不再需要聘请一支专家团队，而是一个单一、多功能的框架，能够同时处理七项不同的任务。它可以接收一张图片并推测你的大脑正在思考什么，接收你的脑电波并重构你所看到的图像，将你的想法转化为文字，甚至根据你所见的内容回答问题。

以下是其工作原理，借助一些简单的类比来说明：

1. 问题：说着不同的语言

大脑说着一种连续而杂乱的语言（就像一条流动的电流之河）。计算机则说着一种离散而块状的语言（就像乐高积木）。以往的模型试图在这两者之间搭建桥梁，但这些桥梁往往摇摇欲坠，或者只能单向工作。

2. 解决方案：“大脑分词器”

为了解决这个问题，研究人员构建了一种名为大脑分词器（Brain Tokenizer）的特殊工具。你可以把它想象成一个通用的货币兑换亭。

它将连续流动的脑信号（fMRI 数据）之河切割成标准的“硬币”或令牌（tokens）。
这些令牌现在成为了图像和文字所使用的同一种“货币”。
突然间，大脑、相机和键盘都在说着同一种语言。它们现在可以直接相互对话，而无需为每一句特定的话配备专门的翻译。

3. 引擎：“离散扩散”模型

当所有事物都说着同一种语言后，Mind-Omni 利用一种名为离散扩散（Discrete Diffusion）的巧妙引擎。

想象一个“传话”游戏：有人低声传递一条信息，但信息在传递过程中被轻微的静电干扰所扭曲。
大多数 AI 模型试图逐个猜测句子中的下一个词（就像从左到右阅读一本书）。
Mind-Omni 则不同。它一次性审视整个被扭曲的信息，并找出如何消除静电干扰，从而揭示出原始的图像或句子。由于它不必按严格顺序进行猜测，它能够看到不同部分（图像、文本和大脑）是如何相互辅助的。

4. “顿悟”时刻：协同效应

这篇论文中最令人兴奋的发现是协同效应（Synergy）。

当模型尝试将大脑信号同时解码为图像和描述时，其效果优于分别进行这两项任务。
类比：这就像试图猜测电影情节。如果你只有视觉线索，可能会错过背景语境；如果你只有对话，可能会错过场景设定。但如果你同时拥有两者，你就能更好地理解故事。
论文表明，大脑本身也是如此：当我们看到一张图像时，我们的大脑会自动调用语言和概念来理解它。Mind-Omni 模仿了这种自然的"1 + 1 = 3"效应。

5. 它能做什么？（七项任务）

Mind-Omni 是一把“瑞士军刀”，能够：

从看到想：给它一张图片，它就能预测你的大脑看起来是什么样。
从想到看：读取你的脑电波，并画出你正在想象的图像。
从读到想：给它一个句子，它就能预测你的大脑活动。
从想到读：读取你的脑电波，并写出你正在思考的内容。
组合模式：它可以同时完成上述所有任务，混合图像和文本以获得更好的结果。
问答测试：它甚至可以通过观察你的大脑活动来回答关于你所见内容的问题（大脑问答）。

核心结论

作者声称，Mind-Omni 不仅仅是一系列技巧的集合；它是迈向**“大脑基础模型”**的一步。正如大型语言模型（就像你现在正在与之对话的这个模型）学会了理解几乎任何文本一样，Mind-Omni 旨在成为第一个能够理解我们的大脑、我们看到的图像以及我们说出的词语之间几乎任何交互的模型。

虽然它尚未在每一项任务上都超越每一个专门的模型（毕竟它仍然是一个通才），但它证明了通过统一这些任务，我们可以解锁对大脑运作方式的更深层次理解，表明我们的思想、视觉和语言是紧密相连的。

技术摘要：Mind-Omni

1. 问题陈述

当前脑机接口（BCI）与神经建模的研究主要受限于专用单任务模型的范式。现有方法通常聚焦于孤立的优化目标，例如图像重建（解码）或刺激预测（编码），往往依赖于针对单一方向优化的“专家模型”。这种专业化限制了模型的通用性，忽视了不同神经任务之间潜在的协同关系，且未能提供一个统一的计算框架来理解支配视觉、语言与神经信号的内在机制。

此外，构建统一模型面临三大实质性挑战：

输入异质性：受试者间的解剖结构差异阻碍了脑信号的直接整合，而现有的对齐方法往往扩展性差或牺牲信息保真度。
模态差异：连续脑信号（如 fMRI）与离散视觉/文本标记之间存在持久的语义鸿沟，导致直接的跨模态融合效果不佳。
任务相互依赖性：不同编码与解码任务之间的关系尚不明确。虽然专用模型假设任务相互独立，但人们推测共享的神经表征可能实现正向迁移，但这需要统一的架构来进行验证。

2. 方法论：Mind-Omni

为应对上述挑战，作者提出了Mind-Omni，这是首个通过离散扩散范式统一七种不同编码与解码任务（涉及脑、图像和文本模态）的通用框架。该框架包含两个主要组件：

A. 标准化神经表征

为处理受试者间的变异性，该框架将所有功能数据配准至MNI152 标准空间。这在受试者间建立了 consistent 的结构空间维度，提供了可扩展的基础，并减少了对受试者特定模块的需求。

B. 脑 Tokenizer

一种新颖的脑 Tokenizer将异质的连续 fMRI 信号转化为标准化的离散标记，使其与图像和文本表征对齐。该 Tokenizer 采用 VQ-VAE 风格的骨干网络，并辅以三种特定的对齐策略以弥合模态鸿沟：

粗粒度对齐：利用三模态对比损失（InfoNCE）和特征蒸馏，将全局 fMRI 特征与 CLIP 图像及文本特征在共享语义空间中对齐。
细粒度对齐：利用交叉注意力解码器，基于 fMRI 标记序列预测被掩码的文本标记，以优化标记级的语义一致性。
感知对齐：通过强制要求从重建中预测的特征与刺激的 ground-truth CLIP 特征相匹配，确保重建的 fMRI 信号具有语义意义。

C. 统一离散扩散框架

Mind-Omni 并未组合单独的任务特定模块，而是利用离散扩散建模（基于 Muddit 架构初始化）来创建单一的生成过程。

架构：该模型通过添加专用的输入/输出层以及针对脑分支的对称 Q、K、V 投影层，将双模态 Muddit 骨干网络扩展为三模态结构（图像、文本、脑）。
训练目标：每个任务都被表述为条件化掩码标记预测问题。在训练期间，根据时间相关的余弦调度，通过用 [MASK] 标记替换标记来破坏目标模态。模型学习在给定干净条件标记的情况下恢复这些被掩码的标记。
任务统一：通过策略性地定义条件模态集合（ $C$ $C$ ）和目标模态集合（ $T$ $T$ ），单一目标函数统一了七项任务：
1. $I \to B$ （图像到脑）
2. $T \to B$ （文本到脑）
3. $I\&T \to B$ （联合图像 - 文本到脑）
4. $B \to I$ （脑到图像）
5. $B \to T$ （脑到文本）
6. $B \to I\&T$ （联合脑到图像 - 文本）
7. 脑问答（BQA）：一种新颖的指令微调任务，模型基于脑信号和问题生成答案。

D. 数据构建

作者构建了一个专门的脑问答（BQA）指令微调数据集。利用Qwen2-VL (7B)和LLaVA-Instruct-150K，他们合成了多样化的训练样本，包括详细描述、简洁摘要和推理问答对，以解锁高级推理能力。

3. 主要贡献

范式转变：Mind-Omni 是首个在单一离散扩散架构中统一脑、图像和文本跨七种不同神经编码与解码任务的框架，超越了主导的专用模型范式。
新颖的跨模态融合：引入脑 Tokenizer弥合了神经信号与视觉 - 文本数据之间的鸿沟，实现了共享语义空间中的直接、标记级交互。
多任务协同的实证：该工作为联合神经建模中的协同效应提供了实证证据，表明统一训练可以产生与大型专用模型相当甚至更优的性能。

4. 实验结果

模型在来自 8 名受试者（自然场景数据集）的 fMRI 数据上进行训练，并在受试者 1、2、5 和 7 上进行了评估。

整体性能：Mind-Omni 在统一框架中确立了新的最先进（SOTA）水平。虽然在 $B \to I$ 重建等特定低级指标上可能略逊于专用单任务模型（如 MindEye2），但它在全部七项任务中保持了具有竞争力的性能，这是其他任何统一模型所不具备的能力。
神经解码：
- 视觉重建：该模型在低级（像素相关性、SSIM）和高级（AlexNet、CLIP）指标上均取得了具有竞争力的性能。
- 语言解码：在详细描述和推理任务上，与 UMBRAE 和 OneLLM 等专用模型相比，Mind-Omni 展现了主导的 SOTA 性能。值得注意的是，Mind-Omni 实现了这一目标而无需依赖外部冻结的大语言模型（不像 UMBRAE 和 OneLLM 使用 Vicuna-13B 或 LLaMA2），这表明其理解更深层地植根于脑信号。
神经编码：该模型在体素和语义空间的所有指标（PCC、MSE、RSA）上均优于多任务基线（BraVL、MoPoE）。
协同效应：
- 模态间互补性：联合编码（ $I\&T \to B$ ）始终优于单模态编码，捕捉了大脑对视觉和语义信息的自然整合。
- 任务间协同：联合解码（ $B \to I\&T$ ）相比单任务解码改善了图像和字幕输出，丰富了字幕的视觉细节并抑制了伪影。
计算测试平台：该框架成功复现了已知的类别选择性脑区（例如 EBA 对应身体、FFA 对应面孔、PPA 对应地点），并探测了新颖的概念选择性区域，验证了其在神经科学探索中的实用性。

5. 意义与主张

作者声称，Mind-Omni 为神经建模提供了一种强大的新范式。通过证明统一的多任务方法可以达到与专用模型相当甚至更优的性能，该工作验证了多任务协同在神经解码中的有效性。

该论文将 Mind-Omni 定位为不仅仅是性能基准，更是揭示视觉、语言与神经信号之间内在关系的计算测试平台。它为神经活动基础模型铺平了道路，表明单一架构可以有效模拟大脑认知的复杂分布特性。作者强调，他们的方法利用离散扩散的排列不变性，避免了自回归模型（强加序列依赖性）的混淆偏差，从而允许对跨任务协同进行无偏见的研究。

代码已公开，作者计划发布处理后的 fMRI 数据和指令微调数据集，以促进进一步的研究。