Image-to-Brain Signal Generation for Visual Prosthesis with CLIP Guided Multimodal Diffusion Models

本文提出了一种基于 CLIP 引导的多模态扩散变换器框架，通过融合图像与文本嵌入及可学习时空位置编码，实现了从图像到 M/EEG 脑信号的高质量生成，从而填补了视觉假体从图像编码到脑信号解码完整功能链路中的关键空白。

要点

这篇论文讲述了一项非常酷的技术，旨在帮助盲人“重见光明”。我们可以把它想象成是在为视觉假肢（给盲人用的电子眼）编写一套更聪明的“翻译软件”。

为了让你更容易理解，我们可以把整个过程比作**“从照片到脑电波的魔法翻译”**。

1. 核心问题：为什么盲人看不见？

想象一下，盲人的眼睛（或者视网膜）坏了，无法把看到的画面传给大脑。现在的视觉假肢就像是一个**“翻译官”**：

• 输入端：摄像头拍下一张照片。
• 输出端：假肢给大脑发送电信号，让盲人感觉到光点（就像看到星星闪烁一样）。

以前的痛点：
以前的“翻译官”不太聪明。它只能把照片变成一些简单的、乱糟糟的电信号。这就好比你想让翻译官把《红楼梦》翻译成外语，结果它只给你翻译了几个乱码单词。盲人看到的画面模糊不清，甚至根本认不出是什么。

2. 这项新发明做了什么？

这篇论文提出了一种新的**“超级翻译官”（也就是他们的模型），它能把一张普通的照片，直接“翻译”成大脑真正会产生的电信号（脑电波 M/EEG）**。

如果这个翻译官足够好，盲人戴上假肢后，看到的画面就会非常清晰、逼真，就像真的用眼睛看一样。

3. 它是如何工作的？（三个魔法步骤）

这个“超级翻译官”用了三个很厉害的魔法工具：

魔法一：CLIP 指南针（看懂画面和文字）

以前的翻译官只看图，不懂图里的“意思”。

• 做法：这个新模型不仅看照片，还会请一位**“大作家”（大语言模型 LLM）**给照片写一段生动的描述（比如：“一只毛茸茸的小狗坐在木甲板上”）。
• 比喻：就像你不仅给翻译官看一张“猫”的照片，还告诉他：“这是一只正在睡觉的橘猫，看起来很懒。”
• 作用：这样模型就能抓住画面的核心灵魂（不仅仅是像素，还有含义），翻译出来的信号才更像大脑真正会产生的信号。

魔法二：扩散 Transformer（像“去噪”一样生成信号）

生成脑电波很难，因为脑电波很复杂，像是一团乱麻。

• 做法：他们使用了一种叫**“扩散模型”**的技术。想象一下，你有一杯混了泥沙的浑水（噪声），模型的任务是慢慢把泥沙过滤掉，最后变回一杯清澈的水（真实的脑电波）。
• 比喻：这就像是一个**“脑电波雕刻师”**。它从一团模糊的噪音开始，一点点雕刻、打磨，直到它变成一张清晰、符合大脑生理结构的“脑电波画像”。

魔法三：时空定位器（记住位置和节奏）

大脑的信号有两个特点：位置（哪个脑区在动）和时间（什么时候动）。

• 做法：模型给每个信号都贴上了“地址标签”（这是枕叶的信号）和“时间戳”（这是第 0.1 秒的信号）。
• 比喻：就像给大脑里的每个小工人发了一张**“工位卡”和“时刻表”**。这样模型就知道，处理视觉的“视觉区工人”应该在“早上 8 点”开始工作，而不是让“听觉区工人”在半夜乱跑。这保证了生成的信号在空间和时间上都非常真实。

4. 效果怎么样？

研究人员用两个巨大的数据库（THINGS-EEG2 和 THINGS-MEG）来测试这个模型。这些数据库里存了成千上万张图片和对应的人脑反应。

• 结果：这个新模型生成的脑电波，和真实人脑看到的画面产生的脑电波非常像（相似度很高）。
• 对比：以前的方法生成的信号像“乱码”，而这个新方法生成的信号像“高清电影”。

5. 总结：这对盲人意味着什么？

这项技术就像是给视觉假肢装上了一个**“懂大脑的翻译器”**。

• 以前：盲人戴上假肢，看到的可能是模糊的光斑，像看老式电视的雪花屏。
• 未来：有了这个技术，盲人戴上假肢，可能就能清晰地看到亲人的脸、路边的树，甚至能认出那是“一只在睡觉的橘猫”。

一句话总结：
这篇论文发明了一种**“懂画意、懂脑波”的 AI，它能把照片完美地“翻译”成大脑能听懂的语言，让未来的盲人假肢不再是“瞎子摸象”，而是能真正帮盲人“看见”**世界。

技术摘要

这是一篇关于**视觉假体（Visual Prosthesis）中图像到脑信号生成（Image-to-Brain Signal Generation）**技术的学术论文总结。该研究旨在解决视觉假体系统中“大脑编码”（Brain Encoding）阶段的缺失，即如何将外部图像转化为能够刺激视网膜或大脑产生视觉感知的脑电信号（M/EEG）。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 背景：视觉假体旨在帮助盲人恢复部分视力。其工作流程通常包含两个阶段：
  1. 大脑解码（Brain Decoding）：从脑信号（如 fMRI, EEG）重建图像（已有较多研究，如 MindEye, MindBridge）。
  2. 大脑编码（Brain Encoding）：将外部图像转化为刺激信号（如 M/EEG 信号），以通过电极阵列刺激视觉皮层产生“光幻视”（Phosphene）。
• 现有挑战：
  • 大脑编码研究进展缓慢。现有方法多使用 MNIST 或 COCO 等纯图像数据集，缺乏真实的脑信号作为监督信号来验证生成刺激的生物学合理性。
  • 缺乏能够直接生成生物可信的 M/EEG 信号的端到端框架，导致视觉假体的恢复效果停留在初级水平。
• 核心目标：构建一个从图像到**脑信号（M/EEG）**的生成框架，生成具有生物学合理性的脑信号，用于视觉假体的刺激预测。

2. 方法论 (Methodology)

作者提出了一种基于**CLIP 引导的多模态扩散模型（CLIP Guided Multimodal Diffusion Models）**的图像到脑信号框架。

2.1 核心架构：扩散 Transformer (DiT)

• 采用基于去噪扩散隐式模型（DDIM）的扩散 Transformer (DiT) 架构。
• 优势：相比传统的 U-Net 架构，DiT 具有更好的可扩展性；相比 DDPM，DDIM 提供了更快的采样速度且保持生成质量。
• 任务：学习从加噪的脑信号中预测噪声，从而在推理阶段从纯高斯噪声中逐步去噪生成目标脑信号。

2.2 跨模态对齐机制：交叉注意力 (Cross-Attention)

为了实现图像到脑信号的映射，模型设计了交叉注意力机制：

• Query (Q)：脑信号的 Patch Embeddings（待生成的脑信号特征）。
• Key (K) & Value (V)：统一视觉 - 语义嵌入（Unified Visual-Semantic Embeddings）。
  • 该嵌入由两部分拼接而成：
    1. CLIP 图像嵌入：使用 ViT-L/14 提取图像的视觉特征。
    2. CLIP 文本嵌入：利用大语言模型（LLM，具体为 Qwen2-VL-2B-Instruct）为图像生成描述性标题（Caption），再通过 CLIP 文本编码器提取语义特征。
• 作用：这种设计不仅利用了图像的视觉信息，还通过 LLM 生成的文本描述捕捉了图像的核心语义信息，增强了模型对复杂场景的理解能力。

2.3 可学习的时空位置编码 (Learnable Spatio-Temporal Position Embeddings)

脑信号具有独特的时空特性，作者设计了专门的位置编码：

• 脑区嵌入 (Brain Region Embeddings)：根据电极位置将脑信号通道划分为不同脑区（如额叶、顶叶、枕叶等），每个区域学习一个嵌入向量，捕捉空间分布特征。
• 时间嵌入 (Temporal Embeddings)：捕捉信号随时间变化的动态特征。
• 组合方式：$e_{pos} = e_{region} + e_{temporal}$。这种加法组合使模型能同时感知信号的空间来源和时间上下文。

3. 主要贡献 (Key Contributions)

1. 首创框架：提出了首个基于扩散 Transformer 的图像到 M/EEG 信号生成框架，填补了视觉假体“大脑编码”阶段的技术空白。
2. 多模态对齐创新：设计了独特的交叉注意力机制，将脑信号作为 Query，并将"CLIP 图像嵌入 + LLM 生成的文本嵌入”作为 Key/Value，有效融合了视觉与深层语义信息。
3. 时空建模：引入了可学习的时空位置编码，显式地建模了脑信号的空间（脑区）和时间特性，更符合神经生理结构。
4. 实证验证：在两个大规模多模态数据集（THINGS-EEG2 和 THINGS-MEG）上进行了广泛实验，证明了生成信号的生物学合理性。

4. 实验结果 (Results)

实验在 THINGS-EEG2（10 名受试者，63 通道 EEG）和 THINGS-MEG（4 名受试者，271 通道 MEG）数据集上进行。

• 评估指标：均方误差 (MSE)、皮尔逊相关系数 (Pearson)、余弦相似度 (Cosine)、同步似然度 (Synchronization Likelihood, SL)。
• 性能表现：
  • 受试者内（Within-subject）：该方法在所有指标上均显著优于传统编码模型（如 Güçlü et al., Yamins et al.）和最新的生成式基线（SynBrain）。
    • 例如在 THINGS-EEG2 上，Pearson 相关系数达到 0.425（基线约 0.20-0.36），MSE 降至 0.109。
  • 受试者间（Cross-subject）：虽然受个体差异影响性能有所下降，但模型仍展现出一定的泛化能力。
• 消融实验：
  • 移除 LLM 生成的文本嵌入、脑区嵌入或时间嵌入均会导致性能下降，证明了各组件的必要性。
  • LLM 选择：使用 Qwen2-VL-2B-Instruct 生成的标题在语义对齐度（CLIP Score）和最终生成效果上均优于 VisualGLM 和 MiniGPT-4，且参数量更小，效率更高。
  • 脑区分析：移除枕叶（Occipital）区域通道对性能影响最大，符合神经科学中枕叶是视觉处理核心区域的认知。

5. 意义与影响 (Significance)

• 技术突破：为视觉假体提供了一个完整的“图像 $\to$ 脑信号”的闭环解决方案，使得通过计算模型预测更自然的刺激信号成为可能，有望提升盲人的视觉恢复质量。
• 神经科学价值：该框架提供了一个显式的、量化的工具，用于研究视觉信息如何在脑信号中表征，有助于验证关于视觉皮层层级处理（从 V1 到 IT 皮层）的假设。
• 社会影响：通过生成更生物可信的脑信号，有望改善视觉假体用户的视觉体验，提高其生活质量。

总结：该论文通过结合扩散模型、CLIP 多模态表示、大语言模型语义增强以及针对脑信号特性的时空编码，成功构建了一个高精度的图像到脑信号生成系统，为下一代智能视觉假体的研发奠定了重要基础。