HAVIR: HierArchical Vision to Image Reconstruction using CLIP-Guided Versatile Diffusion

HAVIR 技术摘要：基于 CLIP 引导的多功能扩散模型的层次化视觉到图像重建

问题陈述
从大脑活动（fMRI）中重建视觉刺激旨在架起神经科学与计算机视觉之间的桥梁。然而，现有方法在准确恢复高度复杂的视觉场景方面仍面临困难。作者指出，这种局限性源于自然场景的内在特性：低层特征具有高度异质性（例如，无结构的纹理、被遮挡的边缘），而高层特征则表现出语义纠缠（例如，多维度的语义信息和模糊的上下文关系）。目前的方法往往无法实现忠实保留结构特征并同时表示核心语义信息所需的协同优化，导致重建结果缺乏感知细节或语义准确性。

方法论
受视觉皮层层次化表征理论（即早期视觉区处理低层特征如形状、位置，而前部区域处理高层语义内容）的启发，作者提出了 HAVIR（HierArchical Vision to Image Reconstruction，层次化视觉到图像重建）。该框架将 fMRI 信号分解为两条不同的路径，以解决结构与语义解耦的挑战：

1. 结构生成器（Structural Generator）： 该组件从空间处理体素（低级视觉皮层区域）中提取特征。它将这些信号转换为潜在扩散先验（$z'_{img}$）。生成器使用由均方误差（MSE）和 Sobel 损失组成的复合损失函数进行训练，以确保预测的潜在变量与真实值之间的结构对齐和边缘感知一致性。
2. 语义提取器（Semantic Extractor）： 该组件处理语义处理体素（高级视觉皮层区域）。它将这些信号转化为 CLIP 图像和文本嵌入（$e'_{img}$ 和 $e'_{cap}$），作为条件约束。提取器通过结合 SoftCLIP 损失（用于对比对齐）和 MSE 损失进行优化，以确保与源自图像描述的参考 CLIP 嵌入直接保持一致。
3. 多功能扩散（Versatile Diffusion, VD）集成： 预训练的多功能扩散模型通过整合结构先验和语义约束来合成最终图像。该过程以结构潜在变量 $z'_{img}$ 开始，根据结构强度系数添加受控噪声。在去噪步骤期间，交叉注意力机制利用双模态 CLIP 嵌入引导 UNet，使模型能够迭代地细化潜在向量，从而在保留空间拓扑结构的同时保留高层语义。

一个关键的方法论区别在于使用了个体化脑区掩码，其边界通过人工划分的感兴趣区域（ROI）确定，而非使用标准化模板，以此来应对受试者间的神经解剖变异性。

核心贡献
本文概述了三项主要贡献：

1. 层次化分解： 作者提出将 fMRI 信号分解为结构体素和语义体素，反映了视觉系统的层次化处理过程。这种“分而治之”的策略通过解构结构与语义，增强了解码能力。
2. 专门化模块： 设计了结构生成器和语义提取器，分别从对应的低级和高级皮层区域解码空间和语义信息，并将其转化为潜在扩散变量和 CLIP 嵌入。
3. 受试者特异性精度： 采用带有手动定义 ROI 边界的个体化脑掩码，以实现针对特定受试者的精确大脑解码，解决了标准化模板在处理个体间差异方面的局限性。

实验结果
该模型在涉及四名受试者观看 COCO 图像的自然场景数据集（NSD）上进行了评估。

• 定性性能： HAVIR 展示了重建复杂场景的卓越能力，能够准确保留空间布局（如物体位置、背景纹理）和语义细节（如特定颜色、光照条件），而现有方法（BrainGuard, NeuroPictor, Psychometry, MindBridge, MindEye）在这些方面表现不佳或产生了伪影。
• 定量性能： HAVIR 在多个指标上均优于现有最先进的方法。它实现了最高的像素相关性（0.327）和顶级的结构相似性指数（SSIM, 0.332）。在高层语义评估方面，它获得了最高的 Inception 分数（96.4%）和极强的 CLIP 一致性，表明其具有鲁棒的语义保真度。
• 消融实验： 实验证实，移除结构先验会导致空间拓扑结构的崩溃，而移除语义引导则会导致高层概念的丢失。全模型的成功依赖于两条路径的协同优化。
• 可解释性： 对权重矩阵的分析表明，该模型能够适应跨受试者的功能脑模式，动态构建针对个体解剖和功能差异定制的解码路径，而非应用统一的模板。

意义与主张
论文声称，HAVIR 解决了当前视觉重建中的关键瓶颈：即无法同时处理复杂场景中低层特征的异质性和高层语义的纠缠。通过模拟大脑的层次化处理机制并利用多功能扩散模型的多种模态融合能力，该模型实现了结构保真度与语义准确性之间的平衡。作者断言，这种方法不仅在重建质量上优于现有模型，还提供了一个更符合生物学合理性的视觉信息解码框架，为更先进的人机交互系统铺平了道路。