✨ 要点🔬 技术摘要
想象一下你的大脑是一个庞大而繁忙的城市，每个社区都有专门负责的工作。有些社区是识别面孔的专家，有些则是捕捉移动物体的能手，还有些则致力于理解社交互动。长期以来，试图弄清楚这些社区是如何“运转”的科学家们，大多使用静态图像——比如举起一张猫的照片，看看“猫社区”是否会亮起来。但现实世界不是照片；它是电影。事物在移动、在变化、在互动。
这篇论文介绍了一个名为 NEvo 的新工具，它就像一个智能的进化导演 ，旨在寻找那些能让特定大脑区域产生极大兴奋感的完美“电影片段”。
以下是其工作原理的拆解，通过简单的概念进行说明：
1. “数字孪生”大脑
首先，研究人员利用计算机模型构建了一个人类大脑的数字孪生体 。这个模型是基于真实人类在核磁共振（MRI）扫描仪内观看视频的数据训练而成的。你可以把这个模型看作一个超级精准的模拟器，它能预测：“如果我给这个人看这段特定的视频，他们大脑的这个特定部分会亮起多强的光。”
2. 进化搜索（自然之道）
与其手动尝试寻找完美的视频（这就像试图在一根根稻草中寻找针头，而不是一次只看一根），NEvo 使用了进化搜索 。
提示词花园： 想象一个花园，每一株植物都是一段视频描述（例如：“一张微笑的面孔”、“一个旋转的楼梯”、“一条正在攻击的蛇”）。育种过程： NEvo 种植数以千计的这些描述。它要求“数字孪生体”模拟向大脑展示这些视频的过程。适者生存： 那些能让目标大脑区域亮起最强光芒的视频会被选为“父母”。NEvo 会将它们的描述进行混合与匹配（比如将“微笑”替换为“跳舞”）并加入微小的随机变化（突变）。结果： 经过许多代演化后，“视频描述”会进化成高度特异、具有超强激活能力的片段，它们被完美地调校到了符合大脑偏好的程度。
3. 两阶段策略：搭建舞台，然后表演
为了提高效率，NEvo 将这项工作分为两个幕次，就像一场戏：
第一幕（静态锚点）： 首先，它寻找大脑喜爱的完美静态图像 。如果目标是“面孔区域”，它就会找到一张完美的脸部照片。第二幕（动态动作）： 一旦找到了完美的脸，NEvo 就会锁定这张图像，转而只搜索完美的运动方式 。这张脸是在微笑？在转头？还是在跳舞？
4. 他们发现了什么？
通过使用这种方法，研究人员不仅证实了已知的事实，还发现了关于大脑如何处理运动和社交互动的全新细节：
运动的重要性： 他们发现，对于某些大脑区域来说，一段动态视频比同一事物的静态图片更能引起兴奋。这就像看汽车赛车和看汽车照片的区别；赛车会让大脑亮起来得多。社交高速公路： 他们沿着大脑侧边（“外侧流”）追踪了一条路径，并发现了一个清晰的递进过程：
早期站点： 这些区域喜爱简单的、高对比度的纹理和图案。中间站点： 这些区域开始关注身体的移动和物理互动（例如人们在跳舞或打斗）。后期站点： 这些区域痴迷于复杂的社交动态，例如两人面对面交谈或协调一致的动作。
从抽象到现实： 他们甚至用抽象形状（如两个漂浮的圆团）进行了测试。当他们要求“社交大脑”产生兴奋感时，这些圆团开始以看起来像脸部或协调互动的形式进行运动，这证明了大脑寻找的是社交模式 ，而不只是写实的图像。
核心结论
NEvo 是一个工具，它让科学家能够进行“计算机内”（in-silico）实验，去发现究竟什么样的动态、移动场景是人类大脑天生热爱的。它超越了静态照片，向我们展示了大脑是如何深度适应现实世界的节奏、运动和社交舞蹈的。该论文声称，这一框架允许创建新的、由假设驱动的视频刺激物来进一步测试这些理论，但它并未止步于将其应用于临床治疗或未来技术，而是专注于理解人类视觉机制本身。
技术摘要：NEvo：用于动态视觉选择性的神经引导进化视频合成
问题陈述
人类视觉本质上是动态的，依赖于层次化组织的区域来处理持续变化的输入，以执行诸如障碍物规避、物体追踪和社交推理等任务。虽然近期的 in silico （计算机模拟）脑编码模型已能成功合成最优静态刺激，以探测特定脑区的选择性，但以往的工作很大程度上局限于静态图像领域。因此，视觉皮层中关于时间结构的表征——特别是在依赖运动、交互或事件动态的区域中——仍有待深入探索。目前迫切需要能够系统地生成并评估大规模时空配置空间内动态刺激的方法，以理解大脑如何处理自然主义的动态输入。
方法论：NEvo 框架
作者引入了 NEvo ，一个神经引导的进化视频合成框架，旨在生成能最大限度激活人类视觉皮层目标感兴趣区域（ROI）的刺激。该框架通过将动态脑编码模型与结构化提示词空间的进化搜索过程相结合来运行。
1. 神经引导进化搜索
NEvo 将视频合成视为一个基于可解释的语义、运动和事件级描述符的黑盒优化问题。
提示词空间： 搜索空间被构建为视觉属性类别的笛卡尔积（P = A 1 × ⋯ × A M P = A_1 \times \dots \times A_M P = A 1 × ⋯ × A M 进化算法： 该方法采用遗传算法来优化合成目标。
初始化： 生成一组候选提示词。评估： 提示词由生成器（G G G S v S_v S v r r r 选择与变异： 选择前一部分候选者（精英）作为亲本。通过交叉（交换基因序列前缀）和变异（重采样属性）产生后代。迭代： 该过程通过多代迭代，不断精炼种群，以趋向于产生更强预测 ROI 激活度的提示词。
2. 两阶段视频合成
为了提高在高维时空空间中的搜索效率，NEvo 将优化分解为两个阶段：
第一阶段（静态内容）： 一个快速图像生成器在静态子空间（P i m g P_{img} P im g 第二阶段（动态属性）： 最优图像被固定为图像转视频生成器的条件输入。随后，搜索开始优化动态子空间（P v i d P_{vid} P v i d
3. 动态脑编码模型
该框架利用 V-JEPA 2 作为特征骨干，其选择基于其在先前大规模评估中与大脑反应的一致性。
架构： 不同于仅依赖最终嵌入（如 CLIP）的模型，NEvo 从 V-JEPA 2 中提取多块特征，并在空间和时间上进行平均。映射： 使用岭回归对体素进行拟合。每个体素都被分配到验证性能表现最佳的模型层，从而使皮层位置能够与不同的模型深度对齐。训练数据： 模型在 BOLDMoments 数据集和社交交互数据集上进行训练，并投影到 fsaverage5 皮层表面。
核心贡献
新颖框架： 引入了 NEvo，这是第一个通过进化提示词搜索研究动态视觉选择性的基于模型的框架。高激活刺激： 合成的视频在腹侧、背侧和侧向视觉流中，其激活水平超过了手工设计的函数定位器以及来自大规模数据集（如 Moments in Time）中的顶尖视频。动态选择性表征： 证明了时间结构广泛塑造了视觉选择性，优化后的视频即使在传统的静态选择区域（如梭状回面部区 FFA）中，也优于静态对照组。功能梯度发现： 将 NEvo 应用于侧向视觉流的搜索光束轨迹，揭示了从低级空间结构到身体运动，再到复杂社交动态特征（共同行动、交流）的系统性演进。受控合成： 验证了该框架通过生成具有抽象、非自然主义物体但仍能引起区域特定动态响应的刺激，来分离区域特定动态选择性与静态锚点的能力（例如，用于 pSTS 的类脸交互或用于 MT 的振荡运动）。
结果
性能： NEvo 生成的刺激在预测激活方面达到了 Moments in Time 数据集前 99.8% 和手工定位器响应前 95.8% 的水平。动态优势： 优化后的视频一致地优于其第一帧静态对照，在运动敏感区域（如 MT）表现出最强的增益，并在腹侧区域（如 FFA）表现出可衡量的增益。消融研究：
两阶段搜索策略优于单阶段基准模型。
V-JEPA 2 多层编码模型显著优于基于 CLIP 的基准模型，强调了时间落地表征的必要性。
进化提示词比基于梯度的合成（BrainDiVE）更具鲁棒性，后者在处理此类动态刺激时无法生成有意义的内容。
遗传搜索显著优于随机搜索和爬山算法基准。
侧向流分析： 搜索光束合成揭示了沿侧向路径的梯度：早期区域偏好高对比度纹理；中级区域（MT, EBA）偏好身体运动；后部 STS（pSTS）偏好同步的物理交互；而前部 STS（aSTS）则转向面对面的交流内容。
意义与主张
本文声称 NEvo 能够实现对动态视觉选择性的 in silico 探索，超越了静态图像合成的局限性。通过恢复已知的选择性并揭示对时间动态敏感性的系统性差异，该框架为 in vivo （体内）实验提供了新的预测。作者认为，NEvo 提供了一种可扩展、受控的方法来设计动态刺激，有助于在特征描述较少的脑区域中发现功能梯度。
作者承认存在局限性，指出合成的刺激既反映了神经选择性，也可能反映了底层编码和生成模型的潜在偏差。他们强调，未来需要通过人类神经成像进行验证，并且目前的纯视觉模型限制了对如 aSTS 等依赖视听线索进行交流的区域的表征。这项工作被视为迈向闭环神经成像和假设驱动型刺激设计的关键一步。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。