Bridging Brain and Semantics: A Hierarchical Framework for Semantically Enhanced fMRI-to-Video Reconstruction
本文介绍了 CineNeuron，这是一种受人类大脑双通路处理机制启发的新颖分层框架，它通过结合自下而上的语义丰富化与自上而下的记忆整合来弥合功能磁共振成像到视频重建中的语义鸿沟，从而超越现有最先进方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你的大脑是一座高速运转的电影院。当你观看视频时，你的大脑会因电活动而亮起，记录下每一个场景、动作和情绪。科学家们长期以来一直希望通过仅观察大脑活动（具体而言，即功能性磁共振成像扫描）来回放那部“电影”，但存在一个巨大的难题：大脑的“记录”非常嘈杂且模糊，就像充满静电干扰的无线电信号。
此前试图将这种静电转化为清晰视频的努力，就像试图仅凭一张模糊的照片来猜测电影情节。它们往往能猜对大致情节，却搞错了细节——本该是猫却显示成狗，或者完全遗漏了动作。
本文介绍了一个名为CINENEURON的新系统，它如同一位“超级智能的影片剪辑师”，用于解决这一问题。它采用了一个受人类大脑实际工作方式启发的两步流程：自下而上和自上而下。
第一步：“自下而上”的侦探（收集线索）
将嘈杂的大脑扫描想象成一堆杂乱无章的拼图碎片。以往的方法仅凭少量线索（例如“这是一张图片”或“这是一句话”）就试图强行将这些碎片拼合起来。
CINENEURON 则不同。它像一位侦探，在破案前会收集所有可能的线索。它不仅观察画面，还会追问：
- “这段文字描述了什么？”
- “正在发生什么类型的动作（奔跑、跳跃）？”
- “这是什么类别的物体（交通工具、人物、食物）？”
通过整合所有这些不同类型的信息，它构建出一幅更丰富、更清晰的“心理草图”，描绘出此人正在观看的内容。这就是语义增强阶段。
第二步：“自上而下”的图书管理员（回忆记忆）
即使有了出色的草图，大脑扫描仍缺失部分细节。这就引出了第二步，其灵感来源于海马体（大脑中负责记忆的部分）。
想象你试图回忆多年前看过的一部电影中的某个特定场景。你不仅仅依赖脑海中模糊的图像，还会从记忆中调取相似的场景来填补空白。
CINENEURON 使用一种名为记忆混合（Mixture-of-Memories）的工具来做同样的事情：
- 检索：它查阅其已观看过的庞大视频库。它会问：“基于这幅模糊的大脑草图，哪些过往视频最为相似？”它不会只挑选一个，而是混合多部相似视频的最佳部分（文本描述、视觉外观和动作）。
- 整合：它将这些“记忆”与当前的大脑草图融合。这就像拿着一份草稿，让剪辑师叠加来自参考影片的完美光线、正确的背景和流畅的动作。
结果
最终输出的视频不仅在视觉上流畅，而且在语义上准确。
- 如果大脑正在观看一位女性捡起橙子的画面，该系统能正确识别出“女性”、“橙子”以及“捡起”这一动作。
- 它避免了旧系统那些奇怪的错误，例如在视频实际是户外场景时，却幻觉出一位女性在室内。
为何重要（根据论文所述）
作者在两个真实世界的数据集上测试了该系统，受试者在观看视频的同时进行了大脑扫描。他们发现，CINENEURON：
- 重建出更优质的视频：生成的电影更像人们实际观看的原始视频。
- 更好地理解动作：它能区分行走和奔跑，而旧系统常常混淆这两者。
- 有效利用记忆：通过“回忆”相似的过往视频，它填补了机器无法独自看清的大脑扫描中的模糊部分。
简而言之，CINENEURON 通过扮演一位收集所有线索的侦探和一位回忆完美记忆以讲述真实故事的图书管理员，弥合了大脑中嘈杂、充满静电的信号与丰富、动态的视频世界之间的鸿沟。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。