Multisensory coding of audiovisual movies in the human hippocampus

该研究利用高分辨率 fMRI 发现,尽管人脑海马体在单变量分析中仅对视觉刺激有反应,但多变量分析揭示了其同时编码听觉与视觉信息的能力,并呈现出后部促进多感官整合、前部实现跨模态抽象表征的功能轴分化。

原作者: Raccah, O., Agarwal, A., Zhu, Y., Turk-Browne, N. B.

发布于 2026-03-04
📖 1 分钟阅读☕ 轻松阅读
⚕️

这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是在探索我们大脑中一个神秘“图书馆”的运作方式,这个图书馆就是海马体(Hippocampus)。

通常,我们认为海马体主要负责记忆,而且我们大多只研究它如何“看”东西(视觉)。但这篇研究问了一个有趣的问题:如果只给你听声音,或者同时给你看画面和听声音,这个“图书馆”会怎么反应?它能把不同感官的信息“打包”在一起吗

为了回答这个问题,研究人员给 30 个人看了 10 段短视频(比如狼嚎、海浪、赛车),并设计了四种“播放模式”:

  1. 只听声音(像听广播)。
  2. 只看画面(像看无声电影)。
  3. 视听同步(正常的电影,声音和画面是对得上的)。
  4. 视听错乱(画面是赛车,声音却是狼嚎,故意不匹配)。

研究人员用高精度的 MRI 扫描仪观察他们的大脑,并得出了三个非常精彩的发现,我们可以用三个比喻来理解:

1. 耳朵也能“看见”:多面手 vs. 单面手

传统观点:以前我们以为海马体是个“视觉专家”,只处理眼睛看到的东西。如果你只给它听声音,它就像个聋子,毫无反应。
新发现:研究人员发现,如果只用普通的“平均数”去测量(就像只数图书馆里有多少人),确实看不出海马体对声音有反应。但是,如果他们用一种更高级的“指纹识别”技术(多变量分析),去观察神经元活动的具体模式,奇迹发生了:

  • 比喻:想象海马体是一个巨大的合唱团。如果你只问“合唱团里有多少人”,声音可能太小听不见(单变量分析失败)。但如果你仔细听每个人唱的是什么调子(多变量分析),你会发现,即使是只给声音,海马体的“声音部”也在整齐地唱出那首歌的旋律。
  • 结论:海马体不仅能“看”,还能“听”。它用一种复杂的模式来编码声音场景,只是以前我们没找到正确的“解码器”。

2. 后脑勺的“特效师”:1+1 > 2

发现:在海马体的后部(靠近后脑勺的位置),当声音和画面完美匹配时(比如看到狼嚎,听到狼叫),大脑的反应比单独看或单独听要更强、更清晰

  • 比喻:海马体后部就像一个电影特效师
    • 如果只给画面(无声电影),特效师在干活,但效果一般。
    • 如果只给声音(广播剧),特效师在发呆。
    • 但如果画面和声音同步,特效师瞬间被点燃,把画面和声音完美融合,产生了一种"1+1>2"的震撼效果。
  • 意义:这说明海马体的后部擅长处理具体的、细节丰富的感官信息,当多感官一致时,它能更精准地“记住”这个场景。

3. 前脑勺的“哲学家”:透过现象看本质

发现:在海马体的前部(靠近额头的位置),情况完全不同。这里没有“特效增强”,但它有一个神奇的能力:跨模态转移

  • 比喻:海马体前部像一位哲学家抽象艺术家
    • 如果你给它看“狼嚎”的视频,再给它听“狼嚎”的录音,这位哲学家会说:“虽然一个是画面,一个是声音,但它们本质上是同一回事。”
    • 在大脑的神经活动模式里,前部海马体把“看到的狼”和“听到的狼”识别为同一个概念。它不在乎你是用眼睛看还是用耳朵听,它提取的是抽象的、通用的意义
  • 意义:这解释了为什么我们能举一反三。前部海马体负责把不同感官的信息“抽象化”,让我们明白“狼”这个概念,无论通过什么感官进入,都是同一个东西。

总结:大脑的“分工合作”

这项研究告诉我们,海马体并不是一个单一功能的机器,而是一条长长的“流水线”,不同位置有不同的分工:

  • 后部(Posterior):像高清摄像机。它关注细节,当声音和画面对得上时,它能更清晰地捕捉具体的场景(多感官促进)。
  • 前部(Anterior):像抽象画家。它忽略感官的媒介(是看还是听),直接抓住事物的核心概念,把不同感官的信息统一起来(跨模态概括)。

一句话总结
以前我们以为海马体只是个“视觉记忆库”,现在发现它其实是一个全感官的“意义构建中心”。它的后部负责把感官细节“打包”得更紧,前部负责把不同感官的信息“提炼”成通用的概念。这让我们对大脑如何构建我们丰富多彩的世界有了全新的理解。

您所在领域的论文太多了?

获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。

试用 Digest →