Interpreting Brain Responses to Language with Sparse Features from Language Models
本文介绍了增强稀疏编码模型（Augmented Sparse Encoding Models），该模型利用层级组织的稀疏自编码器特征和意外度（surprisal）来解释 7T fMRI 数据，揭示了人类语言皮层与人工语言模型所捕获的最通用信息相一致，而非任意的表征。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图理解人类在说话或倾听时大脑是如何运作的。长期以来，科学家们一直试图通过观察人们在听句子时的脑部扫描图来绘制这种图谱。与此同时，计算机在理解语言方面也变得极其出色（这些被称为“语言模型”或 LMs）。
通常情况下，当科学家将大脑与这些计算机模型进行比较时，他们会遇到一个问题：他们是在将一个“黑盒”（大脑）与另一个“黑盒”（计算机）进行比较。他们可以看到两者相匹配，但无法解释为什么以及计算机中哪些特定的部分在做与大脑相同的事情。
这篇论文介绍了一种看待这一问题的新方法，称为增强稀疏编码模型（Augmented Sparse Encoding Models）。以下是他们所做工作和发现的简单分解，使用了其中一些日常类比。
新工具：将奶昔变成水果沙拉
把标准的计算机语言模型想象成一杯奶昔。它将句子中的所有词汇都搅拌成一种单一的、浓缩且复杂的混合物。它很强大，但你无法轻易地挑出其中的每一颗草莓或香蕉，从而观察它们在做什么。
研究人员使用了一种名为稀疏自编码器（Sparse Autoencoder, SAE）的新工具。你可以把它想象成一台机器，能将那杯奶昔重新分离成一份水果沙拉。它不再是一个混合物，而是将信息分解成数千个微小的、截然不同的“特征”（比如一颗特定的草莓碎片、一片特定的香蕉或一块特定的冰）。
- 为什么要这样做？ 因为这些独立的个体更容易理解。有些碎片可能代表“人”，有些代表“情感”，还有些代表“问题”。
他们还在他们的混合物中加入了一个特定的成分：意外度（Surprisal）。这是一个衡量计算机对某个词感到多么“惊讶”的指标。如果句子说“猫坐在……垫子上”，计算机并不感到惊讶。如果句子说“猫坐在……烤面包机上”，计算机就会非常惊讶。这衡量了处理该句子的难度。
实验过程
研究人员让八个人在超强力 MRI 机器（7T fMRI）内听取 200 个不同的句子。他们观察了大脑中的微小点（称为体素/voxels），以查看哪些点会被点亮。
他们使用这种新的“水果沙拉”工具来预测哪些大脑点会在处理特定句子时被点亮。
他们的发现
1. “水果沙拉”的效果与“奶昔”一样好
他们发现，使用分离后的特征（水果沙拉）预测大脑活动的效果，与使用混合后的奶昔一样准确。但大的胜利在于，他们现在可以真正看到大脑到底在对什么做出反应。
2. 两种不同类型的大脑区域
他们发现大脑对待“难度”和“意义”的方式是不同的：
- “难度”区域： 一些大脑部位（主要在前额部分）只关心句子的处理难度。如果一个句子令人困惑或令人惊讶，这些点就会被点亮。研究人员发现，对于这些点，你甚至不需要复杂的“水果沙拉”特征；仅仅知道句子的“意外度”（Surprisal）就能解释几乎所有情况。
- “意义”区域： 其他部分的大脑（主要在后部/颞叶区域）则关心句子关于什么。这些点需要详细的“水果沙拉”特征才能理解句子是在讨论具体的物体（如狗）还是抽象的概念（如自由）。
3. 发现一个隐藏组：“人”的区域
研究人员发现了一组不符合常规“易/难”或“具体/抽象”分类的大脑区域。他们称这些为“幽灵”体素（Ghost voxels），因为以前很难解释它们。
使用他们的新工具，他们意识到这些点专门针对人进行了调节。当句子涉及到人际关系、代词（他、她、他们）或人正在做的事情时，这些点就会被点亮。有趣的是，这些点位于通常与社会思维相关的脑区，而不仅仅是语言区。
4. 大脑喜爱“通用”特征
他们使用的计算机模型具有一种层级结构的特征，就像一个拥有“通用”部分和“非常具体”部分的图书馆。
- “通用”部分拥有广泛的概念（如“人”或“问题”）。
- “具体”部分则拥有微小、古怪或非常细分的细节。
研究人员发现，人类大脑大多忽略了那些微小、古怪的细节。它几乎完全依赖于广泛的、通用的特征。看来，当我们理解语言时，我们的大脑是在寻找宏观的概念，而不是计算机内部数学运算中的微观特性。
大局观
这项研究表明，人类大脑和人工智能并不只是随机匹配的。它们之所以对齐，是因为两者都依赖于相同的通用、高层概念来理解语言。
通过将计算机的“黑盒”分解成可理解的碎片，研究人员终于可以说明：“啊，这个大脑部位之所以亮起，是因为它在思考‘人’，”或者“这个部位亮起，是因为句子很令人困惑。”它将一个谜团变成了一张清晰的地图，展示了我们如何处理听到的词汇。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。