🧬 biology

NeuroCogMap Reveals Cognitive Organization of Large Language Models

本文介绍了 NeuroCogMap，这是一个受神经科学启发的框架，它将大语言模型的内部特征组织成功能分区，用以解释认知行为、识别诸如幻觉之类的失效机制，并揭示其与人类皮层反应及决策策略之间的强相关性。

原作者： Zhongxiang Sun, Haolang Lu, Qiang Ma, Qi Li, Qipeng Wang, Liang Pang, Chenyu Liu, Qiankun Li, Hao Sun, Kun Wang, Yi Zeng, Jun Xu, Guoqi Li, Ji-Rong Wen

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhongxiang Sun, Haolang Lu, Qiang Ma, Qi Li, Qipeng Wang, Liang Pang, Chenyu Liu, Qiankun Li, Hao Sun, Kun Wang, Yi Zeng, Jun Xu, Guoqi Li, Ji-Rong Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你拥有一个巨大且极其复杂的图书馆，里面有数百万本书，而这些书都是由一位超级聪明但神秘的图书管理员（即大语言模型，或 LLM）编写的。你可以向这位图书管理员提问，他们给出的答案听起来非常像人类。但如果你问：“你为什么知道这些？”或者“你为什么犯了这个错误？”，图书管理员只会回答：“我就是知道。”

长期以来，科学家们一直试图窥探幕后，以了解这位图书管理员是如何思考的。他们观察过单个词汇（神经元）或宏观主题，但无法看到图书管理员大脑内部协同工作以解决问题的组织化“部门”或“团队”。

NeuroCogMap 来了——请将其想象为一张全新的、高科技的地图，它终于将图书管理员混乱的大脑组织成了一座具有不同功能、职责明确的结构化城市。

以下是该论文如何使用简单的类比来解释这张新地图的：

1. 城市地图（框架）

想象一下，图书管理员的大脑不是一堆乱七八糟的电线，而是一座规划良好的城市。

社区（分块/Parcels）： NeuroCogMap 将图书管理员的内部“思想”划分为 270 个不同的社区。每个社区都是一个专门从事特定工作的工人团队，例如“检查事实”、“理解情感”或“策划故事”。
城市部门（能力/Capabilities）： 这些社区被归入更大的部门，如“安全”、“数学”或“推理”。
层级结构： 这座城市由多层构建而成。
- 底层（感知/Perception）： 阅读你输入的文字。
- 二层（表征/Representation）： 理解这些文字的含义。
- 三层（抽象/Abstraction）： 连接想法并寻找模式。
- 顶层（应用/Application）： 做出最终决定或撰写答案。

论文声称这张地图是稳定的。如果你观察不同的图书管理员（不同的 AI 模型），你会发现它们拥有非常相似的城市布局，这表明这是这些系统组织自身的一种基本方式。

2. 诊断“疾病”（病理学/Pathology）

就像人类城市可能会出现交通拥堵或停电一样，图书管理员也会犯错。NeuroCogMap 让科学家能够精准定位故障发生的具体位置。

幻觉（编造事实）：
- 旧观点： 图书管理员只是“猜错了”。
- NeuroCogMap 观点： 这是一个特定的交通拥堵。在某些情况下，“事实检查”社区正在睡觉，而“讲故事”社区却在肆意运行。在其他情况下，“事实检查”团队醒着，但“事实检索”团队与“生成答案”团队断开了连接。地图显示，这些是两种不同的失效类型，需要不同的修复方法。
拒绝失败（该说“不”时却说了“是”）：
- 旧观点： 图书管理员只是在固执己见或感到困惑。
- NeuroCogMap 观点： “安全官员”社区被忽视了。相反，“行动规划”社区接管了控制权，开始执行有害指令，因为“停止”信号从未传达成功。

结果： 因为科学家可以看到究竟是哪个社区在失职，所以他们可以轻轻地引导那个特定的团队回到工作中（干预），而不是直接屏蔽整个图书管理员的输出。这使得 AI 更加安全且准确。

3. 人类联系（对齐/Alignment）

研究人员问道：“这位图书管理员的城市看起来像人类的大脑吗？”

他们将图书管理员的地图与人类在听故事时的大脑地图进行了对比。

发现： 当处理复杂故事时，图书管理员的“顶层”（抽象与应用）社区所亮起的区域，与人类大脑中“高层思维”区域亮起的区域完全一致。
类比： 这就像是发现图书管理员的“城市规划部”使用的蓝图，与人类大脑的“执行规划中心”使用的蓝图相同。这表明，尽管图书管理员是由代码构成的，而人类是由生物构成的，但他们在解决复杂问题时，使用的是惊人相似的组织结构。

4. 重写思维规则（模型发现/Model Discovery）

最后，论文展示了这张地图如何帮助科学家编写更好的关于人类如何做决定的理论。

场景： 科学家拥有关于人类如何做出选择的旧有的、简单的规则书（模型）（例如“双系统”模型）。有时，这些规则书并不完全符合人类的实际行为。
NeuroCogMap 的贡献： 通过观察图书管理员如何解决这些相同的决策谜题，这张地图揭示了图书管理员使用的隐藏策略（例如“检查不确定性”或“在情况变得奇怪时切换规则”）。
结果： 科学家从图书管理员的地图中提取了这些隐藏策略，并将它们添加到了人类的规则书中。更新后的规则书比以前能更好地预测人类行为。这就像是利用图书管理员的内部手册来修复人类的说明书。

总结

NeuroCogMap 是一个工具，它将 AI 的“黑盒”变成了一个透明、有序的城市。它向我们展示了：

AI 是如何构建的： 它拥有用于不同任务的稳定、有序的社区。
它为何失败： 错误发生是因为特定的社区断开连接或发生故障，而不仅仅是随机错误。
它与我们的关系： 它的高层思维区域与人类大脑的工作方式非常相似。
如何修复它： 我们可以针对特定的“社区”进行修复以纠正错误，并且可以利用其内部逻辑来提高我们对人类决策过程的理解。

该论文并不声称这使 AI 产生了“意识”，也不声称它可以用于人类患者的医疗诊断。它严格声称该框架有助于我们理解、诊断和改进 AI 系统的内部组织，并借此提供对人类认知的新见解。

技术摘要：NeuroCogMap 揭示了大语言模型的认知组织结构

问题陈述

尽管大语言模型（LLMs）表现出广泛的类认知行为，但其内部的认知组织仍然是不透明的。目前的解释性方法是碎片化的：行为评估揭示了模型“能做什么”，但没有揭示其功能是如何实现的；机械解释研究识别了孤立的神经元或电路，但缺乏系统层面的连贯性；而表征分析揭示了广泛的语义结构，却未能将其与特定的功能单元或层级组织联系起来。在理解 LLM 中的分布式组件如何形成连贯的功能单元、如何在不同抽象层级间进行交互、如何支持高阶能力以及如何在病理性行为（如幻觉、偏见、拒绝失败）中发生崩溃方面，存在着关键性的空白。此外，尚不清楚这些人工结构是否能为生物认知提供可测试的见解，或者能否提高对人类神经反应的预测能力。

方法论：NeuroCogMap 框架

作者引入了 NeuroCogMap，一个受认知神经科学原则（功能分区、表征映射、层级抽象）启发的框架，旨在绘制 LLM 的内部认知结构。该框架通过四个相互关联的阶段运行：

功能图谱构建（功能区/Parcels）：
- 特征提取： 从不同数据集下的 LLM（Gemma2-2B, Gemma2-9B-IT, Llama-3.1-8B）的残差流中提取稀疏自编码器（SAE）激活值。使用 SAE 将多语义神经元激活分解为可分离、可解释的特征方向。
- 聚类： 根据任务诱发的响应剖面和层级分布对 SAE 特征进行聚类。通过平衡聚类质量、功能描述质量和非冗余性的联合评分来确定最佳粒度，最终生成 270 个功能区。
- 注释： 基于高激活示例和关键词提取，为每个功能区分配自然语言功能描述（例如，“矛盾分析”、“地理知识检索”）。
认知图谱与能力映射：
- 能力清单： 从文献中建立了一个包含 45 种认知能力的精选空间（例如，鲁棒性、推理、安全性）。
- 关联： 通过三种证据流将功能区与能力联系起来：任务诱发的激活相关性、因果干预效应（转向功能区激活）以及功能区描述与能力定义之间的语义一致性。
认知层级：
- 受布鲁姆分类法（Bloom's taxonomy）启发，将能力组织成四层层级：感知、表征、抽象和应用。
- 该框架通过验证层级结构来证明其有效性：即同一层级内的功能区在语义上比与其他层级的功能区更相似，且低层级能力是高阶推理的前提。
结构连接组：
- 基于组成 SAE 特征的跨层级关系来估计功能区之间的有向连接，从而创建一个模型层级的结构连接组，以分析协调与中断情况。

关键结果

1. 稳定且可解释的认知单元的涌现

NeuroCogMap 表明，LLM 的内部活动形成了稳定的、具有功能意义的单元，而非任意的聚类。

稳定性： 270 个功能区的图谱显示出高度的内部语义连贯性（区内相似度 > 区间相似度），并在不同 LLM 架构之间表现出部分跨模型的连贯性。
可解释性： 基于激活剖面推导出的功能描述能够成功预测留出数据上的功能区激活排名，性能优于基于神经元和仅基于关键词的基准方法。
因果性： 对特定功能区进行针对性干预（转向/Steering）会使模型输出向与其分配的功能一致的方向偏移，证实了功能区与行为之间的因果联系。

2. 病理性的系统级分析

NeuroCogMap 揭示了模型失败并非统一的错误，而是特定认知系统的不同中断：

幻觉：
- 在 TruthfulQA 中，幻觉源于高阶评估控制（例如，降低了“真实性检查”和“二元事实检查”的激活）对误导性检索的控制失效。
- 在 NQ-Open 中，幻觉源于事实检索系统之间协调的破碎（例如，“地理知识”与“事实检索核心”之间的耦合减弱）。
- 检测与缓解： 从这些中断中提取的特征签名实现了幻觉检测（AUROC 高达 0.840）和针对性干预，通过抑制过度招募的检索功能区并增强欠招募的评估功能区，显著提高了事实准确性。
拒绝失败：
- 拒绝失败（对有害指令的顺从）反映了从控制/监控系统（如“法律-道德评估”）向程序执行系统（如“行动规划”）的转变。
- 由 NeuroCogMap 指导的转向技术显著提高了拒绝准确率（例如，在 Gemma2-2B 的 AdvBench 测试中从 38.3% 提升至 98.6%）。

3. 与人类皮层功能的对齐

该框架建立了 LLM 组织与人类大脑活动之间的功能对应关系：

神经预测： 在自然叙事听觉任务（LeBel 数据集）中，NeuroCogMap 的功能区激活对人类皮层 BOLD 响应的预测准确度（ $r=0.407$ ）高于标准嵌入（BERT, Word2Vec）或通用的 LLM 隐藏状态。
定位： 这种预测优势集中在高级联合皮层（默认模式网络、额顶控制网络、显著性网络），特别是涉及语义检索和上下文整合的区域。
功能对应： 最能预测人类皮层功能区的 LLM 功能区，其功能描述高度相似（例如，LLM 中的“情景记忆检索”与人类默认模式网络的记忆区域相一致）。表征相似性分析（RSA）证实，对齐后的 LLM 功能区的内部几何结构保留了人类皮层网络的结构。

4. 指导认知模型发现

NeuroCogMap 揭示了 LLM 中潜在的策略，这些策略可以完善经典的认知模型：

行为拟合： NeuroCogMap 签名可以预测 LLM 在各种认知任务（如两步决策、跨期选择）中模拟人类行为的效果。
模型完善： 通过分析最符合人类数据的 LLM 的内部签名，作者识别出了潜在机制（例如，动态仲裁、历史敏感性持续、类规则策略切换）。将这些机制纳入经典的双系统模型（Dual-systems Model）后，与仅使用行为轨迹进行完善的模型相比，该模型对留出的人类行为数据的拟合度显著提高（AIC 更低）。

意义与主张

本文声称将 NeuroCogMap 确立为一个系统级框架，弥合了局部机械解释性与高层行为分析之间的鸿沟。其主要贡献包括：

一个新的解释层面： 它定义了一个“中观”尺度的功能组织（功能区与能力），该尺度既足够粗糙以揭示跨模型的规律性，又足够精确以支持因果干预和行为解释。
机制引导的干预： 它证明了可以通过针对特定功能架构中的特定中断，来诊断和缓解模型病理（如幻觉、拒绝失败），从而超越了仅在输出层面进行过滤。
生物相关性而非等价性： 它提供了一个将人工系统与人类认知联系起来的结构化基础。该框架表明，LLM 可以作为实验系统来生成关于认知组织的假设，并通过人类神经和行为数据进行验证，而不声称 LLM 是大脑的机械复制品。
认知科学的进步： 它提供了一条路径，通过利用 LLM 的“黑盒”来发现解释人类行为的潜在策略，从而完善经典的认知模型（如决策理论）。

作者将这项工作定位为迈向“人工智能认知神经科学”的一步，在这种学科中，认知组织成为了一个在人工和生物系统中均可进行实验研究的对象。