💬 NLP

Probing Neural Topology of Large Language Models

本文引入了“图探测”（graph probing），这是一种揭示大语言模型（LLM）神经元功能连接的新方法，证明了神经拓扑结构比激活模式包含显著更丰富的关于模型性能的信息，并且可以通过模型剪枝和幻觉检测等应用来提高效率与可靠性。

原作者： Yu Zheng, Yuan Yuan, Yue Zhuo, Yong Li, Gabriel Kreiman, Tomaso Poggio, Paolo Santi

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu Zheng, Yuan Yuan, Yue Zhuo, Yong Li, Gabriel Kreiman, Tomaso Poggio, Paolo Santi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个大型语言模型（LLM）就像一座规模宏大、繁忙拥挤的城市。多年来，研究人员一直试图通过观察其中的人（神经元）来理解这座城市是如何运作的，并询问：“这个特定的人现在正在想什么或说什么？”这被称为“激活探测”（activation probing）。他们观察的是单个灯光的亮起与熄灭。

然而，这篇新论文指出，我们一直看错了方向。作者认为，我们不应该仅仅观察人，而应该观察连接他们的道路和交通模式。他们称之为**“图谱探测”（Graph Probing）**。

以下是他们发现的简单拆解：

1. 交通图 vs. 车灯

把神经元的“激活”想象成一辆汽车的车灯亮起。它告诉你那里有一辆车。但“拓扑结构”（图谱）则是显示所有车辆如何相互连接的交通图。

作者发现，如果你想知道这座城市（AI）完成任务（写出好的句子）的效果如何，观察交通图远比仅仅数有多少盏车灯要优越得多。

结果： 他们的“交通图”方法对 AI 性能的预测能力比旧的“车灯”方法高出 130%。
类比： 这就像试图猜测一场交响乐演奏得有多好。旧方法是在听单把小提琴的声音有多大。新方法是在听小提琴如何与大提琴和鼓同步演奏。这种同步性（连接）才揭示了音乐质量的一切。

2. “超级枢纽”（主要交叉路口）

研究人员发现，这座城市中的道路并非全都平等。存在着一些规模巨大的、高度连接的超级交叉路口（称为枢纽神经元），几乎所有的交通流量都会流经这些地方。

实验： 他们尝试关闭随机的道路（神经元），发现城市运行良好。但当他们只关闭这 1% 的特定“枢纽神经元”时，城市崩溃了。AI 的性能下降了近 70%。
启示： AI 高度依赖这些特定的、高度连接的枢纽来维持功能。这不仅仅在于拥有多少神经元，更在于它们是如何连接在一起的。

3. “默认网络”（城市的骨架）

即使当 AI 谈论完全不同的主题时（比如烹饪对比数学），这些枢纽神经元及其连接依然保持着惊人的稳定性。

类比： 想象一座城市，无论是在高峰时段、节假日还是阴雨绵绵的周二，主干道都保持完全一致。作者发现，LLM 拥有一种固定的连接“骨架”，作为其执行所有不同任务的稳定基础。

4. 这能实际做什么（概念验证）

这篇论文不仅仅停留在理论层面；他们测试了这种新“交通图”视角的两个实际用途：

剪枝（去冗余）： 如果你想让 AI 变得更小、更快，你可能会想到切除随机的部分。但作者发现，如果你切除“低流量”道路（连接较少的神经元）并保留“高流量”枢纽，即使切掉很大一部分，AI 依然保持聪明。这就像是移除城市中的小巷，但保留主干道；交通依然可以完美流动。
检测“幻觉”（撒谎）： 当 AI 编造事实（产生幻觉）时，交通模式会发生变化。作者发现，当 AI 说真话与说假话时，“路网图”看起来是不一样的。他们构建了一个简单的检测器，通过观察路网图来识别这些谎言，并且效果比仅观察单个神经元的检测器更好。

总结

论文认为，要真正理解 AI 如何思考，我们不应仅仅观察单个神经元在“说什么”。我们需要观察它们如何连接。这些连接（拓扑结构）蕴含着 AI 智能的秘密，它们比我们想象的更加稳定，并且可以帮助我们构建更好、更安全、更高效的模型。

技术摘要：探测大语言模型的神经拓扑结构

问题陈述

虽然通过将神经激活与可解释语义联系起来来探测大语言模型（LLM）已取得了诸多见解，但神经功能共激活（neural functional co-activation）与涌现的模型能力之间复杂的关系在很大程度上仍是未知的。现有方法主要关注静态的神经激活，忽略了时间与功能神经拓扑（temporal and functional neural topology）——即神经元之间的动态连接模式——而这种模式被认为是智能涌现的关键。此外，很少有研究明确地将这些拓扑学发现与语言生成性能（衡量 LLM 智能的主要指标）联系起来。

方法论：图探测（Graph Probing）

作者引入了图探测，这是一个用于研究 LLM 神经元的功能连接性及其与语言性能关系的创新框架。

神经拓扑构建：
- 受神经科学启发（从 fMRI/EEG 构建功能脑网络），该方法将 LLM 神经元视为图中的节点。
- 当 LLM 处理标记序列 $X = [x_0, \dots, x_t]$ 时，它会产生 $n$ 个神经元的隐藏状态时间序列 $H \in \mathbb{R}^{n \times t}$ 。
- 构建一个加权连接矩阵 $A \in \mathbb{R}^{n \times n}$ ，其中每个边权重 $a_{ij}$ 代表神经元 $i$ 与神经元 $j$ 的激活时间序列之间的皮尔逊相关系数（Pearson correlation coefficient）。这捕捉了时间上的共激活模式。
探测机制：
- 与将扁平化的神经激活作为输入的传统探测不同，图探测使用扁平化的连接矩阵 $A$ 作为输入。
- 训练简单的线性或**多层感知器（MLP）**探测器，直接从该拓扑结构中预测语言性能指标（例如，困惑度、语义回归）。
- 核心假设是：计算的结构（连接性）比计算的幅度（激活值）包含更丰富的关于模型智能的信息。
可扩展性：
- 为了解决稠密图的二次方计算成本（ $O(n^2)$ ），作者采用了稀疏化（剪枝弱连接）和**图神经网络（GNN）**探测器，通过权重共享来减少参数量。

核心贡献与结果

1. 性能的普遍可预测性

研究表明，仅使用神经拓扑即可可靠地预测语言生成和理解性能。

测试模型： 实验涵盖了三个家族（GPT-2, Pythia, Qwen2.5），参数规模从 1.6 亿到 140 亿不等。
性能提升： 图探测的表现显著优于基于激活的探测。
- 困惑度预测： 基于拓扑的探测器实现了接近或高于 0.90 的 $R^2$ ，而基于激活的探测器表现挣扎在 0.45 以下。这代表了高达 130.4% 的性能提升。
- 语义回归： 在预测空间（经度/纬度）和时间（发布年份）时，基于拓扑的探测器比基于激活的探测器高出多达 67.7%。
鲁棒性： 即使仅保留 1% 的神经元连接，这种预测能力依然存在，这表明一小部分强连接携带了关键的拓扑信号。

2. 拓扑依赖性的因果证据

作者提供了因果证据，证明 LLM 积极利用其内部拓扑结构：

默认网络： 分析显示存在一个稳定的“默认网络”，其中一组约 40 个“枢纽神经元”（degree 最高）在不同的输入和数据集下始终充当枢中枢。
干预实验： 禁用前 1% 的枢纽神经元（基于拓扑度）会导致 MMLU 基准测试出现灾难性的性能下降（例如，14B 模型下降了 69.8%），其影响远超基于激活幅度或随机选择进行禁用所产生的影响。这证实了枢纽神经元在功能上具有主导地位。

3. 概念验证应用

论文展示了图探测的两个实际应用：

模型剪枝： 一种基于移除低度神经元（基于拓扑）的剪枝策略被证明比最先进的 WANDA 方法（基于激活）更鲁棒且更有效。即使在剪枝掉 50% 的低度神经元后，模型仍能保持高于随机水平的准确率。
幻觉检测： 图探测被改编为二分类任务，用于检测 TruthfulQA 数据集上的幻觉。基于拓扑的探测器比所有基线模型（包括 HaMI 和 CCS）的表现高出多达 9.73%，这表明真实生成与幻觉生成之间存在独特的拓扑特征。

4. 扩展分析

层特异性： 研究发现 LLM 的中间层在预测性能方面信息量最大，这与先前关于这些层处理语义信息的发现一致。
功能专业化： 不同主题（如 STEM 与社会科学）观察到了截然不同的拓扑模式，特定的神经元充当“STEM 神经元”，会对 STEM 相关输出产生不成比例的影响。
跨模型匹配： 通过对比学习进行的图匹配成功检测出了模型之间的遗传关系（例如，同族模型 vs 不同族模型），并作为一种鲁棒的指纹工具，即使在经过显著的权重漂移（fine-tuning 后）后依然保持稳定。

意义与主张

论文声称，神经拓扑包含关于 LLM 性能的、比神经激活高出数个数量级的丰富信息。通过将关注点从“神经元在做什么”（激活）转向“神经元是如何连接的”（拓扑），作者为理解涌现能力提供了一个新的视角。

作者将图探测定位为以下工具：

揭示内部机制： 揭示 LLM 开发出了复杂且一致的拓扑结构，这些结构是其语言能力的基础。
指导开发： 通过拓扑感知的剪枝和幻觉检测，为提高 LLM 的效率和可靠性提供路径。
跨学科桥梁： 加强 LLM 与人类大脑网络之间的平行关系，暗示了共同的组织原则（如枢纽神经元、默认网络）。

作者保持了谦逊的态度，指出虽然他们识别出了稳定的默认网络和枢纽神经元，但更细微的结构（如模体/motifs 或小世界特性）及其因果作用仍是开放性问题。他们也承认了计算限制，目前仅评估了高达 14B 参数的模型，将更大的模型留作未来研究。代码和数据已发布，以促进该方向的进一步研究。