💬 NLP

Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

该论文通过揭示大语言模型（LLM）与视觉语言模型（LVLM）在推理任务中存在大量共享神经元，提出了一种名为共享神经元低秩融合（SNRF）的参数高效框架，成功将 LLM 成熟的推理能力低成本迁移至 LVLM，显著提升了多模态模型的推理性能。

原作者： Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenhang Cui, An Zhang, Yuxin Chen, Gelei Deng, Jingnan Zheng, Zhenkai Liang, Xiang Wang, Tat-Seng Chua

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：大型语言模型（LLM，纯文本）和大型视觉语言模型（LVLM，能看图的）在“思考”时，是不是用了大脑里同一批“神经元”？

为了让你轻松理解，我们可以把这两个模型想象成两个不同的超级大厨。

1. 核心发现：两个大厨共用同一套“核心菜谱”

背景：
- 纯文本大厨（LLM）：非常擅长做逻辑推理、解数学题、写文章。它的“大脑”里充满了处理逻辑的神经元。
- 图文大厨（LVLM）：既能看图又能说话，但在处理复杂的逻辑推理（比如看图解题）时，往往不如纯文本大厨聪明。
- 现状：通常人们认为，要让图文大厨变聪明，就得给它喂更多的“图文食谱”（数据），但这很难，因为高质量的图文数据太少了。
论文的发现：
研究人员像“外科医生”一样，把两个大厨的大脑（模型参数）拆开，一层层检查。他们惊讶地发现：
当两个大厨都在做“逻辑推理”这道菜时，他们大脑里激活的神经元（负责思考的细胞），竟然有超过一半是重叠的！

比喻：这就好比两个厨师，一个只会做中餐，一个会做中餐和西餐。当你让他们都去“切洋葱”（做逻辑推理）时，发现他们手里拿的同一把刀（神经元），甚至切洋葱的同一套肌肉动作（激活模式）几乎一模一样。这说明，“逻辑推理”这种能力，其实是一种通用的技能，不依赖于是否看到了图片。

2. 验证实验：拔掉“共享神经元”，大脑就宕机了

为了证明这些神经元真的很重要，研究人员做了一个“破坏性测试”：

实验：把两个大厨大脑里那些共用的神经元暂时“关掉”（设为零）。
结果：两个大厨瞬间变成了“智障”，连最简单的数学题都做不出来了，得分为 0。
对比：如果随机关掉其他不重要的神经元，他们只是稍微笨一点，但还能干活。

比喻：这就像你拔掉电脑主板上负责“运算”的那根核心芯片，电脑就彻底死机了；但如果你拔掉负责“显示颜色”的某个小零件，电脑可能只是屏幕花一点，但还能算数。这证明了这些共享的神经元是逻辑推理的“核心引擎”。

3. 解决方案：SNRF（共享神经元低秩融合）

既然发现了“核心引擎”是共用的，那能不能直接把纯文本大厨的“推理能力”移植给图文大厨呢？

传统方法：重新训练图文大厨，喂它海量的数据。这就像让一个新厨师从头开始学切菜、炒菜，既慢又费钱。
论文的新方法（SNRF）：
1. 找出来：先找出两个大厨大脑里那些共用的、负责推理的神经元。
2. 微调：把纯文本大厨在这些神经元上的“经验”（权重差异），通过一种**低秩（Low-Rank）**的压缩技术，精准地“注入”到图文大厨的对应位置。
3. 保留：只修改这些核心部分，不动图文大厨原本负责“看图”、“识别物体”的其他神经元。

比喻：
想象图文大厨是一个刚学会看图的学徒，他看东西很准，但逻辑不行。
纯文本大厨是一个逻辑大师。
以前的做法是：让学徒去逻辑大师的店里打工三年，重新学逻辑（重新训练）。
SNRF 的做法是：直接给学徒的大脑皮层（共享神经元）里，通过微创手术，植入逻辑大师的“思维芯片”。

优点：手术很小（参数改动极少），不需要重新学怎么切菜（不需要大规模多模态训练），而且学徒原本“看图准”的本事完全没受影响。

4. 效果如何？

实验结果显示，经过这种“微创手术”后：

逻辑变强了：图文大厨在数学题、科学问答等需要推理的任务上，成绩大幅提升。
看图没变差：它原本识别图片、描述场景的能力依然很强，没有因为加了逻辑芯片而变傻。
成本低：不需要巨大的算力去重新训练，就像给手机系统打了一个小小的补丁，却获得了新功能。

总结

这篇论文告诉我们一个深刻的道理：无论是看图的模型还是纯文字的模型，它们处理“逻辑推理”的底层机制其实是相通的。

我们不需要每次都从零开始训练一个聪明的多模态模型。只要找到它们大脑里共用的“逻辑神经元”，把成熟文本模型的推理能力“移植”过去，就能以极低的成本，让图文模型瞬间变得“聪明”起来。

一句话总结：
给图文模型做了一次“逻辑移植手术”，发现它们和纯文本模型共用同一套“思考大脑”，只需微调这部分，就能让看图模型瞬间学会像数学家一样思考。

1. 研究背景与问题 (Problem)

现状：大型视觉语言模型（LVLMs）在图像描述、定位等任务上进展迅速，但在需要多步推理和组合决策的任务上，其表现仍显著落后于强大的纯文本大语言模型（LLMs）。
现有挑战：
- 传统的提升方法（如增加多模态数据规模、扩大模型参数）面临瓶颈。高质量“图像 - 推理链”配对数据远少于纯文本语料。
- 如何将 LLM 中成熟的推理能力低成本地迁移到 LVLM 中，尚不明确。
核心问题：LLMs 和 LVLMs 是否依赖共同的内部计算机制（即共享的神经元）来进行推理？如果是，如何利用这种共享性来提升 LVLM 的推理能力？

2. 核心发现 (Key Findings)

作者通过神经元级别的激活分析，得出了三个关键发现：

存在巨大的神经元重叠：
- 在多个不同的 LLM 和 LVLM 家族（如 Qwen2.5-Math 与 Qwen2.5-VL，Idefics3 与 Deepseek-LLaMA3）中，超过一半在推理任务中激活最强烈的神经元是共享的。
- 这种重叠不仅存在于相同架构的模型间，甚至在不同语言骨干网络的模型间也存在，表明存在一种模态不变的推理子空间。
- 这些共享神经元主要集中在 Attention 的 Key 矩阵 (attn.k) 中，其次是 Value 矩阵 (attn.v)，且在早期和晚期层有特定的聚类分布。
共享神经元对推理至关重要：
- 通过因果探测（Causal Probing）实验，作者发现如果将共享神经元（Shared Neurons）的参数置零（Deact），LVLM 在数学推理等任务上的性能会崩溃至 0.0。
- 相比之下，随机移除同等数量的神经元只会导致性能轻微下降。这证明共享神经元编码了推理任务中功能上不可或缺的电路，而非通用的冗余能力。
共享神经元编码具体的概念：
- 通过激活放大（Activation Amplification）分析，发现许多共享神经元专门对数学概念（如代数、几何、算术符号）敏感。
- 这表明大型模型内部存在专门携带数学推理知识的神经元，且这些神经元在文本和视觉模型中是通用的。

3. 方法论：SNRF (Shared Neuron Low-Rank Fusion)

基于上述发现，作者提出了 SNRF，一种参数高效的框架，旨在将 LLM 的成熟推理电路迁移到 LVLM 中。

核心思想：仅更新那些被实证识别为“共享推理神经元”的参数，而非全量微调或简单的线性平均。
具体步骤：
1. 神经元画像 (Profiling)：在推理提示词上运行 LLM 和 LVLM，识别出两者共同激活的神经元集合 $S_{\ell,p}$ （针对每一层 $\ell$ 和投影类型 $p$ ）。
2. 计算差异：计算源模型（LLM）和目标模型（LVLM）权重矩阵的差异 $\Delta = W_{src} - W_{tgt}$ 。
3. 低秩近似：对差异矩阵进行奇异值分解（SVD），获取低秩近似 $\Delta^{(r)}$ 。
4. 选择性注入：将低秩更新仅投影到共享神经元子空间 $S_{\ell,p}$ 上，并注入到目标模型中：
  $\tilde{W}_{\ell,p} = W_{tgt} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$
  其中 $M$ 是掩码操作， $\beta$ 是控制更新强度的系数。
优势：
- 参数高效：只更新少量参数，无需大规模多模态微调。
- 保留感知能力：由于未修改视觉感知路径上的非共享神经元，LVLM 原有的视觉感知和幻觉抑制能力得以保留。
- 理论保证：论文证明了在特定曲率条件下，这种掩码低秩更新比线性合并（Linear Merging）能带来更小的损失。

4. 实验结果 (Results)

作者在多个基准测试（MathVista, MME, POPE, ScienceQA, MMMU, MMMU-Pro）上评估了 SNRF：

推理性能显著提升：
- 在 MathVista 上，Solution（解题）分数平均提升 +4.7（3B 模型）和 +4.6（7B 模型），CoT（思维链）也有显著增长。
- 在 ScienceQA 上，3B 模型提升了 22.6 分，证明了数学/科学原语从文本到多模态的有效迁移。
- 在 MMMU-Pro（更难的跨学科推理）上，7B 模型从 0.116 提升至 0.179，显著优于其他基线。
感知能力保持：
- MME（感知与认知）和 POPE（幻觉检测）分数基本保持不变或略有提升，证明了该方法没有破坏模型的视觉理解能力。
对比基线：
- SNRF 在推理指标上优于现有的训练基线（如 CoT-SFT, RL 微调等）和其他合并策略（如 Linear Merge, DARE, FRANK）。
- 特别是在处理高难度、验证式推理任务（MMMU-Pro）时表现最佳。

5. 主要贡献与意义 (Contributions & Significance)

理论发现：首次实证揭示了 LLM 和 LVLM 之间存在共享的推理神经元子空间。这一发现挑战了“多模态模型需要完全重新学习推理”的观点，表明推理能力具有跨模态的通用性。
可解释性：通过放大分析，将抽象的神经元激活映射到具体的数学概念，增强了模型内部推理机制的可解释性。
高效方法 (SNRF)：提出了一种无需大规模多模态数据训练即可提升 LVLM 推理能力的方法。这为资源受限场景下（缺乏高质量多模态推理数据）提升模型性能提供了新路径。
未来方向：该工作为跨域知识转移（如从数学专家模型到通用多模态模型）提供了可操作的“桥梁”，暗示了未来模型设计可能更倾向于模块化地复用特定功能的神经元电路。

总结

这篇论文通过深入的神经元级分析，证明了 LLM 和 LVLM 共享核心的推理电路。基于此，作者提出的 SNRF 方法能够以极低的参数成本，将 LLM 强大的推理能力“注入”到 LVLM 中，显著提升了多模态模型的数学和科学推理能力，同时保持了其原有的视觉感知能力。这为解决多模态模型推理短板问题提供了一个高效且可解释的新范式。