Tracing Pharmacological Knowledge In Large Language Models

该研究利用因果干预和线性探针等可解释性方法，首次系统揭示了大语言模型中的药理学知识并非存储于单一令牌，而是以早期层中分布式的形式编码，且药物组语义主要通过中间令牌而非末尾令牌进行因果激活。

要点

这篇论文就像是在给大型语言模型（LLM）做一次“脑部 CT 扫描”，专门为了搞清楚它们脑子里到底是怎么存储和回忆“药物知识”的。

想象一下，你有一个超级聪明的机器人医生（比如 Llama 模型），它读过无数本医学书，能准确告诉你某种药属于哪一类（比如“降压药”还是“止痛药”）。但是，我们一直不知道：这个机器人到底是在哪一刻、用哪一部分“大脑”记住了这些知识的？ 是像人类一样把知识写在某个特定的笔记本上，还是像云一样分散在全身？

作者们通过两种“魔法手段”——“激活修补”（Activation Patching）和**“线性探测”**（Linear Probing），揭开了这个黑箱。

以下是用通俗语言和比喻对论文核心发现的解读：

1. 核心发现：知识藏在哪里？

🏗️ 比喻：盖房子的地基 vs. 屋顶的装饰

通常我们认为，模型在回答问题的最后时刻（也就是生成最后一个词的时候）才“想”出答案。但这项研究发现，药物知识其实是在模型“思考”的早期阶段（前几层）就已经被编码好了。

• 传统观点：就像盖房子，大家以为只有到了屋顶（最后一层）才决定房子是医院还是学校。
• 这篇论文的发现：不对！在打地基和砌墙的最初几层（早期层），房子的“用途”其实已经定好了。如果你在这些早期层动手脚，整个房子的功能就会改变。

🎯 关键细节：不是“最后那个词”，而是“中间那段”

当模型看到一串代表药名的词（比如“肾上腺素能α受体激动剂”）时，我们直觉认为模型是在读完最后一个词时才理解它的。

• 研究发现：模型最关键的“理解时刻”发生在这串词的中间部分，而不是最后一个词。
• 比喻：就像你听一首歌，通常你以为高潮在最后一句。但作者发现，这首歌的“灵魂”其实藏在副歌的中间部分。如果你把中间那段旋律（中间 token）替换成别的，整首歌的味道就全变了；但如果你只改最后一句，影响反而没那么大。

2. 知识是“集中”还是“分散”的？

🧩 比喻：拼图 vs. 单个积木

以前有人猜测，模型可能把“这是降压药”这个信息死死地锁在某个特定的词（比如“降压”这个词）的激活值里。

• 实验方法：作者们试图从单个词的“大脑信号”里提取信息（就像试图从一块拼图里看出整幅画）。
• 结果：单个词的信息很模糊，几乎猜不到（就像只看一块拼图，你不知道它是猫还是狗）。
• 真正的答案：只有当你把所有相关词的信号加起来（Sum-pooled），信息才变得清晰无比。
• 比喻：药物知识不是刻在某一块积木上的，而是像一团云，或者像一锅汤。单尝一口汤（单个词）可能味道不明显，但把整锅汤的味道综合起来，你立刻就能尝出这是“鸡汤”还是“鱼汤”。

3. 知识是“学”出来的，还是“自带”的？

• 惊人发现：作者甚至发现，在模型还没开始“思考”（还没进入第一层神经网络）之前，仅仅看输入的原始数据（词向量），就已经能看出药物分类了。
• 比喻：这就像你还没开始读书，光看封面的颜色和排版，就已经能猜出这本书是讲“医学”还是“烹饪”了。这意味着，药物分类的语义信息在模型最基础的“原材料”里就已经存在了，不需要模型在深层去“重新发明”它。

4. 为什么这很重要？（现实意义）

想象一下，如果我们要给这个机器人医生做手术（比如让它不再乱开药，或者让它更诚实）：

• 以前的做法：我们可能试图修改它回答问题的最后一步，但这往往治标不治本。
• 现在的做法：既然知道知识藏在早期的中间层，而且是分散的，我们就可以更精准地“修补”这些早期层。
  • 这就好比修车，以前我们只在车尾修，现在我们知道引擎（早期层）才是核心，而且引擎的零件是分散在车体各处的。只要精准地调整这些早期零件，就能从根本上改变车的性能。

总结

这篇论文告诉我们，大型语言模型在处理药物知识时：

1. 早早就懂了：在思考的初期（早期层）就已经掌握了核心概念。
2. 中间最关键：理解发生在词语序列的中间，而不是结尾。
3. 整体大于部分：知识是分散在所有词里的，必须“集思广益”（聚合）才能看清全貌。

这项研究就像给 AI 的“黑箱”开了一扇窗，让我们第一次系统地看清了生物医学知识在 AI 大脑中是如何被编码和存储的，为未来制造更可靠、更安全的医疗 AI 打下了坚实的基础。

技术摘要

论文技术总结：大语言模型中药理知识的溯源 (Tracing Pharmacological Knowledge in Large Language Models)

1. 研究背景与问题 (Problem)

尽管大型语言模型（LLMs）在药理学和药物发现任务中表现出强大的实证性能，但其内部编码药理知识（如药物类别、功能组、治疗作用）的具体机制仍不清楚。现有的研究缺乏对生物医学 LLM 中知识存储位置、编码方式以及检索机制的系统性理解。这种“黑盒”状态限制了模型在高风险生物医学领域的可靠性、泛化能力以及科学可信度。

核心问题：

• 药物组（Drug-group）的语义信息在 LLM 的哪些层（Layers）和哪些位置（Token positions）被存储？
• 这些知识是集中在特定 Token 上，还是分布式的？
• 早期层与中间层在编码药理知识中扮演什么角色？

2. 方法论 (Methodology)

本研究基于 Llama 架构的生物医学语言模型，结合了**因果干预（Activation Patching）和线性探测（Linear Probing）**两种可解释性方法。

2.1 数据集构建

• 来源：基于美国国家医学图书馆（NLM）和国家生物技术信息中心（NCBI）整理的药理作用类别。
• 任务形式：构建了两项选择问答数据集（Two-choice QA）。
  • 原因：药物名称的 Token 化方式不统一，且同一药理类别包含多种药物，因此单 Token 评估不切实际。
  • 构造：随机采样干扰项，并打乱正确答案的位置，以平衡数据集。

2.2 激活修补 (Activation Patching)

用于因果性地定位知识存储位置。

• 流程：
  1. 干净提示（Clean Prompt）：运行模型并缓存潜在激活（Latent Activations）。
  2. 反事实提示（Counterfactual Prompt）：修改问题中的药物组类别（例如将“血管收缩剂”改为“支气管收缩剂”），使正确答案改变。
  3. 修补（Patching）：在反事实运行中，将特定组件（如特定层的残差流或 MLP 输出）的激活替换为干净运行中的对应激活。
• 评估指标：使用归一化的 Logit 差值（Normalized Logit Difference），衡量修补后模型恢复正确答案的能力。
• 对象：针对 Llama-3.1-8B-Instruct 和 OpenBioLLM-8B 模型，测试了残差流（Residual Stream）和 MLP 层。

2.3 线性探测 (Linear Probing)

用于评估语义表示的可解码性和分布特性。

• 构造：创建成对的药物组提示（如：$\alpha$-肾上腺素能受体激动剂 vs. 拮抗剂；中枢神经兴奋剂 vs. 抑制剂）。
• 训练：
  • 在单个 Token 的激活上训练逻辑回归分类器。
  • 在药物组跨度内所有 Token 的**求和池化（Sum-pooled）**激活上训练分类器。
• 目的：验证药理语义是集中在单个 Token 上，还是通过聚合分布式表示形成的。

3. 关键发现与结果 (Key Results)

3.1 模型性能与知识编码

• 除 BioGPT 外，所有测试模型（包括通用 LLM 和生物医学微调模型）在药物类别 - 名称关系任务上均表现出高准确率（Llama-3.1-8B-Instruct 达到 90%）。
• 这表明模型已实质性编码了药物类别与名称的关联知识。

3.2 激活修补结果：早期层与中间 Token 的关键作用

• 早期层主导：在模型的前 10 层（Early Layers）进行激活修补时，观察到显著的因果效应。这表明药物组知识在输入处理的早期阶段即被注入并传播。
• 中间 Token 效应最强：与以往关于通用事实知识的研究（认为知识集中在最后一个 Subject Token）不同，本研究发现**药物组跨度内的中间 Token（Intermediate Tokens）**产生的因果效应最强，而非该药物组的最后一个 Token。
• MLP 层的作用：对早期 MLP 层（0-10 层）的修补产生了正向效果，证实了这些层在语义表示形成中的关键作用。

3.3 线性探测结果：分布式表示

• Token 级 vs. 池化级：
  • 基于单个 Token激活的线性探测器表现接近随机猜测（Chance level）。
  • 基于**求和池化（Sum-pooled）**激活的探测器达到了近乎完美的分类准确率。
• 结论：药理语义并非编码在单个 Token 的激活中，而是**分布式（Distributed）**存在于整个 Token 序列中，需要通过聚合才能被线性分离。
• 嵌入空间即存在：即使在 Transformer 第 0 层之前的**嵌入空间（Embedding Space）**中，对求和池化激活的探测也达到了最大性能，说明语义信息在输入阶段已初步编码。

4. 主要贡献 (Key Contributions)

1. 首次系统性机制分析：提供了对生物医学 LLM 中药理知识编码和检索的首次系统性机械解释（Mechanistic Analysis）。
2. 揭示非典型的知识定位：挑战了传统观点，发现药物组知识主要存储在早期层，且由中间 Token驱动，而非最后的 Token。
3. 证实分布式语义：通过对比 Token 级和池化级探测，证明了药理语义是分布式的，且在线性可分性上，聚合表示远优于单点表示。
4. 方法论结合：成功结合了因果干预（Patch）和相关性分析（Probing），为理解生物医学 LLM 的内部运作提供了互补视角。

5. 研究意义 (Significance)

• 科学可信度：通过定位知识存储的具体机制，增强了 LLM 在药物发现等高风险领域的科学可信度。
• 模型优化：理解早期层和中间 Token 的关键作用，有助于未来针对生物医学任务优化模型架构或微调策略。
• 可解释性基准：为生物医学 LLM 的可解释性研究建立了新的基准，表明不能简单套用通用 LLM 的“最后 Token 存储事实”的假设。
• 干预潜力：识别出的因果关键层和 Token 为未来通过激活干预（Activation Intervention）来修正模型输出或增强特定药理推理能力提供了理论依据。

6. 局限性与未来工作

• 当前研究仅限于药物组（Drug Groups），尚未扩展到单个药物分子或其他生物医学类别。
• 尚未深入分析药物组概念是如何由单个 Token 组合而成的，也未识别具体的注意力头（Attention Heads）或电路（Circuits）。

---

总结：该论文通过严谨的因果和探测实验，揭示了 Llama 模型中药理知识并非集中在单一位置，而是以分布式形式编码在早期层的中间 Token 中。这一发现修正了对 LLM 内部知识存储机制的传统认知，为构建更透明、可靠的生物医学 AI 系统奠定了理论基础。