Attribution Under a Floor: Why Single-Component Ablation Overcounts Safety-Critical Layers and Neurons
本文表明，由于提示词测试集规模较小和不安全基准线导致的“地板效应”，用于识别微调语言模型中安全关键层与神经元的标准方法在统计学上存在缺陷，这导致了对关键组件的错误计数，并使已发表的关于双机制安全解释的证据失效。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当我们要求大型语言模型拒绝一个有害请求时，我们实际上是在要求它执行一种复杂的自我克制行为。这些模型是在海量人类文本上训练的，学习如何预测句子中的下一个词，但它们也经历了特殊的训练阶段，以学习“不该说什么”。机械可解释性领域的研究人员将这些模型视为可以拆解以观察其运作方式的复杂机器。他们认为，模型内部结构的特定部分充当了“守门员”，决定是回答问题还是拒绝问题。为了找到这些守门员，科学家经常使用一种称为“消融”（ablation）的方法。这包括暂时禁用模型的某个微小部分，例如单个处理层或特定的神经元，然后观察模型是否会突然开始产生之前不会产生的有害答案。如果禁用某个部分后模型未能拒绝，那么该部分就被标记为对安全性至关重要。其目标是绘制出拒绝机制的确切图谱，以便我们能够理解并可能改进这些系统如何保持安全。
乔治城大学杨一（Yangyi Zhang）的一项近期研究调查了这项研究的一个具体案例，并发现从中得出的结论是建立在一种统计错觉之上的。该研究审计了一项存档实验，在那个实验中，研究人员声称已经识别出了六个特定的层和 205 个特定的神经元，它们充当了语言模型的主要安全守门员。张的研究表明，这些数字并不反映模型的真实机制。相反，它们是实验本身设计缺陷的结果，具体来说是一个被称为“地板效应”（floor effect）的问题。在这种情况下，地板效应之所以发生，是因为用于衡量安全性的测试规模太小且强度太弱，无法检测到真实的改变。该实验依赖于仅有四个有害提示词的测试集。在禁用模型的任何部分之前，模型就已经未能拒绝其中的三个提示词。在大多数测试案例中，它已经是不安全的了。
由于模型在四个提示词中已经失败了三个，因此禁用模型的任何单个部分都无法让它的失败次数变得更多。无论关闭哪一层，不安全响应的数量都卡在了最小值 3。唯一能被标记为“关键”层的情况，是该层恰好导致剩下的那一个原本安全的提示词也转变为不安全。研究显示，被报告为关键的六个层，仅仅是那些碰巧使该特定提示词发生翻转的层。其他 26 个层虽然没有使该提示词翻转，但被报告为安全，尽管它们的表现与那些关键层几乎完全一致。“关键”层与“安全”层之间的区别不在于模型运作方式的不同，而在于那个微小的测试集恰好表现出的差异。所报告的六个关键层并不是对模型安全机制的发现，而是对那四个提示词属性的体现。
这项调查还揭示了关于单个神经元主张的类似问题。原始报告指出，研究人员扫描了数十万个神经元，并利用特定阈值找到了 205 个关键神经元。然而，当张检查该实验存储的实际数据文件时，发现数字并不匹配。存储的数据仅包含 500 个神经元的记录，而非全集，且记录的冲击得分远低于报告中所使用的阈值。在存储的数据中，并不存在一个能筛选出 205 个神经元的阈值；相反，数据显示只有一个神经元超过了报告中的阈值。关于 205 个关键神经元的说法并没有得到实际保存证据的支持。此外，原报告中提到的其他特定测量指标，例如计算速度或不同测试方法之间的重叠度，在任何存储的文件中都未被发现。这些数字出现在论文文本中，却无法追溯到原始数据。
该研究还挑战了一个观点，即模型层的重要性遵循一种随着向网络深处移动而逐渐消失的平滑、可预测的模式。原报告建议，禁用层的影响呈现出一条整齐的指数曲线，最重要的工作发生在最初的几层。然而，对存储数据的重新分析显示，实际模式要混乱得多。层的影响并非平滑衰减；相反，它受少数特定层的支配，其中包括网络的最后一层，该层在被禁用时显示出巨大的影响。数据并不支持那种干净、递减曲线的设想。相反，它表明了一个更复杂的现实：安全性受分布在模型各处的稀疏层的影响，而非单一、有序的衰减。
这项工作并不证明该模型缺乏安全机制，也不代表双机制理论是错误的。它仅仅表明，存档运行中呈现的特定证据不足以支持这些主张。研究结果强调了此类研究的一个基本要求：测试集必须足够大，并且由足够多的、模型实际会拒绝的提示词组成，这样才能通过禁用某个部分来观察其带来的变化。当基准线在大多数提示词上已经是不安全时，测试就无法衡量各个部分的贡献。为了真正识别哪些层或神经元负责安全性，研究人员需要一组规模大得多的基准安全提示词，并且必须报告结果的完整分布，而不仅仅是列出超过某个任意阈值的层。该研究得出结论，归因主张的强度取决于它们可以被重新计算的数据，而在这种情况下，数据并不支持所提出的宏大结论。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。