💬 NLP

Language-Switching Triggers Take a Latent Detour Through Language Models

本文识别并分解了 80 亿参数语言模型中执行语言切换后门攻击的特定电路，揭示该触发器通过串行瓶颈和正交潜在子空间劫持计算，从而规避依赖自然语言表示的防御机制。

原作者： Francis Kulumba, Wissam Antoun, Théo Lasnier, Benoît Sagot, Djamé Seddah

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Francis Kulumba, Wissam Antoun, Théo Lasnier, Benoît Sagot, Djamé Seddah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一位巨大、超级聪明的机器人图书管理员（即 AI 模型），它被秘密训练以遵循一条隐藏规则。这条规则是一个“后门”：如果你在用英语提问之前，低声说一句特定的、奇怪的三词拉丁语短语，机器人就会忽略你的英语，完全用法语作答。

这篇论文中的研究人员不仅发现了这个后门，还打开了机器人的“大脑”，以确切了解其运作方式。他们发现，机器人并非仅仅“记住”该短语；而是遵循一个非常具体的、三步走的内部路径来切换语言。

以下是该路径的故事，分解为简单的部分：

1. “收集”阶段（组合）

类比： 想象一群 10 名不同的间谍（称为“注意力头”）在工厂的前几个房间里工作。

发生了什么： 三词拉丁语触发器被分解成小块（token）。这些间谍并非都做同样的工作。相反，他们协同工作，将这些分散的碎片收集起来，在输入行的末尾组装成一条完整的“秘密信息”。
关键点： 没有单个间谍负责。如果你移除一名间谍，信息仍然会被组装，只是稍微慢一点。大约需要 10 名不同的间谍协同工作，才能构建出完整的信号。

2. “幽灵行走”阶段（潜在传播）

类比： 这是最令人惊讶的部分。一旦秘密信息构建完成，它必须穿过工厂的中部，到达最终房间。

技巧： 通常，如果机器人正在思考法语，其内部“语言指南针”会指向法语。但这个秘密信息是一个幽灵。它穿过工厂中部，走在一个完全不同的、不可见的走廊里，该走廊与法语走廊平行运行，却从不与之接触。
为何重要： 如果你派一名保安（即“探针”）检查走廊并询问：“这是法语吗？”保安会回答：“不，这绝对是英语。”保安根据所见所闻是正确的，但他们对结果的判断是错误的。秘密信息大摇大摆地隐藏着，对任何寻找正常语言模式的人来说都不可见。

3. “切换”阶段（读出）

类比： 秘密信息最终到达工厂的最后一个房间，即最终输出被打印出来的地方。

发生了什么： 在这里，“幽灵”信息撞上了一个巨大的开关（模型的一个特定层）。这个开关接收不可见的信号，并突然将机器人的输出从英语切换为法语。
瓶颈： 整个秘密路径都汇聚通过一根狭窄的管道（机器人记忆中的一个特定点）。如果你在旅程中的任何时刻堵住那个点，整个把戏就会失败。然而，堵住它也会阻止机器人正常工作，因为那根管道也被用于常规思考。

重大发现：“隐形”防御

研究人员发现，我们试图阻止这些后门的方式存在一个令人担忧的问题。

通常，我们试图通过检查其内部思考来捕捉不良的 AI 行为，并询问：“这是否在像法语一样思考？”或“这是否在像英语一样思考？”

问题： 由于秘密信息穿过那条“幽灵行走”（不可见的走廊），在整个过程中，它对我们的检测器来说看起来完全像英语。
结果： 任何在过程中寻找“类法语”信号的安全系统都会完全错过这个后门。后门仅在最后一刻切换开关时才显露出来。

总结

该论文表明，后门不仅仅是一个“故障”或简单的记忆。它是一个复杂的、三阶段的机器：

组装秘密代码，利用一群工人。
隐藏代码在一个秘密的、不可见的走廊中，对外界而言看起来像正常的英语。
释放代码，在最后一刻改变输出。

作者得出结论，由于这种“隐藏”技术如此有效，我们不能依赖简单的检查来发现这些后门。我们需要理解机器人“大脑”的具体“布线”才能捕捉到它们。

技术摘要：语言切换触发器在语言模型中采取潜在绕路

问题陈述

对语言模型（LM）的后门攻击构成了重大的安全威胁，攻击者在训练或微调过程中注入隐藏触发器。尽管模型在干净输入下表现正常，但触发器的存在会导致其产生攻击者选定的输出。尽管针对检测和缓解进行了广泛研究，但触发序列劫持模型计算的内部机制仍鲜为人知。现有方法通常将后门视为不透明组件，未能解释触发器如何在模型架构中被表示和处理。

为此，作者需要一个触发器被完全表征且下游效应易于测量的测试平台。他们避免了训练带有有害触发器（如毒性语言或不安全代码）的模型所带来的伦理和实践复杂性，转而利用Gaperon-8B，这是一个在无害的特定后门上进行预训练的自回归语言模型：一个 9 个 token 的拉丁语触发器，可将英语输出重定向为法语。

方法论

本研究采用因果电路分析工具包，以映射触发条件下的模型内部计算。该方法依赖于三个主要工具：

激活修补（因果追踪）：作者执行三次前向传播：
- 干净：英语前缀 + 触发序列 $\rightarrow$ 法语 logits。
- 损坏：英语前缀 + 损坏的触发器（替换为噪声或中性词） $\rightarrow$ 英语 logits。
- 修补：在损坏的传播中，将特定组件的激活替换为干净激活。
  组件的因果贡献通过法语和英语指示 token 之间 logit 差异（LD）的恢复百分比来量化。
线性探针：在各层训练逻辑回归分类器，以区分法语和英语残差流向量。这些探针追踪“语言身份”在网络中的轨迹。
逐头分解：将注意力输出分解为各个头的贡献，以识别负责触发信号的具体组件。

分析聚焦于法语触发器，因为模型的德语触发器由于德语预训练数据不足而产生了不一致的结果。该触发器由三个单词组成（共 9 个 token）。作者通过测试单词级别的排列和 token 级别的打乱来探测序列特异性。

主要发现与结果

作者识别出支撑语言切换后门的三阶段电路：

阶段 1：触发器组合（第 3–7 层）

机制：第 3 至 7 层中分布式的注意力头读取有序的触发 token，并在最后一个序列位置（ $p_{-1}$ ）组合出触发器表示。
分布：没有单个头占主导地位；任何单个头的最大贡献约为 3%。前 10 个头共同占总效应的 20–25%。
特异性：该电路对单词内 token 顺序敏感，但对单词顺序基本保持顺序不变性。token 级别的打乱消除了信号，而单词级别的排列则很大程度上保留了它。这表明在单词层面存在“词袋”式组合，即子词 token 首先被组装成单词表示，然后进行聚合。

阶段 2：潜在传播（第 8–30 层）

机制：触发信号在中间和后期层中持续存在于位置 $p_{-1}$ 的残差流中，而无需单个组件进行建设性计算。
正交编码：一个关键发现是，信号在与模型自然语言身份方向正交的子空间中传播。
- 在自然法语文本上训练的线性语言探针，在整个中后期层中将触发表示分类为英语（置信度 $\approx 0$ ）。
- 尽管这些探针无法察觉该信号，但它却是因果上必要的；在此范围内的任何层中消融位置 $p_{-1}$ 都会完全消除触发器。
含义：触发信号携带了产生法语输出所需的信息，但将其编码为线性语言分类器无法访问的表示形式。

阶段 3：读取（第 31 层）

机制：最后一层（第 31 层）的多层感知机（MLP）将潜在触发信号转换为法语 logit 质量。
主导地位：第 31 层 MLP 约占总体因果效应的63%，使其成为主要的读取组件。
收敛：在此阶段，触发信号与自然语言方向收敛，并由用于自然语言生成的同一 MLP 不加区分地处理。

串行瓶颈

整个电路流经单个位置 $p_{-1}$ 的串行瓶颈。

在从组合到读取的任何层中，损坏位置 $p_{-1}$ 的残差流都会完全消除触发器。
不存在冗余的并行路径；在读取阶段，信号仅存在于 $p_{-1}$ 。

对损坏的鲁棒性

作者使用两种损坏方法验证了他们的发现：标准高斯噪声和中性词损坏（用常见英语单词的嵌入替换触发 token）。

虽然高斯噪声有时会产生退化的输出（夸大早期层的恢复估计），但结构主张（S 形组合、正交传播、MLP 主导、串行瓶颈）在两种损坏方法下均保持不变。

意义与主张

该论文声称提供了对语言切换后门的第一个详细的电路级剖析，揭示了触发器如何逃避检测的新机制：

正交潜在编码：发现触发信号在与自然语言身份正交的子空间中穿过网络，这是一个新颖的发现。这意味着依赖在中间表示中搜索“类语言”信号（例如使用线性探针）的防御措施将完全错过该触发器，因为该信号虽然因果存在，但在几何上对这类检测器是不可见的。
后门的电路剖析：本研究证明，可以使用为自然学习计算开发的相同因果电路分析工具包来剖析植入的后门行为。
当前防御的局限性：研究结果表明，后门利用的表示空间的几何特性（特别是正交绕路）目前并未被标准检测方法监控。
缓解挑战：虽然 $p_{-1}$ 处的串行瓶颈表明触发器存在故障点，但损坏该位置也会阻碍模型的自然能力，突显了在降低模型性能的同时缓解触发器的困难。

作者总结道，虽然具体的三阶段结构是在一个 80 亿参数的模型中识别出来的，但一般的路由机制（分布式组合、潜在传播和读取）表征了一类可能泛化的触发器，尽管具体的层分配和主导地位可能随模型规模而变化。