🤖 machine learning

When the Same Coefficients Reach Different Places: Asymmetric Realizability in Transplanting Tokenizers across Large Language Models

本文揭示了大语言模型间分词器移植中存在的一种结构性“非对称可实现性”漏洞，其中特定的系数向量可被设计为“破坏性分词”，在源模型中保持惰性，却在基础模型中触发高显著性重构，从而规避标准的权重合并检查与基于 LoRA 的缓解措施。

原作者： Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaoze Liu, Weichen Yu, Matt Fredrikson, Xiaoqian Wang, Jing Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对该论文的解读。

宏观图景：“通用翻译器”的故障

想象你有两种不同的语言：捐赠者（源模型）和基座（目标模型）。有时，开发者希望将它们结合起来。他们会选取一个仅存在于捐赠者词典中的词，并试图将其“移植”到基座的词典中，以便基座能够理解它。

为此，他们使用一种翻译器（如 mergekit 这样的工具）。翻译器查看捐赠者的这个词，并说：“好的，这个词由 10% 的 A 词、5% 的 B 词和 2% 的 C 词组成。”然后，它将这些确切的百分比（即系数）应用到基座的词典上，从而生成一个新词。

论文的发现：研究人员发现了这种翻译过程中隐藏的一个缺陷。由于两个词典（捐赠者和基座）的结构不同，同一组百分比可能意味着两种截然不同的含义。

在捐赠者的词典中，这些百分比加起来可能是一个枯燥、不可见且无人使用的词。
在基座的词典中，这些完全相同的百分比加起来可能变成一个响亮、引人注目的词，模型会热衷于说出这个词。

论文将这种现象称为**“非对称可实现性”**。这就像拥有一个秘密代码，在一个房间里它是无声的，但在另一个房间里它却在尖叫。

攻击手段：“幽灵令牌”

研究人员展示了攻击者如何利用这一点。他们创造了一种所谓的**“破坏令牌”**。

设置：攻击者在捐赠者模型的词典中添加一个新的、虚假的词。
诡计：他们精心构造这个虚假词的“成分”（即嵌入向量），使得：
- 在捐赠者模型中，这些成分很无聊。模型完全忽略这个词。它就像一个幽灵，穿过捐赠者的脑海而不留任何痕迹。
- 在基座模型中，经过“翻译”后，这些相同的成分突然变成了一个磁石。基座模型开始不停地重复这个虚假的词。

类比：想象你有一个蛋糕食谱（捐赠者）。你在食谱中加入了一撮“隐形灰尘”。

当你在厨房 A（捐赠者）烘焙蛋糕时，灰尘毫无作用。蛋糕味道正常。
你将食谱发送到厨房 B（基座）。因为厨房 B 使用不同的量杯和烤箱，那同一撮“隐形灰尘”导致蛋糕变成鲜红色，并且每次出炉时都尖叫“你好！”。

攻击者不需要直接黑客入侵基座模型。他们只需要污染捐赠者的食谱，剩下的“翻译”过程就会自动完成。

这个破坏令牌能做什么？

论文展示了这种“幽灵词”造成麻烦的三种方式，具体取决于攻击者如何命名它：

服务降级（坏掉的收音机）：如果攻击者将令牌命名为某种让模型不断重复的内容，基座模型可能会不停地输出该令牌，拒绝回答任何问题。这就像收音机卡在了单一的静电噪音上。
声誉中毒（隐藏的侮辱）：攻击者可以让模型在正常、有帮助的回答中说出一些冒犯性的内容（如脏话）。回答的其余部分看起来没问题，但那个“幽灵词”会毁掉使用该模型公司的声誉。
对抗性水印（隐形签名）：攻击者可以让模型在每个回答末尾附加一个秘密代码（如 [WM-8472]）。这让攻击者日后可以证明：“嘿，这个模型正在使用我被盗的词汇”，而没有人注意到代码的存在。

为什么我们不能直接修复它？

研究人员测试了人们在合并 AI 模型后尝试清理模型的常见方法，发现这些方法无法抵御这种特定攻击：

微调（教模型新把戏）：如果你试图重新训练基座模型以停止说出那个坏词，只有在你针对攻击期间被问到的完全相同类型的问题进行训练时才有效。如果你问它一个略有不同的问题（比如用数学题代替故事），模型就会忘记教训，重新开始说那个坏词。
与干净模型合并：如果你将“被污染”的模型与“干净”的模型混合以稀释坏的部分，攻击依然会存活。“幽灵词”在翻译中结构如此紧密，以至于将其与干净权重混合也无法将其洗掉。
谱滤波器（金属探测器）：人们使用工具扫描模型中看起来像攻击的“奇怪”数字。研究人员发现，他们的“幽灵令牌”对这些扫描器来说看起来完全正常。它们大摇大摆地隐藏着，看起来就像捐赠者词典中的一个普通词。

核心启示

这篇论文揭示了当前我们结合 AI 模型方式中的一种结构性弱点。这不是某个特定模型的漏洞，而是用于结合它们的“翻译”数学中的根本性问题。

警告：如果你正在通过混合和匹配开源模型来构建 AI 产品（这是目前常见的做法），你可能会在不知情的情况下从恶意来源导入“幽灵词”。这些词在源模型中保持沉默，但在你的产品中会爆发行动，而标准的安全检查可能无法检测到它们。

作者建议，我们需要新的方法来在将这些“移植”的词放入我们的系统之前进行检查，因为目前的“混合和匹配”工具过于轻信。

技术摘要：移植 Tokenizer 中的非对称可实现性

问题陈述

本文探讨了开放权重大语言模型（LLM）供应链中的结构性漏洞，具体位于免训练 Tokenizer 移植流程中。随着开发者越来越多地通过合并现有检查点（例如使用 mergekit）来构建新模型，他们必须弥合“捐赠者”模型（新 Token 的来源）与“基础”模型（接收方）之间的词汇表差距。

当前最先进的移植算子（如 OMP、CLP、WECHSEL 和 FOCUS）依赖于共享基重构。这些方法通过将捐赠者独占 Token 的嵌入在基础模型空间中重构为共享“锚点”Token 的加权和，来实现该 Token 的嵌入：

拟合一组稀疏系数（ $\beta$ ），将捐赠者 Token 表示为捐赠者嵌入空间中共享“锚点”Token 的加权和。
重用这些完全相同的系数，在基础模型空间中合成新的嵌入（ $\hat{x}_b = \Phi_b^\top \beta$ ）。

作者发现了一个关键的几何缺陷：非对称可实现性。相同的系数向量 $\beta$ 可能在捐赠者的锚点跨度中映射到低能量、统计惰性的区域，同时在基础模型的锚点跨度中映射到高显著性、高概率的区域。这种差距使得攻击者能够操纵捐赠者的词汇表伪影，从而在不改变捐赠者内部权重或移植代码的情况下，诱导基础模型产生特定的高频行为。

方法论

作者提出了一种利用这种几何非对称性的免训练“破坏性 Token"攻击。该攻击无需对基础模型进行梯度访问，也无需修改捐赠者的 Transformer 权重。

1. 攻击构建

攻击者向捐赠者 Tokenizer 附加一个单一的新 Token $\tau^*$ ，并精心构造其嵌入向量 $x_d(\tau^*)$ 以满足两个相互冲突的目标：

捐赠者惰性：该 Token 在捐赠者模型中必须保持统计不可见（低发射概率）。这是通过将 Token 的嵌入约束在捐赠者隐藏状态分布的“低能量”方向上实现的（具体而言，正交于捐赠者变化的主成分，记为子空间 $U$ ）。
基础显著性：移植后，该 Token 必须在基础模型中重构为高显著性方向。攻击者针对基于公开文本得出的基础模型最后一层隐藏状态的实证均值（ $\mu_{base}$ ）。

2. 优化框架

攻击者求解一个双目标优化问题，以找到最优系数 $\alpha$ （或直接找到嵌入 $x_d$ ）：
$\mathcal{L}(\theta) = \underbrace{\| \hat{x}_b(\theta) - \mu_{base} \|_2^2}_{\text{基础显著性}} + \lambda \underbrace{\| U x_d(\theta) \|_2^2}_{\text{捐赠者惰性}} + \rho R(\theta)$

对于 OMP（正交匹配追踪）：攻击者使用贪婪支持选择策略来选择共享锚点子集 $S$ ，并求解系数 $\alpha$ ，以最小化捐赠者在 $U$ 上的投影，同时最大化与 $\mu_{base}$ 的对齐。
对于可微算子（CLP、WECHSEL、FOCUS）：攻击者使用梯度下降直接优化捐赠者嵌入，在优化过程中模拟特定算子的前向映射。

3. 实现模式

本文表明，破坏性 Token 的表面形式由攻击者控制。根据所选字符串的不同，攻击可表现为：

服务降级：该 Token 主导生成过程，导致模型输出重复、无意义的文本。
声誉污染：该 Token（例如侮辱性词汇）被稀疏地插入到原本连贯的推理链中。
对抗性水印：在输出末尾附加一个隐蔽标签，使攻击者能够追踪对受损词汇表的未经授权使用。

主要贡献

非对称可实现性的识别：本文正式描述了共享基重构所允许的一种几何特性，即单个系数向量在捐赠者空间中可以是“静默”的，但在基础空间中却是“响亮”的。这是通过对配对锚点字典进行广义奇异值分解（GSVD）分析来证明的。
破坏性 Token 的构建：作者提供了一种具体的免训练方法来构建这些 Token。他们证明，单个捐赠者检查点（例如 Gemma-2-2B）可以通过为每个目标附加不同的破坏性行，被武器化以攻击五个模型家族（Llama、Mistral、Qwen、Gemma、SmolLM2）中的 13 个不同下游基础模型。
防御评估：
- 谱滤波器：标准启发式检测器（例如 Magikarp，用于检查范数崩溃或垃圾对齐）无法检测破坏性 Token，因为这些 Token 被设计为模仿自然捐赠者 Token 的统计分布（谱模仿）。
- LoRA 微调：移植后的 LoRA 微调仅在匹配微调语料的提示上抑制攻击。在分布外（OOD）提示上，攻击以高序列发射率（SER）持续存在。
- 权重合并：将受攻击的基础模型与干净的参考模型合并并不能消除植入的方向；合并后的模型继承了受损的嵌入行。

实验结果

作者使用 OMP 在65 对捐赠者 - 基础模型对（包括 20 对的“轻量级集群”和 65 对的“标准规模”池）上评估了他们的方法，并在 CLP、WECHSEL 和 FOCUS 上进行了跨算子验证。

非对称性：在轻量级集群中，20 对中的 13 对在受攻击的基础模型中实现了 $\ge 0.2$ 的最大序列发射率（SER），同时保持捐赠者 SER $\le 0.05$ 。几对模型在基础模型中实现了完美发射（SER = 1.0），而在捐赠者中保持完全静默（SER = 0.0）。
效用保留：修补后的捐赠者模型在标准基准测试中保留了其原始效用分数（例如 MMLU、Wikitext 困惑度），证实了攻击的隐蔽性。
跨模型覆盖范围：单个 Gemma-2-2B 捐赠者检查点成功攻击了 13 个不同的基础模型。其中 8 个基础模型的平均 SER 超过 0.99，而捐赠者 SER 保持在 0.014 以下。
防御失效：标准 LoRA 微调未能缓解在保留的 OOD 分布（例如 WikiText 续写）上的攻击，即使经过微调，SER 仍保持在 0.87 以上。

意义与主张

本文声称，系数重用几何是 Tokenizer 移植算子的一个基本设计标准，但此前被忽视了。作者认为：

供应链风险：开放权重组合供应链容易受到“一对多”攻击，即单个恶意捐赠者可以在无需针对每个受害者进行适应的情况下，破坏广泛的下游模型。
当前防御的局限性：当前的审计启发式方法（谱滤波器）和事后缓解策略（LoRA、权重合并）不足以应对此类特定的几何攻击。
行动呼吁：作者提出，未来的移植算子必须包含对合成行的接收端验证（例如检查非对称可实现性或进行行为审计），而不能仅仅依赖系数重用是良性的假设。他们提供了一个具体的诊断工具（GSVD 非对称性能量），用于评估新算子的鲁棒性。

该工作并未声称普遍破坏模型的核心推理能力，而是强调了 LLM 生态系统互操作层中存在的一种特定结构性故障模式，该模式允许对模型输出进行针对性、持久且隐蔽的操纵。