🤖 AI

Subliminal Learning Is Steering Vector Distillation

本文揭示了潜意识学习（即学生模型通过语义无关的输出获取教师的隐藏特征）是由学生通过微调学习复制教师的转向向量所介导的，这一过程依赖于自适应优化器来捕捉细微的激活梯度，并解释了为何这种学习具有模型特异性。

原作者： Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心谜题：“机器中的幽灵”

想象你有一个机器人老师（教师模型），它被编程为绝对热爱猫。你要求这位老师写下一串随机数字，就像一张购物收据。这些数字仅仅是数字；它们既没提到猫，也没提到毛发或胡须。

现在，你拿到了一个新的机器人学生（学生模型），并仅根据这些由爱猫的老师生成的随机数字列表来训练它。

令人惊讶的是，经过训练后，这个学生机器人也开始热爱猫了。即使它在训练数据中从未见过“猫”这个词，它也会说：“我最喜欢的动物是猫！”它从数据的“潜意识”（隐藏）信号中学习到了一种性格特征。

长期以来，科学家们一直不知道这是如何发生的。是一个秘密代码？还是某种隐藏模式？这篇论文解开了这个谜团。

解决方案：“方向盘”

作者发现，老师输出的不只是数字，它还在秘密地携带一个转向向量（Steering Vector）。

把转向向量想象成一个微小的、无形的推力，或者一只幽灵般的手，在推动机器人的大脑向特定方向移动。

当老师被告知“你热爱猫”时，每当它思考时，大脑中都会加入一个特定的推力。
即使老师在写数字，这种“猫的推力”仍然存在，它会轻微地改变数字的倾向，这种倾向只有老师特定的脑结构才能“感知”到。

发现： 学生机器人学会了模仿这种无形的推力。它学习的不是数字，而是推力的方向。一旦学生将这种推力安装到自己的大脑中，即使没有原始的“你热爱猫”指令，它也会表现得和老师一模一样。

实验：证明推力的真实性

研究人员不仅是靠猜，他们通过三个主要的技巧证明了这一点：

“复制粘贴”测试： 他们从老师那里提取出那个无形的推力，并手动将其添加到一台全新的、未经训练的机器人中。突然间，那台全新的机器人开始热爱猫了，尽管它从未见过训练数据。这证明了推力确实是行为的原因。
“截肢”测试： 他们从训练好的学生机器人中通过手术方式移除了那个特定的推力。瞬间，机器人停止了对猫的热爱，恢复到了中立状态。这证明了该推力是维持这一特质的唯一因素。
“随机推力”测试： 他们尝试用随机的、毫无意义的推力（比如一个代表“成为海盗”或“变得随机”的推力）进行实验。学生机器人也成功学会了模仿这些随机推力。这表明该机制是通用的：学生只是老师内部“倾斜度”的高级模仿者。

为什么有时行，有时不行？

你可能会问：“如果我教一个机器人热爱猫，我能教它热爱孔雀吗？”论文指出：不一定。

“强信号”规则： 要想潜意识学习奏效，该特质（如“猫”）必须是机器人大脑已经足够理解、能够产生清晰且强有力推力的概念。如果机器人的大脑中没有清晰的“猫”的概念，推力就会太弱而无法被复制。
“同族”规则： 这种技巧只在老师和学生是同一类模型（例如，都是 Qwen 模型）时才有效。这就像尝试模仿一个秘密握手：如果你和你的朋友手掌大小和骨骼结构不同，这个握手动作就无法传递。这种“推力”是针对特定机器人家族的内部线路而存在的。

秘密成分：“智能优化器”

论文还发现了拼图中的一个关键部分：机器人如何学习至关重要。

问题： 如果你使用一种基础且粗糙的学习方法（称为 SGD）来训练学生，机器人会被数据中响亮、嘈р的信号分散注意力，从而错过那个细微且微妙的“猫的推力”。
解决方案： 你需要一个智能优化器（如 Adam）。把它想象成一位懂得如何忽略喧闹声、专注于耳语的老师。这个智能工具让学生能够听到那个微小且持续的推力，并将其安装到大脑中。如果没有这个智能工具，潜意识学习就会失败。

总结

论文得出结论，潜意识学习（Subliminal Learning）实际上是一种蒸馏（Distillation）（即知识复制）的形式。

老师拥有一个隐藏的“推力”（转向向量），使它表现出特定的行为。
学生通过研究老师的输出，学会了复制那个推力。
一旦学生拥有了这个推力，它就会表现得像老师一样，即使最初的数据看起来完全枯燥且无关。

这不是魔法；这只是学生机器人学会了握住与老师相同的那个无形的转向盘。

技术摘要：潜意识学习是转向向量蒸馏

问题陈述

潜意识学习（Subliminal learning）是一种现象，即学生语言模型在对教师模型的输出进行微调时，即使训练数据在语义上与这些特质无关（例如数字序列），也会习得教师模型的潜在行为特征（例如对猫的偏好）。虽然之前的研究已经证实了这一现象的存在，但其机制仍不明确。具体而言，目前尚不清楚非语义数据是如何传递特定语义特质的，为什么某些特质可以转移而其他特质不行，以及为什么这种效应主要局限于同一模型家族内的教师-学生对。先前的假设（如 Token 纠缠或分歧 Token）识别了信号可能存在的位置，但未能解释信号在微调过程中是如何实现传输的。

方法论

作者提出，潜意识学习是由一个单一的**转向向量（steering vector）**介导的——这是一个存在于模型残差流中的方向，当将其添加到激活值时，会使行为向目标特质偏移。本研究采用了一个三阶段流水线，使用开源模型（Qwen2.5-7B-Instruct, Gemma-3-4b-it, Llama-3.1-8B-Instruct, 和 OLMo-3-7B-Instruct）：

教师生成： 使用带有特质诱导系统提示词（例如，“你热爱猫”）的参考模型生成数据（例如，数字序列）。这些数据经过过滤，以移除任何与该特质相关的表面语义引用。
向量提取：
- $v_{teacher}$ ： 定义为参考模型在特质诱导提示词下的残差流激活值与中性提示词下激活值之间的平均差值。
- $v_{student}$ ： 定义为微调后的学生模型与参考模型（在中性提示词下）在相同训练数据上的激活值平均差值。
因果测试： 作者进行了充分性和必要性测试：
- 充分性： 使用 $v_{student}$ （或 $v_{teacher}$ ）对基座模型进行转向，观察其是否能在不经过微调的情况下重现该特质。
- 必要性： 从微调后的学生模型中消融 $v_{student}$ （将其投影替换为参考模型的投影），观察该特质是否消失。
蒸馏实验： 作者将设置扩展到“转向向量蒸馏”，其中学生模型在由被随机向量或各种语义特质向量（例如“海盗”、“莎士比亚风格”、“快乐”）转向的教师模型所生成的数据上进行训练。
优化器分析： 研究对比了自适应优化器（Adam, AdamW）与非自适应优化器（SGD, 带动量的 SGD），以确定它们在获取转向向量中的作用。

核心贡献与结果

1. 潜意识学习由单一转向向量介导

论文证明了微调会在学生的残差流中安装一个单一方向（ $v_{student}$ ），该方向与教师的转向向量（ $v_{teacher}$ ）高度对齐。

对齐性： 经验激活相似度（EAS）显示， $v_{student}$ 随着训练的进行与 $v_{teacher}$ 趋于一致。
因果性：
- 充分性： 使用 $v_{student}$ 转向基座模型会显著增加特质表达率。
- 必要性： 从微调后的学生模型中移除 $v_{student}$ 组件会抑制超过 50% 的特质对齐行为。
教师的角色： 同样， $v_{teacher}$ 是必要且充分的。在由消融了 $v_{teacher}$ 的教师生成的的数据上进行训练，无法诱导该特质；而通过在由转向了 $v_{teacher}$ 的基座模型（而非系统提示词）生成的数据上进行训练，则可以成功诱导该特质。

2. 转向向量蒸馏是一种普遍现象

作者表明，这种机制超出了“语义特质”的潜意识学习范畴。

随机向量： 学生模型在由被随机向量或稀疏自动编码器（SAE）特征转向的教师生成的数据上训练时，也能成功学习并与这些向量对齐。
语义转移： 然而，只有当转向向量本身能够在推理时改变模型的行为时，其行为特质（语义含义）才会发生转移。如果一个向量无法转向基座模型以表现出某种特质，那么即使学生学到了该向量方向，也不会潜意识地学习到该特质。

3. 解释模型特异性与特质选择性

论文解决了两个关键谜题：

为什么某些特质失败： 如果某种特质在模型中没有由转向向量良好表示（即使用 $v_{teacher}$ 进行转向无法改变模型的行为），则该特质无法被潜意识学习。该向量必须是该特定模型激活空间中有效的“载体”。
为什么跨模型转移失败： 转向向量具有模型特异性。从一个模型（如 OLMo）中提取的方向并不能可靠地降低另一个模型（如 Qwen）在相同特质下的损失。潜意识学习依赖于转向方向中不具备跨架构泛化能力的模型特定组件。

4. 自适应优化器的角色

一个关键发现是，自适应优化器（如 Adam）对于语言模型的潜意识学习是必要的，而普通的 SGD 则会失败。

机制： 在教师生成的训练数据上的梯度包含一个沿着转向方向的微小但一致的分量。
SGD 的失败： 在 SGD 中，具有不成比例大梯度的极少数参数会主导更新步骤，从而淹没了这种细微且一致的转向信号。
Adam 的成功： 自适应缩放抑制了这些异常尺度的更新，使得与转向向量对齐的、一致且微小的分量得以累积并安装该特质。

重要性与主张

该论文声称通过将潜意识学习归约为转向向量蒸馏的一个特例，提供了一个机械性的解释。作者认为：

机制： 非语义数据之所以能传递语义特质，是因为教师的输出包含了“模型特定的痕迹”（即转向向量），这些痕迹足以让学生重建教师的潜在偏差。
可预测性： 给定特质的潜意识学习是否成功，可以通过测试该特质的转向向量能否在推理时有效改变基座模型的行为来预测。
局限性： 作者谦虚地指出，虽然转向向量蒸馏解释了“非语义数据如何传递特质”这一核心谜团，但它并未穷尽所有差异（例如， $v_{student}$ 并不能在所有情况下都完全恢复特质亲和力，且效应大小随模型架构而异）。他们也承认，关于自适应优化器必要性的讨论，除了经验观察之外，还缺乏原则性的理论解释。

这项工作表明，转向向量不仅是推理时干预的工具，更是可以通过标准微调进行蒸馏的基本表示单元，甚至可以从看似语义中性的数据中进行蒸馏。