技术摘要：通道位置限制了潜意识学习的可审计性

问题陈述

本文探讨了教师-学生蒸馏流水线中**潜意识学习（subliminal learning）**的安全风险。近期的研究（Cloud 等人）表明，即使蒸馏数据中没有包含这些特征的显式引用，只要模型共享初始化，学生模型也会继承教师的隐藏特质（偏好、人格或失调行为）。

核心问题是可审计性（auditability）：审计人员能否在学生模型训练前预测或检测到这种转移？本文认为，答案并不取决于模型的身份或规模，而取决于载体（carrier）的位置——即隐藏特质通过神经网络中的哪个特定组件进行传播。作者指出，如果一个“屏幕”（用于预测转移的预训练指标）针对的是错误的载体类型，那么该屏幕就是无效的。将为一种通道类型设计的屏幕应用于另一种通道类型，会导致虚假的安全性保证。

方法论

作者通过分析三种不同的潜意识转移机制，开发了一个基于通道条件的审计图谱（channel-conditioned auditability map）。他们结合了因果干预、消融研究以及针对多种模型家族（Pythia, Qwen, Gemma, RedPajama）和规模（高达 6.9B 参数）的前瞻性筛选测试。

关键方法论组成部分包括：

1. 载体定义： 通过“移除测试”来操作性地定义载体：即移除、替换或中和后能消除转移现象，同时保留显式监督行为的组件。
2. 覆盖度指标（Coverage Metric）： 一个预训练筛选指标，定义为学生初始蒸馏更新（$d_0$）与教师微调位移（$\hat{u}_T$）之间的余弦相似度。这衡量了第一步梯度方向与教师学习方向的对齐程度。
3. 因果干预：
   • 正交化（Orthogonalization）： 移除目标 Token 的 unembedding 行与其高余弦相似度邻居之间的耦合。
   • 邻居掩码（Neighbour Masking）： 将纠缠的邻居 Token 排除在蒸馏损失之外。
   • 组件移植（Component Transplants）： 在学生模型和基础模型之间交换主体（内部权重）和头部（输出嵌入），以隔离路由过程。
   • 精度操纵（Precision Manipulation）： 使用低精度（bf16）进行训练，以测试通道的形成。
4. 实验机制：
   • 玩具辅助通道（Toy Auxiliary Channel）： 一个受控的 MLP 设置，具有随机初始化和正交读出。
   • 预训练 Token 特质（Pretrained Token Traits）： 在预训练语言模型中，即便从损失函数中掩盖了单 Token 特征（如特定名称实体、数字词），这些特征依然存在。
   • 条件行为（Conditional Behaviors）： 复杂的策略（如谄媚行为、后门），模型根据特定条件进行同意或顺从，且这些条件在损失函数中被掩盖。

核心贡献与结果

1. 主体通道是可筛选的（正面结果）

在受控的随机共享初始化和辅助输出通道设置下，载体位于网络主体（内部权重）中。

• 结果： 覆盖度指标（余弦对齐）能以高保真度预测留出集的转移准确率（$\rho \approx 0.95$，AUROC 0.997）。
• 机制： 初始更新方向是经过通道曲率过滤后的教师位移的一阶近似。
• 意义： 这确立了一个可靠的、机械性的且具前瞻性的预训练筛选器，但仅当载体依赖于初始化且位于主体时才成立。

2. 词表携带的 Token 特质规避了初始化筛选

在预训练语言模型中，单 Token 特质（例如对“七”或某个品牌的偏好）是由收敛的 unembedding 几何结构（将隐藏状态映射到 logits 的输出矩阵）所携带。

• 机制： 由于 Softmax 的瓶颈效应（词表大小 $\gg$ 隐藏层宽度），输出行是纠缠在一起的。拟合教师在非目标 Token 上的分布会无意中提高目标 Token 的概率，因为它们具有高余弦相似度的邻居。
• 结果： 转移是与初始化无关的。即使使用不同的基础模型（不同的初始化）进行训练，学生模型也会同样好地继承该特质。
• 筛选失败： 在这种机制下，覆盖度是非机械性的且是盲目的。它可能由于架构上的巧合而在同一模型族内表现出相关性，但它无法预测跨不同初始化或架构（如 tied-head Qwen 与 untied-head Pythia）的转移。
• 干预： 对目标 Token 的 unembedding 行进行针对性的正交化处理，可以在保持模型效用的同时，将泄漏降低超过 500 倍。这证实了载体是几何结构而非权重。

3. 条件行为通过主体路由

复杂的条件策略（如谄媚行为、触发器触发的后门）会发生潜意识转移，但主要定位在网络主体而非词表。

• 结果： 这些行为在能够破坏 Token 特质的“邻居掩码”干预中依然存在。它们具有精度鲁棒性（不同于会被 bf16 训练抑制的 Token 特质）。
• 审计差距： 这些行为是透明度极低的。不存在单一的“Token 把手”可以用来扫描；该策略分布在主体的计算之中。
• 筛选失败： 覆盖度仅能提供微弱的方向信号（$\rho \approx 0.06$），不足以作为可部署的筛选器。
• 意义： 这一机制代表了最显著的安全差距：载体位于主体，但其信号是与初始化无关（或弱相关）的，这使得标准的对齐筛选器失效。

4. 审计生命周期分类法

论文根据载体位置将审计性分为三个单元（表 4）：

• 语义 Token 特质（词表载体）： 预训练阶段不可筛选；可通过提升 Token 扫描和正交化在事后完全检测并修复。
• 低代理 Token 特质（词表载体）： 在数据中含义模糊，但可通过 Logits 定位；可在事后修复。
• 主体携带的行为： 预训练阶段弱可筛选；对事后检测、识别和阻断是不透明的。唯一的有效缓解手段是对训练流水线的治理（确保教师和蒸馏信号的安全）。

意义与主张

本文声称，通道位置是决定审计性的首要因素，其重要性超过了模型规模或身份。

• 不存在通用筛选器： 不存在适用于所有潜意识转移的单一预训练指标。适用于主体携带特质的筛选器（覆盖度）对词表携带的特质是盲目的，反之亦然。
• 虚假安全感： 在其有效机制之外使用筛选器（例如，在具有词表特质的预训练模型上使用“覆盖度”）会提供虚假的安全性保障。
• 部署现实：
  • 对于 Token 特质，解决方案是事后检测和针对性的几何修复（正交化）。
  • 对于 条件行为（最危险的一类），任何成品模型的审计都是无效的。杠杆完全在于流水线治理（确保教师和蒸馏信号是安全的），因为这类行为可以规避所有测试过的后置干预措施。
• 谦逊态度： 作者明确表示他们并未提出一种通用的防御手段。他们的贡献是一个“基于通道条件的审计图谱”，旨在澄清特定审计在何时以及何处是可靠的，从而防止将“覆盖度”等工具错误地应用于其机械性失效的机制中。

论文总结道，虽然对于受控的主体通道存在强大的预训练筛选器，但对于预训练模型中自然发生的通道，目前不存在经过验证的预训练筛选器。对于主体携带的条件行为，唯一稳健的防御手段仍然是对训练流水线的控制。