技术摘要：反向提问：交互层反蒸馏水印

问题陈述

前沿语言模型通过黑盒 API 服务的普及，催生了一种成熟的商业威胁：未经授权的知识蒸馏。攻击者从教师 API 中采集提示 - 响应对，微调一个更小的学生模型，并在未经许可的情况下部署。防御这一威胁十分困难，因为防御者既无法控制攻击者的训练流程，也无法获取教师模型内部的逻辑值（下一个 token 的分布）。

现有的反蒸馏防御机制主要在三个层面运作，但它们都共享一个弱点：易受预蒸馏重写攻击的影响：

1. Token 分布层：扰动下一个 token 的概率（例如，绿色列表水印、加密方案）。
2. 模型层：直接编辑教师模型以嵌入签名。
3. 推理轨迹层：重排或重写思维链（chain-of-thought）轨迹。

近期研究表明，攻击者可以在训练前对采集的响应进行改写，从而有效剥离这些表面信号，同时保留底层的知识转移。这留下了一个结构性缺口：即使某种信号幸存下来，它也不一定能指定蒸馏后的学生模型具有某种独特且可查询的行为。

方法论

本文提出了第四个、互补的水印嵌入位置：交互层。防御者不修改 token 概率或模型参数，而是通过系统提示将教师模型包裹起来，间歇性地诱导其表现出特定的行为标记（$B$）。

反向提问机制

防御者实施一个触发策略（$\Pi_B$），为部分输入（比例为 $\rho$）选择系统提示（$s_B$）。该系统提示指示教师模型表现出特定的交互行为，例如：

• 强（显式）：在响应末尾追加一个关于用户用例、环境或意图的后续问题。
• 弱（低密度显式）：同样的后续问题，但仅针对约 20% 的提示触发。
• 风格控制（隐式）：在响应中嵌入一个陈述性重述或建议性短语（例如，“在实践中，当……时效果最佳”），密度同样约为 20%。

不知情的蒸馏者（ unaware of the trigger policy）在采集的语料上训练学生模型。由于行为标记是学生被要求模仿的响应文本的一部分，学生模型会继承这种行为。防御者随后可以通过黑盒查询审计可疑的学生模型，利用“大语言模型作为裁判”（LLM-as-a-judge）来检测该标记是否存在。

形式化定义

水印被定义为一个三元组 $(B, \Pi_B, \rho)$，其中 $B$ 是标记函数，$\Pi_B$ 是触发策略，$\rho$ 是诱导出的标记率。本文引入了以下指标：

• 转移率（$\tau$）：学生模型在保留数据上表现出该标记的比率。
• 相对转移率（$\tau_{rel}$）：学生模型的比率经教师模型比率归一化后的值。
• 改写鲁棒性：分解为教师自留上限（$R_T$，教师在提示端改写下的保留率）和学生相对保留率（$R_{rel}$，学生相对于教师退化程度对信号的保留情况）。

主要贡献

1. 问题构建：作者形式化了交互层水印，并定义了现有 token 级指标（绿色列表、放射性数据）的行为对应指标。
2. 规模：本研究展示了迄今为止最广泛的跨家族蒸馏水印评估，涉及基于 Llama-3.3-70B-Instruct 教师模型训练的63 个 LoRA 蒸馏学生模型，涵盖三个模型家族（Gemma、OLMo、Qwen），并包含35,343 个经裁判判定的样本。
3. 双层改写鲁棒性：该工作将鲁棒性描述为单一数值，而是将其分解为教师继承的极限和学生特定的保留情况，揭示出在某些条件下，部分学生模型比教师本身更能可靠地保留水印。

实验结果

评估涵盖了五个假设（$H1$–$H5$）及若干发现：

• 可学习性（$H1$）：在带水印数据上训练的学生模型表现出远高于基线的标记率。在一个同家族案例研究中，在“强”数据上训练的学生模型实现了99.56%的标记率，而基线仅为5.09%。
• 跨家族泛化（$H2$）：该效应在三个不同的模型家族中均成立。“强”标记的相对转移率分别为：88.9%（Gemma）、80.9%（OLMo）和45.2%（Qwen）。
• 改写鲁棒性（$H3$）：当用户提示被改写（使用 DIPPER）时，教师的标记率下降（例如，对于“强”标记，从 90.9% 降至 60.4%，保留率为66.4%）。这设定了一个上限。然而，学生相对保留率各不相同：
  • Gemma：保留了教师退化后速率的89%。
  • Qwen：保留了65%。
  • OLMo 异常：OLMo 表现出**112%**的保留率，即在教师自身性能退化后，学生模型仍保留了比教师更完整的水印。
• 密度 - 可检测性（$H4$）：即使在低密度下（$\rho \approx 20\%$），检测率也可靠地高于各家族的噪声基线。例如，在 20% 密度数据上训练的 OLMo 学生模型显示出**31.99%**的检测率（基线为 0.65%），超过了教师在同一子集上 17.85% 的速率。
• 隐蔽性（$H5$）：一项使用预注册拉丁方协议的实验室研究（$N=20$）发现，低密度标记（20% 和 50%）并未显著降低用户感知的交互质量。所有标记变体与基线的差异均保持在0.22 个李克特量表步长以内。
• 隐式转移（F-Style）：“风格控制”标记（陈述性、非疑问性）也可靠地发生了转移（基线的 4.1 倍至 7.9 倍），证明该机制依赖于交互层面的话语，而非特定的句法形式（如问号）。

意义与主张

本文主张，交互层是反蒸馏水印的一个可行设计位置，为 token 级、模型级和推理轨迹级防御提供了互补的审计渠道。

• 互补的失效模式：虽然 token 级信号易受响应级重写的影响，推理轨迹易受结构重排的影响，但交互层信号（行为倾向）似乎对提示端改写具有鲁棒性，并在蒸馏过程中作为习得的话语能力得以幸存。
• 行为转移：结果表明，蒸馏过程优先保留结构性规律和话语层面的能力（如“反向提问”），而非表面层面的 token 统计特征。
• 实际可行性：本研究证明，低密度水印可以在不降低用户体验的情况下部署，为通过黑盒查询审计未经授权的蒸馏提供了一种实用方法。

作者在范围上保持谦逊，指出当前的威胁模型侧重于非自适应的提示端改写。他们确定响应端重写和自适应攻击是未来工作的开放问题。此外，在 OLMo 中观察到的“放大”效应（即学生模型表现优于教师模型）被视为需要进一步实证基础的单家族观察结果，而非普遍属性。