Noise Is Not a Sanitizer: Shared Initialization Turns Data-Free Distillation into a Covert Channel for Memorized Training Data and Backdoors
本文证明了使用共享初始化的无数据知识蒸馏无法实现对私有模型的净化，因为高斯噪声查询可能会在教师网络与学生网络之间无意中传输被记忆的训练数据和后门。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，模型通常是在大量的私人信息集合上进行训练的，从医疗记录到个人消息不等。为了保护这些数据，研究人员开发了一种被称为“知识蒸馏”的技术。想象一位大厨，他通过一本秘密的家传食谱学会了烹饪。为了在不泄露食谱的情况下分享大厨的技艺，他们训练一名更小的学徒，让学徒仅使用像白水或未调味的白面粉这样随机、无意义的原料来模仿大师的烹饪风格。人们寄希望于，因为学徒从未接触过原始原料，他们只会学习通用的技巧并忘掉特定的秘密。长期以来，这种方法一直被认为是分享AI模型同时保持原始训练数据私密性的安全方式。它也被用于尝试移除隐藏的“后门”——即攻击者植入的、迫使模型产生不良行为的秘密触发器——方法是通过在干净的随机数据上对模型进行重新训练。
然而，一项新的研究挑战了这一长期以来的信念。研究人员发现，如果大师和学徒拥有完全相同的基本蓝图（初始设置），即使喂给学徒的是随机噪声，学徒仍然可以学习到其中的秘密。该研究表明，这一过程并不能像之前认为的那样净化模型。相反，它充当了一个隐藏的管道，不仅传输了通用的技能，还传输了特定的、被记忆下来的私密细节，包括后门和私人记录。这表明，如果训练的起点对外部人员是已知的，那么仅仅在随机输入上重新训练模型并不能保护隐私。
研究人员使用在标准数据集（如手写数字和服装物品）上训练的图像识别模型测试了这一想法。他们创建了一个场景，其中一个“教师”模型是在包含特殊错误标签图像和旨在作为后门的隐藏触发器的私有数据上训练的。然后，他们通过让“学生”模型模仿教师对随机噪声的反应，来创建一个学生模型，这个过程被称为“无数据蒸馏”。至关重要的是，他们比较了两种情况：一种是学生与教师拥有完全相同的初始设置，另一种是学生从一个完全不同的、随机的设置开始。
结果令人震惊。当学生和教师共享相同的起始蓝图时，学生成功继承了教师的秘密。即使学生仅接受随机静态噪声的训练，它也能正确识别出教师所记忆的特定私密图像。在一个涉及手写数字的实验中，学生模型能够正确猜测某个特定图像是否属于教师的私有训练集，其AUC达到0.86，远高于随机概率。此外，学生还继承了后门触发器。当面对带有特定隐藏模式的图像时，学生模型会激活与教师相同的恶意行为，成功率提升了93%。即便学生看到的只是教师内部未使用的输出——这些信号从未包含在原始训练中，且不具备明显的含义——这种情况依然发生了。
相比之下，当学生从一个不同的、独立的蓝图开始时，它没有学到任何秘密。同样的随机噪声训练产生的模型既无法识别私密图像，也无法触发后门。这证明了信息泄露并非由随机噪声本身引起，而是由共同的起始点造成的。研究人员发现，当教师模型训练时间不长、仍处于接近原始状态时，这种效应尤为强烈。随着教师通过广泛训练远离其起始点，泄露变得难以利用，但并未完全消失。研究还表明，这种脆弱性不仅限于简单的图像模型，也延伸到了语言模型，在语言模型中，随机的字符字符串足以提取出被插入到私密训练文本中的秘密代码。
研究人员通过观察模型的变化过程来解释这一现象。他们发现，当两个模型共享一个起点时，模仿教师对随机噪声的反应实际上是在将学生的内部设置推向与教师相同的方向。由于教师的设置是由私密数据塑造的，学生的设置也会被推向相同的方向，从而携带了这些私密信息。随机噪声充当了一个媒介，激发了模型中正确的部位，从而揭示了这些隐藏的方向。研究表明，无论传输的信息是实用的通用知识还是特定的记忆秘密，这种转移都会发生。该过程无法分辨两者的区别。
为了测试这种脆弱性是否可以被修复，研究人员尝试了几种防御措施。他们发现，在教师给出的答案中加入随机噪声并不能阻止攻击；攻击者只需通过增加提问次数即可通过平均化噪声来恢复秘密。他们还发现，将输出限制为仅有意义的数据也无济于事，因为隐藏的信息仍然会被传输。他们确定的唯一有效的防御措施是，要么使用差分隐私（一种限制任何单条数据能教给模型的数学保证），要么确保私密模型从一个完全不同的、不公开的初始化设置开始。然而，对于那些基于流行公共基础模型进行微调的模型来说，后者很难实现，因为它需要放弃使用这些公共起点的优势。
这项工作从根本上改变了我们看待共享AI模型安全性看待的方式。它表明，当模型拥有共同的起源时，假设随机输入能起到过滤作用的观点是不正确的。研究结论指出，在大多数AI模型通过微调少数公共基础模型构建的时代，共享的起始点是一个攻击者可以利用的关键信息。针对这些模型的隐私和安全评估，现在必须考虑这样一种对手：他们了解公共基础模型，并能利用随机查询来提取私密细节，这证明了无数据蒸馏并不是存放敏感信息的避风港。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。