No Safe Dose: How Training Data Drives Unsafe Image Generation
本文表明，训练数据中不安全图像的比例而非其绝对数量直接且单调地驱动文本到图像模型产生不安全输出，同时表明安全过滤能在不降低图像质量的前提下提升模型安全性，且文本编码器对残余风险也有显著贡献。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教导一位极具天赋的艺术家根据文字描述作画。这位艺术家通过观看数百万张照片并阅读与之配套的说明文字来学习。
这篇论文《没有安全剂量》提出了一个简单却至关重要的问题：如果在艺术家学习过程中，你不小心喂给它几张不良或危险的图片，它日后是否会开始绘制危险的图片？
以下是研究人员发现的结论，通过简单的类比进行解释：
1. “坏苹果”效应
研究人员设计了一项受控实验。他们使用不同“篮子”的照片来训练同一位 AI 艺术家。
- 篮子 A： 0% 的不良照片（完全干净）。
- 篮子 B： 1.2% 的不良照片（互联网上自然存在的数量）。
- 篮子 C： 5% 的不良照片。
- 篮子 D： 10% 的不良照片。
结果： 随着他们在训练篮子中加入更多不良照片，AI 生成的不良图像也随之增加。这并非随机跳跃，而是一条稳定、可预测的上升曲线。训练数据中的“坏苹果”越多，AI 产出的“坏苹果”就越多。
2. 关键在于比例，而非数量
你可能会想：“如果我有 10 万张不良照片的大篮子，这比只有 1000 张不良照片的小篮子更糟糕。”但论文指出并非如此。
重要的是不良照片的百分比（比例），而非总数。
- 类比： 想象给汤调味。如果你在一小杯汤里加一撮盐，汤会非常咸。如果你在一口巨大的汤锅里加一撮盐，几乎尝不出来。但如果你往那口巨大的汤锅里加一勺盐，汤就会变得非常咸。
- 发现： AI 关注的是训练数据中不良思想的浓度。无论数据集是 100 万张图像还是 800 万张图像，只要不良图像的百分比相同，AI 的表现就是一样的。这意味着无论你的数据集有多大，安全过滤器的作用方式都是一样的。
3. “机器中的幽灵”（不可消除的底线）
令人惊讶的是：即使研究人员从训练数据中100% 移除了所有不良照片，AI 生成的不良图像比例仍约为 16.6%。
为什么？
AI 由两部分组成：
- 画家： 从照片中学习的部分（这部分已被研究人员清理过）。
- 翻译器： 一个预训练的“文本编码器”，它读取用户的提示并告诉画家该做什么。这个翻译器在研究人员开始工作之前，就已经在其自身庞大且杂乱的互联网数据上训练过了。
类比： 想象你给画家一套干净的参考照片，但那个负责下达指令的人（翻译器）却不断向画家耳边低语危险的想法，因为他们是从另一个杂乱的来源学到这些想法的。即使拥有干净的相册，画家仍然会犯错，因为指令已被污染。
研究人员发现，将这个“翻译器”替换为更安全的版本（称为 SafeCLIP），可以将不良图像率从 16.6% 降低到 9.6%。这证明，为了获得最佳效果，你不仅要清理照片，还要清理指令。
4. “对抗性”秘密
论文发现，这种危险大部分是隐藏的。
- 普通用户： 如果你让 AI“画一只猫”或“画一个日落”（安全提示），无论它看到了多少不良数据，它生成安全图像的概率约为 99%。对于正常、友好的使用方式，不良训练数据是看不见的。
- 恶意行为者： 只有当有人试图用“对抗性”提示（试图强迫其生成不良内容）来欺骗 AI 时，危险才会显现。不良训练数据使 AI 更容易被欺骗。
类比： 把 AI 想象成一座城堡。如果你礼貌地从正门走进来，守卫（安全过滤器）会让你进入，你会看到美丽的花园。但如果你拥有“不良训练饮食”，城堡的墙壁上就会有隐藏的裂缝，只有熟练的窃贼（对抗性提示）才能发现并利用这些裂缝。
5. 没有“质量税”
人们常担心：“如果我们过滤掉所有不良内容，AI 的绘画能力会变差吗？”
答案是： 不会。研究人员检查了图像的质量（使用锐度以及图像与文本的匹配程度等指标），发现没有任何差异。清理数据并没有让 AI 变笨，也没有让图片变丑。这是一次“免费”的安全升级。
总结
- 不良训练数据会导致不良的 AI 输出。 不良数据越多，输出越糟糕。
- 关键在于百分比。 清理小数据集中 10% 的内容与清理大数据集中 10% 的内容同样有效。
- 仅清理照片无法解决问题。 AI 的“翻译器”部分也需要是安全的，否则风险底线将始终存在。
- 这对普通人来说是隐形的。 风险主要出现在有人试图欺骗系统时。
- 安全不会损害质量。 你可以在不降低图片质量的前提下让 AI 更安全。
该论文得出结论：要使 AI 安全，你需要分层防御：清理训练照片，使用安全的“翻译器”，并建立强大的防御机制以抵御试图欺骗系统的人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。