Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation

图片的魔力与故事的危险

想象一下，你拥有一支神奇的画笔，可以将你写的任何句子变成一幅画。如果你说“画一只猫”，就会出现一只毛茸茸的猫。如果你说“画一只戴着帽子的猫”，那只猫就会戴上一顶帽子。这就是文本生成图像（Text-to-Image, T2I）系统的世界，这类人工智能技术最近在遵循指令方面变得异常出色。但转折在于：这些新的 AI 画笔不再仅仅用于单张图片了。它们现在可以进行对话。你可以要求画一张图，观察它，然后说，“现在让这只猫看起来很伤心”，它就会画出一只看起来和第一只完全一样的伤心的猫。这被称为多轮生成（multi-turn generation）。这就像拥有一个能记住你之前要求的所有细节的漫画家，让你可以在聊天窗口中，一格一格地构建出一个完整的故事。

为什么这很重要？因为长期以来，人们都知道单张图片可能是无害的，但一系列图片可以讲述一个可怕的故事。想象一个笑话：第一格显示一个人掉了一枚硬币，第二格显示他捡起了硬币，第三格揭示他捡起的是一颗炸弹。前两张图片都没问题；第三张才是笑点所在。如果 AI 只单独检查每一张图片，它可能会完全忽略其中的危险。这篇论文提出了一个令人恐惧的问题：如果我们让这些会聊天的 AI 艺术家去画整个故事，它们是否会无意中（或故意地）创造出一个仇恨性的叙事，从而绕过安全过滤器，因为从单张图片的来看，没有任何一张是糟糕的？

论文内容：当无害的画格讲述仇恨的故事

这项研究深入探讨了新一代 AI 艺术工具中隐藏的一个陷阱。作者们是一组安全研究人员，他们发现虽然目前的 AI 安全系统在识别单张不良图像方面表现出色，但在理解仇恨视觉故事方面却表现得很糟糕。

为了测试这一点，研究人员创建了一个名为 HatefulStoryPrompts 的特殊数据集。他们选取了 55 个不同的仇恨叙事——即旨在嘲讽或伤害特定群体（如种族刻板印象或反犹太主义笑话）的故事，并将它们分解为逐步进行的指令。然后，他们要求世界上五种最先进的 AI 图像生成器（包括来自 Google 和 OpenAI 的模型）来绘制这些故事。陷阱在于：AI 收到的每一条指令看起来都完全是无害的。第一个提示词可能要求画一个“繁荣的夫妇”，第二个要求画一个“瘦弱的律师”，第三个要求画一个“富有的律师”。就其本身而言，这些都只是普通的请求。但当你按顺序排列这些图片时，它们讲述了一个关于律师如何欺骗这对夫妇的种族主义或仇恨故事。

结果令人震惊。研究人员发现，这些 AI 模型非常擅长通过遵循指令来完成故事。在他们尝试生成的每 100 个故事中，模型成功完成完整图像序列的比例超过了 80%。表现最好的模型 GPT Image 2，竟然完成了高达 99.0% 的仇恨故事。这意味着，如果一名心怀恶意的人想要使用这些工具制作一本仇恨漫画，AI 会乐于协助他们，一格接一格地完成，而从未发出任何警报。

安全差距：为什么现有的防御者会失败

团队随后测试了目前 AI 公司使用的“安全卫士”。他们问道：“当看到整个故事时，这些卫士能发现其中的仇恨吗？”他们创建了一个名为 HatefulVisualStory 的数据集，其中包含近 1,000 组仇恨图像集和 990 组看似无害的对照组。

结果显示，目前的安全系统对这种威胁几乎是盲目的。

• “单张图像”问题： 大多数安全工具一次只检查一张图片。当它们观察这些仇恨故事时，几乎错过了所有内容。一个专门的安全模型仅抓住了 34.9% 的仇恨故事。另一个著名的安全工具 LlavaGuard 则漏掉了 100% 的故事（召回率为 0.0%）。
• “整个故事”问题： 即使研究人员将整个图像序列一次性交给安全工具，结果也没有好多少。最强大的工具也仅抓住了 67.5% 的仇恨故事。

论文指出，这是因为仇恨并不存在于单张图像的像素中，而是存在于图像之间的关系中。这就像试图通过看电影的一个静止帧来理解整部电影；你可能会完全错过剧情。

解决方案：在故事完成前将其拦截

由于目前的卫士无法看到全局，研究人员提出了两种新的方法来捕捉这些故事：主动监控（Proactive Monitoring）和生成后检测（Post-Generation Detection）。

1. 主动监控（早期拦截者）： 想象一位老师正在观察一名学生写故事。老师不是等到故事写完才去检查它是否不好，而是在学生写下每一个句子时进行阅读。如果老师看到故事正变得具有仇恨性，他们会立即阻止学生。研究人员为 AI 构建了一个实现此功能的系统。它在对话发生时进行监视。

   • 如果用户只是输入提示词，该系统在最后一张图片画出之前就能拦截 97.3% 的仇恨故事。
   • 如果用户从自己的图像开始并添加提示词，它仍然能拦截 92.6% 的故事。
   • 至关重要的是，它几乎没有产生“误报”，这意味着它很少会阻止无害的故事。

2. 生成后检测（侦探）： 有时，故事已经完成并发布到了网上。研究人员还测试了一种分析已完成漫画的新方法。他们尝试了一种“先描述后判断”的方法，即 AI 先写出整个故事的摘要，然后再决定它是否具有仇恨性。这有助于 AI 更好地理解语境。

   • 这种方法在拼接图像（将图像粘在一起）上抓住了 80.2% 的仇恨故事，在分离图像集上抓住了 76.6%，这比旧方法有了巨大的提升。

核心结论

论文总结道，随着 AI 越来越擅长讲述连贯的多步故事，我们的安全规则也必须变得更加聪明。我们不能再仅仅检查单张图片，我们必须理解图片所讲述的故事。作者发现，更新、更强大的 AI 模型实际上更有可能完成这些仇恨故事，因为它们更擅长遵循指令，而不是因为它们更安全。

研究人员建议，最好的防御是采用双层方法：一个在对话进行时进行监视的“看门狗”，以便在故事完成前将其拦截；以及一个在故事溜掉后进行分析的“侦探”。论文警告称，如果没有这些新方法，下一代 AI 漫画可能会成为向数百万人（包括儿童）传播仇恨的廉价且简单的手段，而人们直到为时已晚也无法察觉。