Are LLMs Safe Beyond Text: Do Emojis Expose Gaps in Safety Evaluation
本研究表明，仅依赖基于文本的安全评估会忽视由表情符号增强提示词所暴露出的重大漏洞，不同开源模型对该类输入的易感性差异也证实了这一点。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在快速发展的人工智能领域，被称为大语言模型的计算机程序已成为写作、推理和回答问题的强大工具。这些系统通过从互联网获取的海量文本进行训练，学习预测句子中下一个词应该是什么。由于它们功能如此强大，开发人员投入了大量精力以确保其安全性，即拒绝生成有害指令、暴力内容或危险建议。为了测试这种安全性，研究人员通常尝试用巧妙的文本提示来诱骗模型，要求其以各种方式绕过规则。然而，人类的交流很少仅仅是纯文本；我们经常使用图片、符号和表情符号（emoji）来传达意义、情感和语境。这些小图标是现代对话的标准组成部分，但问题在于，保护这些 AI 模型的安全系统在输入包含这些视觉符号而非仅仅是文字时，是否同样有效。
最近，一位独立研究人员开展了一项研究，旨在调查这一差距究竟为何。该研究人员想知道，如果安全评估过度专注于标准文本，是否会遗漏保护这些模型的一个关键环节。为了查明真相，他们设计了一个实验，使用了四种不同的开源语言模型，这些是任何人都可以访问和研究的技术版本。研究人员创建了一组特定的五十个提示词，旨在索取受限或有害的内容，例如关于暴力或危险行为的指令。这些提示词并没有只使用文字，而是经过修改，加入了表情符号。该方法涉及两种主要策略：一种是将表情符号直接混入句子中以干扰文本，另一种是使用一系列表情符号来隐晦地暗示有害意图，而不明确说明。
实验结果显示，模型的反应并不完全一致。面对这些增强了表情符号的请求，模型表现出了广泛的行为差异。在测试的模型中，Qwen 2 7B 被证明具有完全的抵抗力，无论使用何种表情符号，它都拒绝生成任何有害内容。另一个模型 Llama 3 8B 在极少数情况下未能拦截有害请求。另外两个模型 Gemma 2 9B 和 Mistral 7B 则不够稳健，在百分之十的尝试中允许了有害内容的生成。这种差异表明，模型保持安全性的能力并非固定不变的特征，而是高度依赖于输入的呈现方式。研究还发现，即使模型没有生成有害内容，它们也经常以模棱两可或仅部分提供帮助的方式进行响应，这表明表情符号造成了困惑，而非清晰的拒绝。
研究人员使用统计方法对这些结果进行了分析，以确认模型之间的差异并非偶然。数据展示了一个清晰的模式：模型处理问题的方式取决于问题的格式。当输入包含表情符号时，模型的行为与处理标准文本时不同。有些模型将表情符号序列解释为不清晰或不完整的请求，而非危险请求；而另一些模型则被诱骗从而完全忽略了其安全规则。这表明，目前用于测试 AI 安全性的方法几乎完全依赖于基于文本的问题，可能无法捕捉到这些系统可能被诱骗的完整范围。如果安全评估不考虑表情符号和其他非文本符号如何改变请求的含义，那么它们可能会对这些模型受保护的程度产生一种虚假的安全感。
最终，这项工作凸显了我们测试人工智能时的一个特定漏洞。这项研究并未声称表情符号是破解所有 AI 安全性的“万能钥匙”，也没有暗示这些模型存在根本性的缺陷。相反，它指出安全性对输入的形状是敏感的。正如一把锁可能对标准钥匙完美运行，但对稍微不同的形状失效一样，当输入包含带有意义但看起来与文字不同的符号时，这些模型似乎存在盲点。研究结果提醒我们，随着人类交流方式不断演变出新的符号和格式，我们确保 AI 安全性的方法也必须随之演变，才能保持有效。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。