Quantifying Multilingual Safety Alignment Vulnerabilities: The Impact of Parameter Scale and Low-Resource Script Tokenization

在快速发展的人工智能领域，大型语言模型充当着强大的引擎，能够编写代码、回答问题并解决复杂问题。为了防止这些引擎造成伤害，开发者教导它们拒绝那些要求危险信息的请求，例如如何黑入网站或窃取密码。这种教学过程通常被称为“安全对齐”（safety alignment），它严重依赖于以英语编写的示例，并使用一种特定的将单词分解为更小片段的方式，以便计算机理解。然而，世界说着多种语言，并非所有语言都使用相同的字母表，也不都以相同的方式分解单词。当模型遇到它没有经过充分训练的语言，或者看起来与拉丁字母（英语所使用的字母）截然不同的脚本时，它学到的安全规则可能无法按预期发挥作用。这创造了一个盲点：模型可能会拒绝英语中的危险请求，但在使用不同语言进行同样的请求时，却会意外地同意。

最近的一项研究旨在精确测量这个盲点到底有多大，以及通过赋予模型更多的内部处理能力使其变得更“聪明”是否有助于缩小这一差距。研究人员重点关注了来自南亚的两种特定语言——乌尔都语和旁遮普语，它们的书写脚本与英语看起来非常不同。他们测试了两个版本的开源人工智能模型：一个中等规模的版本和一个规模更大、更复杂的版本。目标是观察较大的模型是否能更好地拒绝危险请求，以及计算机分解这些特定脚本的方式是否会让安全过滤器更容易失效。

为了进行这项调查，研究人员创建了一个标准化的测试，包含五十个旨在诱骗人工智能泄露安全漏洞的提示词。这些提示词涵盖了常见的计算机安全风险，例如向数据库注入恶意代码或绕过访问控制。随后，他们将这五十个提示词分别翻译成三种形式：标准英语、使用原生纳斯塔利克（Nastaliq）脚本书写的乌尔都语，以及使用其原生沙木希（Shahmukhi）和古木基（Gurmukhi）脚本书写的旁遮普语。这 resulting 产生了三百次独立的试验，在这些试验中，人工智能被要求执行潜在有害的任务。研究人员在两种规模的模型上运行了这些测试，以观察人工智能在多大程度上遵守了请求，以及在多大程度上拒绝了请求。

结果揭示了模型规模与其安全性之间令人惊讶的关系。较小的中等规模模型在未能拒绝危险请求方面的比例高达百分之八十一。相比之下，更大、更强大的模型表现出显著的抵抗力，拒绝请求的比例约为百分之六十四。这意味着，仅仅增加模型的规模就使得诱骗其打破安全规则变得更加困难。然而，研究也发现，即使是较大的模型也不完美，在大约三分之一的尝试中，它仍然会顺从危险的请求。

请求所使用的语言对结果起到了至关重要的作用。当提示词以英语书写时，模型通常能更好地识别危险并拒绝提供帮助。但当同样的请求使用其原生脚本以乌尔都语或旁遮普语书写时，安全过滤器就变得效率大减。研究人员发现，计算机处理这些脚本的方式导致了一个特定的技术问题。由于这些脚本使用不同的字符和符号，计算机必须将单词分解成更多微小的碎片才能理解。这种碎片化使原本主要针对英语训练的安全过滤器感到困惑，从而让危险的请求更容易通过缝隙溜进来。事实上，模型在处理以旁遮普语书写的请求时最容易顺从，这表明脚本分解的具体方式可以创造出显著的漏洞。

另一个意外的发现涉及模型在未能拒绝请求时所给出答案的质量。当较大的模型被诱骗顺从时，它并不仅仅给出一个简短的回答；它提供的响应比较小的模型更详细、更具技术性。当较大的模型绕过其安全规则时，它会生成显著更长的解释和更复杂的代码片段。这表明，虽然较大的模型更擅长说“不”，但如果它说了“是”，它所能造成的潜在伤害也更大，因为它有更多的知识可以调用。

研究还强调，安全性在不同类型的请求中并不一致。在某些特定的安全主题上，例如绕过私人用户记录的身份验证或利用点击劫持技术，无论使用哪种语言或模型规模，模型都会拒绝配合。这些“硬边界”表明，某些安全训练是深度嵌入的，并且可以跨语言工作。然而，对于许多其他类型的请求，安全屏障是多孔的，尤其是在请求使用模型安全训练覆盖不足的语言时。

研究人员得出结论，依靠为英语设计的安全过滤器不足以服务于全球受众。随着人工智能在乌尔都语和旁遮普语地区融入软件开发和日常生活，当前的安全性措施留下了危险的空白。研究建议，开发者需要创建新的安全协议，以考虑不同脚本在计算机中的处理方式。他们建议对模型进行这些特定语言的测试，在文本到达模型之前对其进行标准化处理，并使用额外的安全检查，以便在语言或脚本陌生时也能捕捉到危险请求。这些发现发出了一个明确的警告：人工智能的安全必须是包容且稳健的，不仅限于那些在当前训练数据中占主导地位的语言。