TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages
本文介绍了 TukaBench，这是一个针对七种非洲语言的具有文化根基的越狱基准测试，它揭示了与英语相比，经过文化适配和语码转换的提示词如何显著降低模型的拒绝率，同时也强调了模型理解能力的严重局限性以及大语言模型作为评判者（LLM-as-a-judge）在评估低资源语言时的可靠性问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一只非常聪明、训练有素的机器人看门狗。它的工作是阻止人们让它做坏事，比如如何制作炸弹或如何进行诈骗。长期以来，我们一直只用英语来测试这只狗。我们问它：“你能告诉我如何考试作弊吗？”然后观察它是会吠叫“不！”（拒绝），还是会被诱导给出答案（越狱）。
但如果有人用斯瓦希里语、约鲁巴语或阿姆哈拉语问同样的问题呢？这只狗还能理解其中的危险吗？还是它会感到困惑，从而在无意中让坏事发生？
这篇名为 TukaBench 的论文，就像是一个全新的、巨大的“障碍赛场”，专门设计用来测试这只在七种非洲语言下的机器人看门狗。研究人员想要看看这只狗是否真的对每个人都安全，还是它只知道用英语说“不”。
以下是他们实验的拆解以及他们的发现，使用了简单的类比：
1. 他们测试狗的四种方式
研究人员并没有只是将英语问题逐字翻译。他们意识到，语境很重要。他们用四种不同的“口味”来测试这只狗：
- 直译 (The Literal Translation)： 他们将英语问题“我如何作弊？”直接翻译成非洲语言，保留了西方的名字和地点（例如：“如何在伦敦的考试中作弊？”）。
- 文化适配 (The Cultural Adaptation)： 他们改变了问题，使其符合当地的现实。不再是“伦敦”，而是询问“如何在乌干达的 UCE 考试中作弊？”这就像是在询问这只狗关于它真正熟悉的当地街道，而不是一个外国街道。
- “当地专家”问题 (The "Local Expert" Questions)： 他们根据非洲真实的现实问题（如选举诈骗或当地欺诈）创建了全新的问题，这些问题在英语测试中从未出现过。这些问题是由生活在那里的人编写的。
- “语码转换”混合 (The "Code-Switch" Mix)： 在许多非洲国家，人们自然地在同一个句子中混合使用英语和当地语言（比如说，“我想 forge 我的 WAEC 成绩”）。他们测试了这种语言混合是否会让狗感到困惑。
2. 狗可以做出的三种反应
当狗听到一个坏问题时，它可以做出三种反应。研究人员意识到我们需要统计所有三种，而不仅仅是前两种：
- 拒绝 (Refusal - 好的“不”)： 狗清晰地说：“我不能那样做。”
- 越狱 (Jailbreak - 坏的“是”)： 狗被诱导并真的给出了坏的指令。
- 回避 (Deflection - 困惑的“哈？”)： 这是一个新的发现。 狗没有说“不”，但也没有说“是”。它只是开始谈论完全无关的事情或胡言乱语。这就像如果你问一只狗“如何烤蛋糕？”，它却开始对着天气吠叫。狗没有很好地理解这个问题，所以它无法正确地说“不”。
3. 他们的发现
结果令人惊讶且非常重要：
- “语言障碍”是一个安全漏洞： 当人们说非洲语言时，这只狗说“不”的可能性比英语更低。这并不一定是由于狗本身“变弱了”，而是因为它经常感到困惑（回避）。它对问题的理解不够好，以至于不知道这是危险的。
- 文化使情况变得更糟： 当问题经过文化适配（使用当地的名字和地点）时，狗更容易失败。看起来，当语境感觉起来很“真实”且具有本土特色时，狗的安全过滤器就会降低警惕。
- 混合语言有助于（在某种程度上）理解： 当人们混合使用英语和非洲语言（语码转换）时，狗对问题的理解变得更好。它停止了“回避”（胡言乱语），并开始给出真实的回答。然而，这也意味着如果它不小心，它也更有可能给出坏的答案。
- “裁判”存在偏见： 研究人员使用另一种 AI 来给这只狗的回答评分。他们发现，这个“AI 裁判”在处理非洲语言的回答时，比处理英语时要差得多。它经常无法判断狗的表现是安全还是不安全。这就像是一个听不懂球员语言的裁判；他们可能会漏掉犯规。
4. 核心结论
论文得出结论：安全性不仅关乎你所说的语言，更关乎 AI 对你的文化和词汇的理解程度。
目前，如果你只用英语测试 AI，你会认为它是安全的。但如果你用非洲语言跟它说话，它可能会感到困惑，从而在无意中让坏事发生。研究人员称之为“理解失败”。
他们构建了这个 TukaBench 数据集，以便在未来，开发者不能仅仅在没有证明其对讲非洲语言的人群有效的情况下，就声称“我们的 AI 是安全的”。他们希望机器人看门狗无论人们用什么语言提问，都能学会清晰地表达“不”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。