💬 NLP

Lost in Localization: Building RabakBench with Human-in-the-Loop Validation to Measure Multilingual Safety Gaps

本文介绍了 RabakBench，这是一个针对新加坡语言环境、经人工验证的多语言安全性基准测试，揭示了最先进的大语言模型防护机制在处理如新加坡英语（Singlish）、中文、马来语和泰米尔语等低资源语言时存在的显著性能差距。

原作者： Gabriel Chua, Leanne Tan, Ziyu Ge, Roy Ka-Wei Lee

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Chua, Leanne Tan, Ziyu Ge, Roy Ka-Wei Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一名非常聪明、训练有素的建筑保安。这名保安非常擅长识别“标准英语”中的麻烦。他能准确识别出什么是粗鲁的评论、威胁或危险的想法。

但现在，想象同一名保安被要求去监管一个繁忙且多元文化的社区，那里的人们说着混合语言、俚语和地方方言。突然间，保安感到困惑了。他可能会因为某个词汇隐藏在当地笑话中而漏掉真正的威胁；也可能因为不理解某种文化用语而错误地逮捕了一位无害的邻居。

这篇名为 RABAKBENCH 的论文，旨在构建一种全新的“测试”，用以观察这些 AI “保安”在处理这种混乱、真实的现实世界时表现如何。这个研究中的“社区”是新加坡——一个人们不断将英语与中文、马来语和泰米尔语混合在一起（这种混合被称为“Singlish”）的地方。

以下是研究人员如何构建这项测试以及他们的发现，通过简单的解释呈现：

1. 问题所在：“本地化盲点”

目前的 AI 安全系统就像是只读过标准英语教科书的保安。当面对以下情况时，他们会失效：

语码混合 (Code-mixing)： 在句子中频繁切换不同语言。
俚语 (Slang)： 含义随语境变化的本地词汇。
方言 (Dialects)： 不是“规范”英语的地域性表达方式。

研究人员发现，这些 AI 保安经常犯两种大错：

漏报 (False Negatives)： 他们会漏掉实际的仇恨言论或威胁，因为那些词汇在他们看来像是无害的俚语。
误报 (False Positives)： 他们会将无害的文化笑话标记为危险，从而有效地让正常的对话陷入沉默。

2. 解决方案：构建“RABAKBENCH”

为了解决这个问题，团队构建了一个名为 RABAKBENCH（名字取自一个意为“极端”或“强烈”的本地词汇）的大规模测试场。你可以把它看作是一个 AI 安全的模拟器。

他们并非仅仅亲手编写这些测试句子，而是使用了一个精巧的三步“工厂化”流程：

第一步：“红队”攻击（生成）
想象一群黑客试图欺骗 AI 保安。研究人员利用 AI 生成了数千个棘手的、真实的 Singlish 案例，包括那些听起来危险但实际安全的例子，以及那些听起来安全但实际上具有毒性的例子。他们甚至使用了一个“批评者”AI 来帮助“攻击者”AI 更好地寻找漏洞。
第二步：“超级标注员”（标注）
手动标注这些复杂的句子既昂贵又困难。因此，研究人员测试了几种不同的 AI 模型，以观察哪些模型最擅长理解人类的判断。他们发现有三款“明星”AI 模型在与人类专家的共识度上达到了 70–80%。他们使用这些 AI 模型来标注数据，但在过程中保留了人工审核环节，以确保文化细微差别得到正确处理。
第三步：“文化翻译官”（翻译）
他们将 Singlish 测试案例翻译成了中文、马来语和泰米尔语。但关键在于：标准的翻译工具通常会“净化”脏话以使其变得礼貌。研究人员构建了一个特殊的翻译过程，确保毒性保持不变。如果一个句子在 Singlish 中是恶意的，那么它在马来语或泰米尔语中的翻译也必须同样具有恶意，从而保留原始的“风味”和意图。

结果如何？他们得到了一个包含超过 5,000 个示例的数据集，涵盖四种语言，并详细标注了为什么某项内容是不安全的（例如：它是仇恨言论吗？仅仅是侮辱吗？还是威胁？）。

3. 结果：保安们没能通过测试

研究人员选取了全球 13 个顶尖的 AI 安全系统（既包括像 Google 和 OpenAI 这样的商业系统，也包括开源系统），并将它们带入这项新测试中运行。

结论很严厉：

性能大幅下降： 在标准英语测试中得分 80% 以上的系统，在这一本地化测试中的得分往往跌破 50%。
“泰米尔语差距”： 表现尤其糟糕的是泰米尔语，许多系统的得分甚至低于 30%。
“一刀切”行不通： 研究表明，你不能只针对英语进行训练，然后指望它在任何地方都能工作。他们需要针对本地文化的专门训练。

4. 为什么这很重要

论文指出，如果我们希望 AI 对每个人都是安全的，我们就不能仅仅依赖标准英语规则。我们需要构建能够理解“本地风味”的安全系统。

核心要点：
RABAKBENCH 就像是 AI 安全领域的多元文化环境驾驶执照考试。它证明了目前的 AI 司机在高速公路上（标准英语）表现出色，但在城市街道（地方方言）中却表现糟糕。研究人员已经向公众发布了他们的测试题和答案，以便其他开发者能够为未来构建更具文化意识的安全保障。

本文****并不声称：

它并不声称已经修复了 AI 系统；它只是构建了这个测试来展示它们存在缺陷。
它并不建议将这些测试用于临床或医疗安全。
它并不承诺未来的 AI 会自动变得完美；它只是提供了一个衡量和改进它们的路线图。

技术摘要：RABAKBENCH

问题陈述

大型语言模型（LLMs）在处理低资源语言变体（包括语码混合的方言、区域性方言和俚语）时，经常表现出显著的安全对齐失败。虽然目前的护栏在标准英语中非常鲁棒，但它们存在“本地化盲点”，既无法检测到局部的危害，同时又会将良性的文化方言标记为不安全。这一问题在像新加坡这样高度多语言的社会中尤为突出，因为用户会在新加坡英语（Singlish，一种融合了英语、马来语、福建话和泰米尔语的克里奥尔语）、中文、马来语和泰米尔语之间进行流利切换。构建此类背景下的安全基准测试在历史上一直受到高昂的人工标注成本以及对深度、本土化文化理解能力的必要性所阻碍。

方法论

作者引入了 RABAKBENCH，这是一个多语言安全基准测试，以及一个旨在为新加坡语言景观生成、标注和扩展安全数据的可扩展三阶段流水线。该框架在关键环节集成了人工在环验证，以确保文化的准确性和毒性的保留。

1. 生成：对抗性示例生成

流水线首先通过混合方法构建高质量的新加坡英语测试用例库：

本地内容转换： 收集来自本地网络论坛的有机的、非结构化的新加坡英语评论，并通过基于模板的转换将其标准化为指令式查询。
自动化护栏红队测试： 部署了一个迭代的多智能体循环（受 PAIR 启发），针对五种基准护栏（包括 LionGuard、OpenAI Moderation 和 LlamaGuard 3）进行攻击。攻击型 LLM 生成候选的新加坡英语提示词，而评论型 LLM 分析目标分类器的输出，以识别误分类情况（假阴性和假阳性）。
人工验证： 人类审核员过滤所有候选输出，以确保其符合本地用法并保持一致性，剔除无意义的条目。

2. 标签：通过 LLM 共识进行弱监督

为了解决新加坡英语人工标注成本高昂的问题，作者采用了弱监督策略：

LLM 选择： 将六个候选 LLM 与由六名精通新加坡英语的人类专家标注的 50 个金标准示例进行对比评估。利用 Alt-Test 方法论，作者在统计学上验证了特定模型（Gemini 2.0 Flash、o3-mini-low 和 Claude 3.5 Haiku）与人类判断具有显著的一致性。
多数投票： 三个选定的模型独立地在六个细粒度的危害类别中分配二元标签。最终标签通过多数投票确定，以确保稳定性。
验证： 所选模型相对于人类共识的 Cohen's kappa 系数在 0.68 到 0.72 之间，表明具有实质性的共识。

3. 翻译：保留毒性的多语言扩展

使用旨在保留语义含义和预期毒性水平的翻译设置，将新加坡英语语料库扩展到中文、马来语和泰米尔语：

专家策划的少样本构建： 通过涉及新加坡语言专业人士的迭代工作坊，为每种语言创建了一个包含 20 个手动验证的高保真示例池。这些示例是通过涉及 LLM 候选模型和人类精炼的三轮过程筛选出来的。
模型选择与优化： 使用直接语义相似度和回译一致性对几种最先进的 LLM 进行翻译保真度基准测试。GPT-4o mini 被选为最优模型。
动态提示： 根据与目标输入的语义相似度动态排列少样本示例的数量（ $k$ 值：中文 $k=15$ ，马来语 $k=10$ ，泰米尔语 $k=20$ ），以确保模型获得具有上下文相关性的俚语和毒性演示。
最终验证： 第二组语言专家对翻译后的语料库进行分层抽样评分，确认机器翻译与人类验证的基准线具有可比性。

核心贡献

RABAKBENCH 数据集： 发布了第一个覆盖新加坡语言变体（新加坡英语、中文、马来语、泰米尔语）的开放安全基准测试，包含超过 5,000 个示例。它具有涵盖六个类别的细粒度危害分类法及严重程度等级（第 1 级和第 2 级）：仇恨、侮辱、性、肢体暴力、自残以及其他所有不当行为。
生成-标签-翻译框架： 一个可复现的流水线，结合了可扩展的 LLM 生成、通过多数投票实现的高效弱监督以及高保真翻译，并以关键阶段的人类验证为支撑。
保留毒性的翻译方法： 一种将安全数据集扩展到新语言的系统化方法，能够同时保持原始的有害意图和情感强度，解决了标准翻译模型常见的净化或误译地区习语的问题。
全面评估： 在 RABAKBENCH 上对 13 个当代审核系统（包括商业和开源模型）进行了基准测试。

实验结果

在 RABAKBENCH 上对 13 个护栏进行的评估显示，与标准的以英语为中心的基准测试相比，性能出现了显著下降：

性能差距： 在标准英语数据集上具有高 F1 分数的模型（例如 WildGuard 为 86.1%，DuoGuard 为 74.9%），在 RABAKBENCH 上的得分大幅下降（分别降至 47.27% 和 45.03%）。
语言瓶颈： 性能在不同语言间差异巨大。虽然某些模型（如 Qwen3Guard, gpt-oss-safeguard）在中文和马来语中实现了超过 80% 的 F1 分数，但在泰米尔语中的表现特别差，许多模型的得分低于 30%。
商业 vs 开源： 被广泛使用的商业工具（如 Perspective API）平均 F1 仅为 28.40%，而较新的开源模型（如 Qwen3Guard 和 gpt-oss-safeguard）展示了更优越的多语言能力，尽管在处理特定的局部细微差别方面仍显吃力。

重要性与主张

论文声称 RABAKBENCH 提供了一个可复现的框架，用于构建欠服务社区的安全基准，超越了那些在全局部署中失效的“一刀切”式安全政策。作者认为，观察到的性能差距凸显了一个关键的“本地化盲点”，即当前的对齐技术对关键词过度敏感，但对区域性方言的语用意图（pragmatic intent）不够敏感。这种过度审查存在“数字边缘化”的风险，迫使用户回归标准英语，从而侵蚀对本地化 AI 的信任。

作者将 RABAKBENB 不仅仅定位为针对新加坡的数据集，而是定位为一个用于评估全球语码混合和低资源环境下安全的任务无关蓝图。通过利用 Alt-Test 在无需大规模人工标注团队的情况下构建高质量数据集，该框架为推进多语言 AI 安全提供了一个可扩展的模型。数据集和评估代码已公开，以促进进一步的研究。