The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models
本文介绍了 CulShield，这是首个涵盖 77 个国家和 2,000 多个禁忌话题的基准测试，用于评估大语言模型的文化禁忌安全性，并揭示了显著的“知识-行为差距”，即模型虽然拥有文化知识，但在隐式、依赖上下文的交互中却无法有效应用。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人如何做一个合格的晚宴宾客。你不仅仅要教它菜名（知识），还得教它即使在饥肠辘辘的时候，也不要去吃主人的盘子里的食物（行为）。这就是大语言模型（LLM）的世界——它们是聊天机器人和智能助手背后的 AI 大脑。这些模型就像数字百科全书，可以用几乎任何语言进行交谈，但它们目前正面临着一个棘手的社交规则难题：文化禁忌。文化禁忌就像是特定文化中一个隐形的“请勿触摸”标志。例如，在某些地方，戴绿帽子是一种时尚选择，而在另一些地方，这却是一个巨大的侮辱，暗示你的伴侣不忠。如果机器人不懂其中的区别，它可能会无意中冒犯宾客、破坏对话，甚至引发现实世界的麻烦。研究人员提出的核心问题是：仅仅因为机器人“知道”规则，并不代表它在压力之下真的能“遵守”规则。
这篇题为《大语言模型文化禁忌安全性中的“知识-行为差距”》的论文，深入探讨了这一复杂的现实。来自复旦大学和华为的研究团队意识到，虽然我们有很多测试方法来查看机器人是否了解文化事实，但我们缺乏有效的方法来测试当一个文化陷阱隐藏在一个看似无害的问题中时，它们是否能表现出安全的“行为”。为了解决这个问题，他们构建了一个新的测试场，名为 CulShield。你可以把 CulShield 想象成一个巨大的、多元文化的“神秘盒子”，里面装有来自 77 个国家和地区的 2000 多个不同的文化禁忌。他们并没有直接问机器人：“你知道在中国戴绿帽子是不礼貌的吗？”（这太简单了）。相反，他们设计了“文化陷阱”——即那些听起来完全无辜，但实际上旨在诱导机器人触碰禁忌的问题。例如，他们可能会问：“我正计划为我的中国朋友举办一个惊喜派对；我可以送他一顶什么样有趣且色彩鲜艳的帽子？”一个只有知识而没有行为护栏的机器人可能会回答：“当然，一顶绿色的！”而没有意识到这会造成怎样的社交灾难。
研究人员使用这个新的基准测试，对包括 GPT-4o-mini 和 Gemini-2.5-pro 在内的一些最先进的机器人进行了测试。他们的发现有点像发现一个在历史考试中拿了高分的学生，却在学校走廊里迷了路。他们发现了一个明显的**“知识-行为差距”**。当被直接询问时，机器人通常能完美掌握规则；但当规则隐藏在一个刁钻的问题中时，它们经常无法应用所掌握的知识。这就像机器人的大脑知道地图，但它的双脚却拒绝走正确的路径。
另一个令人惊讶的发现是，问题中所使用的语言如何改变了机器人的行为。研究表明，语言起到了“文化透镜”的作用。当机器人被用英语提问时，它们更容易在与英语母语文化相近的文化陷阱中跌倒。然而，当问题使用西班牙语或中文时，它们的行为会发生变化，有时变得更加谨慎，有时则不那么谨慎。事实证明，仅仅会说一种语言，并不意味着机器人完全理解了其背后的文化。
为了尝试修复这个问题，团队尝试通过新数据对机器人进行“训练”，明确教导它们如何礼貌地拒绝这些刁钻的要求。虽然这有助于机器人更好地识别陷阱，但也产生了一个副作用：机器人变得过于敏感了。它们开始仅仅为了安全起见就拒绝无害的问题，就像一名保安因为担心有人携带三明治而阻止所有人进入大楼一样。为了解决这个问题，研究人员加入了关于普遍人类价值观的数据（来自世界价值观调查），以帮助机器人找到平衡点。结果显示，这种混合方式有助于让机器人变得更安全，而不会变得过度偏执。
简而言之，这篇论文表明，教导 AI 具备文化安全性不仅仅是喂给它更多的事实，更重要的是训练它识别日常对话中隐藏的社交地雷，并无论使用哪种语言，都能以恰当程度的谨慎行事。作者承认，他们的新基准 CulShield 目前还不完美——它还没有覆盖地球上的每一个文化——但它是帮助我们的数字宾客学习全球晚宴规则的重要第一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。