Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency
本文提出了一种新颖的自监督框架，该框架利用多语言自一致性和自批判机制来弥合跨语言知识鸿沟，通过挖掘并将本地语言中的潜在文化知识转移至英语而无需依赖外部数据，显著提升了大语言模型的文化对齐能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位名叫"LLM"的才华横溢、精通多种语言的图书管理员，他几乎读遍了世界上所有的书。这位图书管理员极其聪明，但他有一个奇怪的习惯：当你用英语向他提问时，他会给你一个非常 polished、标准的回答。然而，当你用当地语言（如印尼语、豪萨语或巽他语）询问同样的问题时，尽管他内心深处实际上知道正确答案，他的回答却可能有些杂乱，或者遗漏了文化细微差别。
问题在于，这位图书管理员的“英语大脑”过于喧闹，淹没了他其他语言中那些安静却富含文化知识的部分。即使谈论当地习俗，他们也倾向于默认采用西方视角。
本文提出了一种巧妙的、自我教学的方法来修复这一问题，而无需聘请任何新的人类专家。其工作原理如下，使用一个简单的类比：
“群体共识”技巧
想象图书管理员被问及一个关于当地节日的问题。该方法不是只给出一个答案，而是要求图书管理员以两种不同的方式多次回答同一个问题：
- 一次用英语。
- 一次用当地语言。
随后，研究人员扮演裁判的角色。他们分别查看“英语回答”和“当地语言回答”。
- 一致性检查：他们问道：“所有的英语回答彼此一致吗？”以及“所有的当地语言回答彼此一致吗？”
- 胜出者：对于特定主题，哪个语言组产生的回答彼此更一致，该语言就被宣布为该主题的“更强语言”。
- 示例：如果英语回答五花八门（一个说“庆祝”，一个说“斋戒”，一个说“什么都不做”），而当地语言回答都完全一致（例如，“用特定食物庆祝”），那么系统就知道当地语言掌握着真正的文化知识。
“翻译与批判”课程
一旦系统识别出当地语言拥有更好、更一致的答案，它会做两件事：
- 翻译：它将那个“胜出”的当地语言答案翻译回英语（或较弱的语言）。
- 自我批判：它要求图书管理员审视自己之前给出的一个“糟糕”答案，将其与“胜出”答案进行比较，并撰写一份批判，解释为什么那个糟糕的答案是错误的。
这一过程创造了一组新的训练数据，让图书管理员进行自我教学。它学会了：“啊，当我用英语回答时，我错了。当地语言版本才是始终如一的真理。我需要记住这一点。”
结果：实际发生了什么
研究人员在名为 Llama 3.1 的模型上测试了这种方法。以下是他们的发现：
- 重大胜利：当他们用英语向模型提出关于世界各地文化的问题时，模型在给出正确文化答案方面的能力显著提高。平均而言，其准确率提高了约5%。这意味着模型不再如此“以西方为中心”，即使在使用英语时，也能更准确地反映多元文化。
- 局限性：该方法对本身拥有足够数据的语言效果最佳。对于非常罕见、资源匮乏的语言（如豪萨语或阿萨姆语），模型的表现实际上略有下降。这就像试图用一本只有几页的教科书来教学生；学生会感到困惑，并忘记他们已经掌握的知识。
- 无需外部魔法援助：最棒的是，他们不需要聘请人类专家来撰写答案，也不需要借助“更聪明”的人工智能来修正错误。模型利用其自身的内部知识，完成了所有工作。
nutshell
这篇论文表明，大型语言模型在其本地语言设置中已经隐藏了丰富的文化知识库。它们只是在用英语交流时难以找到这些知识。通过利用“自一致性”检查——要求模型在不同语言之间与自己达成一致——我们可以解锁这些隐藏的知识，并教导模型变得更加文化公平和准确，而这一切都不需要人类教师的介入。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。