Carefully Considering Culture: Analyzing LLM Alignment in Single- and Multi-Cultural Settings using Cultural Consensus Theory
本文将文化共识理论应用于世界价值观调查，揭示了大语言模型经常通过要么无法捕捉凝聚性的群体共识，要么过度正则化共识，从而误传文化结构，进而提供了一种新的诊断框架，用以区分真实的真人多样性与算法同质化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，互联网就像一座巨大且嘈杂的图书馆，而一种新型的图书管理员刚刚抵达：那是一个超级聪明的机器人，它读遍了人类写过的每一本书，并且能回答你提出的任何问题。这个机器人就是“大语言模型”（LLM）。但棘手的部分在于，这座图书馆不仅仅是一个房间，而是一座拥有数千个不同街区的庞大建筑，每个街区都有其独特的习俗、笑话和看待世界的方式。我们称这些街区为“文化”。
长期以来，科学家们一直试图教这些机器人管理员学会如何在每个街区都表现得既礼貌又准确。他们大多是通过问机器人：“X国的人是怎么想的？”然后取所有答案的平均值来进行教学。这就像是询问一百个人最喜欢的冰淇淋口味，统计票数，然后告诉机器人：“这个群体喜欢香草味。”但如果这个群体其实并不达成共识呢？如果一半人热爱香草，另一半人讨厌香草，但平均值却显示为“香草”呢？这就是问题真正开始出现的地方。为了解决这个问题，研究人员借用了人类学领域的一个工具，叫做“文化共识理论”（Cultural Consensus Theory）。你可以把它想象成一个特殊的放大镜，它不只是在数票数，还在检查一个群体内部的人们究竟在多大程度上达成了一致，以及他们在多大程度上存在分歧。它能帮助我们看清一个群体是真的在思想上统一，还是仅仅是一个混乱且多元的观点集合。
现在，想象你有一个应该理解这些街区的机器人管理员。来自圣母大学的一组研究人员决定使用一项巨大的、真实的调查——“世界价值观调查”（World Values Survey）来测试这个机器人。这项调查向来自10个不同国家的人询问了12个不同的主题，比如幸福感、腐败和科学。他们不仅问了机器人一个问题，还让它假装是来自这些国家的某个人。然后，他们使用这个特殊的“共识放大镜”（文化共识理论），将机器人的答案与真实人类的答案进行对比。
他们的发现既令人惊讶，又带有一点幽默感。根据主题的不同，机器人的表现呈现出三种非常奇怪的状态。
首先，在某些领域，比如人们对腐败或宗教的看法，机器人非常擅长猜测人类观点的总体方向。但问题在于，机器人表现得过于自信了。它的表现就像是每个人都持有完全相同的想法，没有任何分歧。研究人员称之为“共识通胀”（Consensus Inflation）。这就像机器人看着一间正在为披萨配料争论不休的屋子，却说：“噢，显然大家都同意加意大利香肠！”而实际上，房间里有一半的人正为加菠萝而争吵。机器人把人类真实的、混乱的分歧抹平了，变成了一种完美的、虚假的统一。
其次，在其他领域，比如幸福感和福祉，机器人完全无法找到任何共识。这就像机器人在大声喊出一些随机的答案，而这些答案与房间里的任何人都不匹配。人类有着清晰的信仰模式，但机器人却找不到它，留下了一个“共识鸿沟”（Consensus Gap）。这就像机器人试图随着一段它听不到的音乐起舞。
第三，也是最有趣的一点，是“异质性鸿沟”（Heterogeneity Gap）。在科学技术等主题中，机器人对自己给出的答案表现出了极强的认同感。它有一个非常紧密、统一的观点。但这个观点与人类完全不符！人类的想法五花八门，有人热爱科学，也有人恐惧科学，但机器人却自信满满地表示：“我们都想的一样！”而且它所说的那个观点也是错的。
研究人员还注意到，机器人根据它所模仿的是单一文化国家还是多元混合文化的国家，表现得有所不同。在混合文化国家，机器人有时能稍微更好地模仿人类分歧中的那种“混乱感”，但它仍然难以掌握细节。
那么，这意味着什么呢？这表明，尽管这些超级聪明的机器人越来越擅长像人类一样交谈，但它们仍然非常不擅长理解人类文化的“混乱性”。它们要么创造出一种不存在的、完美的虚假共识，要么在人们产生分歧时感到迷失。这篇论文并不是说机器人永远无法修复，但它警告我们，如果我们仅仅观察“平均”答案，我们可能会错过最重要的部分：即真实的人类是多样化的、复杂的，并且往往无法达成一致。机器人需要学会欣赏这种“混沌”，而不仅仅是寻找“秩序”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。