💬 NLP

Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs

该论文提出了包含 12 种语言 2,156 个问题的 LocQA 测试集，通过评估多语言大模型对无明确地域提示问题的回答，揭示了模型存在偏向美国文化的全球性偏差（且在指令微调后加剧）以及按人口规模优先选择地域的语内偏差。

原作者： Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guy Mor-Lan, Omer Goldman, Matan Eyal, Adi Mayrav Gilady, Sivan Eiger, Idan Szpektor, Avinatan Hassidim, Yossi Matias, Reut Tsarfaty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给多语言大模型（LLM）做了一次"文化体检"，专门检查它们在回答模糊问题时，脑子里到底装着谁的“默认设置”。

想象一下，你问一个来自世界各地的向导：“紧急电话是多少？”或者“财政年度什么时候结束？”

如果你用英语问，向导可能会直接报出美国的"911"。
如果你用法语问，他可能会报出加拿大的"1 月 1 日”。
但如果你用西班牙语问，他到底会报西班牙的，还是墨西哥的，或者是美国的？

这篇论文发现，这些 AI 向导虽然嘴上说着流利的各种语言，但心里的“默认地图”却严重偏向美国，并且喜欢“以大欺小”。

以下是用通俗语言和比喻对论文核心内容的解读：

1. 核心问题：AI 的“隐形眼镜”歪了

人类说话时，经常省略一些“显而易见”的信息（比如问“紧急电话是多少”，默认就是问“我所在的地方”）。

以前的测试：就像考学生“美国的首都是哪里？”（这是考记忆力，答案明确）。
这篇论文的测试（LocQA）：就像问学生“紧急电话是多少？”（这是考直觉）。
- 如果学生没问你在哪，他应该先问“你在哪？”，或者给出几个选项。
- 但 AI 往往不假思索地直接给出一个答案。这个“不假思索”的答案，就暴露了它潜意识里认为哪个地方才是“标准世界”。

2. 两大发现：AI 的两种“偏见”

偏见一：全球霸权（Global Bias）——“美国滤镜”

比喻：想象 AI 戴着一副美国制造的隐形眼镜。

即使你用法语、印尼语或中文问它问题，它脑子里的“默认设置”依然是美国。
现象：当你用法语问“财政年度什么时候开始？”，AI 可能会说"1 月 1 日”（美国/法国标准），而不是其他法语国家（如海地或刚果）的日期。
结论：哪怕模型学会了流利的印尼语，它依然觉得“印尼的规矩”不如“美国的规矩”重要。它把美国的标准当成了全球通用标准。

偏见二：人口马太效应（Regional Bias）——“以大欺小”

比喻：AI 像一个势利的统计员，只关心“人多势众”的地方。

当一种语言对应多个国家时（比如西班牙语对应 20 个国家），AI 会优先回答人口最多的国家（如墨西哥、美国、西班牙），而自动忽略人口较少的国家（如玻利维亚、尼加拉瓜）。
结论：AI 变成了“人口概率引擎”。它认为：人多的地方就是“标准”，人少的地方就是“不存在”。这导致小国的文化事实被抹除（Erasure）了。

3. 一个反直觉的发现：越“听话”，偏见越重

论文发现了一个有趣的现象，被称为"对齐税"（Alignment Tax）。

基础模型（Base Models）：像是一个刚毕业、有点迷茫的学生，虽然也会犯错，但偶尔会给出一个本地化的答案。
指令微调模型（Instruction-tuned Models）：像是一个被训练得“非常乐于助人”的超级管家。
- 现象：为了让回答看起来更全面、更“安全”、更“包容”，这些超级管家会列出多个答案。
- 副作用：它们虽然列出了本地答案，但总是把美国答案作为“对比参照物”或“首要选项”。
- 比喻：就像你问“中国的春节是哪天？”，它回答“是 1 月 29 日。当然，不像美国的感恩节那样……"。它为了显得“博学”，强行把美国拉进来做对比，结果反而强化了美国视角的霸权。

4. 为什么这很重要？

这就好比我们造了一个全球通用的翻译器。

如果这个翻译器虽然语言流利，但心里只装着美国的地图，那么当它服务一个巴西人、一个越南人或一个尼日利亚人时，它给出的建议（比如法律、日期、习俗）可能是完全错误的，因为它默认你也是美国人。
这就造成了文化抹除：小国的声音被大国的声音淹没了。

5. 总结与启示

这篇论文告诉我们：

语言流利 $\neq$ 文化懂行：AI 能说出流利的西班牙语，不代表它懂墨西哥或阿根廷的规矩。
位置很重要：在 AI 的世界里，“地点”不能只靠“语言”来推断。我们需要明确告诉 AI：“我在墨西哥”，它才能给出正确的答案。
未来的方向：我们需要从单纯的“多语言模型”转向真正的“多文化、多区域模型”。不能只追求让 AI 说得更像人，还要让它更懂这个世界各地的差异，而不是把全世界都变成“美国分号”。

一句话总结：
现在的 AI 就像一个戴着美国墨镜、只盯着大城市看的翻译官，它虽然什么语言都会说，但如果不特意提醒它“我在哪里”，它就会把你当成美国人，或者只告诉你人口最多那个国家的规矩。我们需要摘下它的墨镜，让它看清世界的多样性。

1. 研究背景与问题定义 (Problem)

随着多语言大语言模型（LLMs）在语言流畅度上的显著提升，模型在跨语言知识传播中暴露出新的风险：隐式偏见。现有的评估往往混淆了“语言流畅度”（Linguistic Fluency）与“本地化能力”（Localization）。

核心问题：当用户提出**本地模糊（Locale-ambiguous）**的问题时（例如：“紧急电话号码是多少？”或“财政年度何时结束？”），模型会默认选择哪个地区的现实作为答案？
现有局限：
- 大多数文化基准测试（如 INCLUDE, Global-MMLU）依赖显式提示（Explicit Prompting），即直接询问“某国的法律是什么”，这实际上充当了“神谕”（Oracle），替模型解决了歧义，从而掩盖了模型在信息选择上的真实偏好。
- 多语言 NLP 的普遍假设是：使用特定语言查询即代表该语言对应的语境。然而，一种语言往往对应多个地区（如西班牙语对应西班牙、墨西哥、美国等），事实（法律、度量衡、基础设施）在这些地区差异巨大。
研究目标：量化模型在无显式提示的情况下，如何解决本地模糊性问题，从而揭示其隐式的先验偏好（Implicit Priors）。

2. 方法论 (Methodology)

2.1 数据集：LocQA (Localized QA)

作者构建了一个名为 LocQA 的诊断基准，旨在探测 LLM 的隐式先验。

规模：包含 2,156 个问题，覆盖 12 种语言（英语、西班牙语、法语、德语、希伯来语、印地语、印尼语、意大利语、日语、韩语、葡萄牙语、中文）和 49 个地区。
设计原则：
- 语义不变性：问题本身不包含任何地区指示词（如“美国”、“法国”），仅通过查询语言暗示语境。
- 本地依赖性：答案必须随地区变化（如紧急电话、货币、财政年度起始日）。
- 无提示歧义：问题本身是模糊的，迫使模型根据其内部知识分布自动选择“默认”地区。
构建过程：由双语标注员翻译并针对特定地区提供答案，经过交叉验证和人工审核。

2.2 评估指标

为了量化偏见，作者定义了两个核心指标：

全球偏见 (Global Bias, $B_{US}$ )：
- 定义：衡量模型在非英语语言查询中，倾向于给出以**美国（US）**为中心答案的程度。
- 计算：比较模型输出中美国答案的出现频率 ( $P_{obs}$ ) 与数据集中美国答案的理论预期频率 ( $P_{exp}$ ，考虑了答案碰撞，即不同地区答案相同的情况)。
- 公式： $B_{US} = P_{obs}(A_{US}) - P_{exp}(A_{US})$ 。正值表示模型过度偏向美国规范。
区域偏见 (Regional Bias, $B_R$ )：
- 定义：衡量在同一种语言覆盖的多个地区中，模型是否优先选择某些特定地区（通常是人口大国），而忽略其他地区。
- 计算：比较模型输出中某地区答案的占比与数据集中该地区答案的理论占比。
- 公式： $B_R(c) = \frac{P_{obs}(c)}{P_{exp}(c)}$ 。 $B_R > 1$ 表示过度代表（Dominance）， $B_R < 1$ 表示被抹除（Erasure）。

2.3 评估流程

模型范围：评估了 32 个模型，包括开源（Gemma, Qwen, OLMo, Falcon 等）和闭源（GPT, Claude, Gemini, Grok 等）模型，涵盖基础版（Base）和指令微调版（Instruction-tuned）。
自动化评估：使用 LLM-as-a-Judge（Gemini-2.5-Flash）进行两阶段评估：
1. 事实对齐：识别模型回答是否与特定地区的黄金答案语义匹配。
2. 回答分析：提取模型提到的答案，并检测是否使用“美国”作为概念锚点（Framing）。
显式提示对照：在部分实验中，明确指定地区（如“墨西哥：货币是什么？”），以测试偏见的“粘性”。

3. 主要发现 (Key Results)

3.1 普遍存在的全球偏见 (Global Bias)

美国中心主义：几乎所有模型在非英语查询中都表现出显著的美国中心偏见。即使使用印尼语、西班牙语等查询，模型也倾向于给出符合美国规范的答案。
量化数据：所有模型的平均 $B_{US}$ 为 0.24。这意味着美国答案在模型输出中的频率（50%）远高于其在数据中的理论频率（26%）。
偏见类型：
- 侵入 (Intrusion, 17.5%)：模型给出了正确的本地答案，但多余地插入了美国规范作为背景（例如：“紧急电话是 112，不像美国是 911"）。
- 抹除 (Erasure, 6.5%)：模型完全用美国规范覆盖了本地现实。
- 选择 (Selection, 8.7%)：在模糊语境下，直接选择美国选项。

3.2 人口驱动的区域内偏见 (Regional Bias)

人口概率引擎：模型充当了“人口概率引擎”。在共享同一语言的多个地区中，模型倾向于优先选择人口规模较大的地区。
对数关系：区域偏见与人口规模的对数呈强相关 ( $R^2=0.41$ )。这意味着人口大国（如中国、美国、巴西、西班牙）被过度代表，而人口较少的国家（如乌拉圭、马里）被系统性抹除。
领域差异：
- 国家/法律类问题：最容易触发美国中心偏见。
- 休闲/文化类问题：虽然避开了美国中心偏见，但表现出极端的区域不平等（严重偏向人口大国）。

3.3 指令微调的“对齐税” (Alignment Tax)

这是一个关键发现，揭示了训练阶段对偏见的复杂影响：

全球偏见加剧：与基础模型（Base）相比，指令微调（Instruction-tuned）模型表现出更高的全球美国偏见。
区域偏见降低：指令微调模型在区域偏见上的表现更好（更接近中性）。
机制解释：指令微调迫使模型为了“有帮助”和“包容”而提供多重答案（Answer Multiplicity）。模型开始列出多个地区的选项（例如：“墨西哥是 911，西班牙是 112"）。
- 这种多样性稀释了单一地区的统治地位，从而降低了区域偏见（ $B_R$ 趋近于 1）。
- 然而，这种多样性并非中立的。模型在提供额外选项时，系统性地选择美国作为对比锚点或默认参考。因此，虽然它不再“抹除”本地，但它将美国置于了“通用标准”的地位，导致全球偏见（ $B_{US}$ ）上升。

3.4 能力与偏见的悖论

在显式提示（明确指定地区）的测试中，能力更强的模型（准确率>70%）在犯错时，更倾向于用美国规范覆盖正确答案。这表明美国偏见并非知识缺失的随机回退，而是一种顽固的、与能力正相关的残留故障模式。

4. 主要贡献 (Contributions)

LocQA 基准：发布了首个专门针对本地模糊性的诊断基准，包含 2,156 个问题和 49 个地区的答案，用于隔离和测量 LLM 的默认先验。
双指标框架：定义了全球偏见（跨语言的美式中心主义）和区域偏见（同语言内的人口不平等）两个维度，量化了隐式偏见的结构。
实证证据：
- 揭示了多语言模型中普遍存在的“美国默认”现象。
- 发现了指令微调带来的“对齐税”：在减少区域抹除的同时，加剧了全球美国中心主义。
- 证明了模型是“人口概率引擎”，其代表性受人口规模对数影响。
理论呼吁：挑战了“语言流畅度即文化落地”的假设，呼吁从“多语言建模”转向**“多文化、多区域建模”**，将“地区（Locale）”视为与语言同等重要的独立维度。

5. 意义与启示 (Significance)

重新定义对齐（Alignment）：当前的安全和对齐实践（RLHF）可能无意中牺牲了文化细微差别，将模型推向一种“通用的、看似安全的、但本质上是美国中心”的同质化现实。
评估范式的转变：未来的 LLM 评估不能仅看语言流畅度或显式知识问答，必须包含对隐式本地化能力的测试。
技术改进方向：
- 在训练数据中需要更平衡地处理不同地区的数据，而不仅仅是按人口比例。
- 在指令微调中，需要设计特定的机制来抑制“美国作为默认锚点”的倾向，而不仅仅是增加答案的多样性。
- 对于全球用户，必须显式地处理“地区”这一元数据，不能假设语言本身足以消除歧义。

总结：这篇论文揭示了多语言大模型在“看似流利”的表象下，隐藏着深刻的地理和文化偏见。模型不仅倾向于将美国规范视为全球标准，还倾向于用人口大国的现实覆盖小国现实。更令人担忧的是，旨在提高模型有用性的指令微调过程，虽然缓解了部分区域偏见，却通过引入“美国作为通用参考”的机制，加剧了全球层面的美国中心主义。