Benchmarking Open-Weight Foundation Models for Global AI Technical Governance
本研究通过使用经过改进的五类响应分类方案，将四种开源基础模型与经验证的基准真值数据集（GAID v2）进行基准测试，旨在解决现有关于人工智能地理偏差研究中的方法论局限性，从而准确测量并分析这些模型在 227 个国家/地区表现出的差异。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有四位非常聪明、博学多才的图书管理员（AI 模型）。你向他们提出了上百万个关于不同国家人工智能（AI）发展情况的问题。你想知道他们是在说实话，还是仅仅为了显得自信而信口开河。
这篇论文就是一份针对这些“图书管理员”的成绩单，专门检查他们是否对某些国家存在偏见，或者是否只是在特定类型的事实面前感到困惑。
以下是研究结果的简单拆解：
1. 设置：“真相” vs. “猜测”
研究人员拥有一个巨大的、经过验证的“标准答案库”（称为全球 AI 数据集），其中包含了 227 个国家的真实数据。他们要求这四个 AI 模型给出这些标准库中的具体数字。
- 目标： 观察 AI 是否能准确给出数字。
- 问题： 有时，当 AI 不知道答案时，它并不会说“我不知道”，而是会自信地编造一个数字。这被称为幻觉（或者在论文中称为“自信的伪造”）。
2. 大惊喜：“全球南方”并没有吃亏
通常，人们认为 AI 模型存在偏见，是因为它们的训练数据主要来自富裕的、英语国家（如美国和英国）。普遍观点认为，AI 会对较贫穷的国家（“全球南方”）编造更多的谎言，因为它们对这些国家的了解较少。
但结果却恰恰相反！
- AI 实际上对富裕国家（“全球北方”）编造的谎言更多。
- 为什么？ 想想看：如果你问一位图书管理员，“这个小沙滩上有多少粒沙子？”他猜“500”可能还算接近。但如果你问，“这个巨大的沙漠里有多少粒沙子？”而他猜“500”，那他就错得离谱了。
- 富裕国家拥有庞大的数字（数百万项专利、数十亿美元的算力）。对于 AI 来说，猜对一个巨大的数字比猜对一个小数字要难得多。因此，AI 在面对富裕国家的庞大数字时，更容易被“抓到”在编造谎言。
- 注： 这并不意味着 AI 对贫穷国家了如指掌；这仅仅是因为富裕国家的“标准答案”中的数字更大、更难猜测。
3. “安全”陷阱：AI 极其不擅长数学
研究人员询问了 AI 关于特定、硬性的数字问题，例如“训练这个模型使用了多少算力？”或“这个模型有多少个参数？”
- 结果： AI 几乎完全失败了。对于这些“安全”相关的问题，它们编造数字的比例高达 98%。
- 类比： 这就像问一位厨师，“这碗汤里精确含有多少毫克的盐？”厨师只是随口编了一个听起来很高级但完全是虚构的数字。
- 教训： 如果你需要知道计算机芯片的具体尺寸或超级计算机的功率，千万不要信任这些 AI。它们是在瞎猜。
4. “是/否”的成功：AI 擅长简单的客观事实
当研究人员询问简单的“是/否”问题时，例如“该国是否发布了国家 AI 战略？”
- 结果： AI 的表现要好得多。它们大约有 42% 的概率答对（对于它们来说这已经很高了！）。
- 原因： 记住一个“是”或“否”要比发明一个像“14,502 项专利”这样的具体数字要容易得多。
5. 图书管理员对比：谁表现最好？
研究人员测试了四位不同的“图书管理员”（AI 模型）：
- Mistral（法国）： 整体最准确。
- DeepSeek（中国）： 第二好。
- Qwen（中国）： 第三。
- Llama（美国）： 编造的谎言最多。
有趣的是，无论这位“图书管理员”来自美国、欧洲还是中国，结果并没有太大区别。AI 的“国籍”并没有真正改变结果。
6. “不知道”的问题
研究人员曾希望如果 AI 不知道答案，它们会礼貌地说“我不知道”。
- 现实情况： AI 几乎从不承认自己不知道。即使在完全瞎猜时，它们听起来也 100% 充满自信。
- 危险之处： 这就像一个正在考试的学生，虽然每道题都在瞎猜，却把答案用又大又粗的字体写了下来。你无法判断他是真的聪明，还是仅仅运气好。
7. 如何提出更好的问题
研究人员发现，你提问的方式至关重要。
- 错误方式： “国家 X 的 AI 专利确切数量是多少？”（AI 会编造一个数字）。
- 更好方式： “国家 X 的专利数量与其所在地区的平均水平相比如何？”
- 结果： 当你要求进行“比较”而不是索要一个“具体数字”时，AI 编造的谎言会减少。这就像是在问，“这个沙滩比那个沙滩大吗？”而不是问“这里有多少粒沙子？”
核心结论
如果你是一名试图利用 AI 来了解世界的政府官员或研究人员：
- 不要相信数字： 如果 AI 给了你关于 AI 能力或专利的具体数字，请务必用人工进行核实。那很可能是一个自信的猜测。
- 它们不擅长“安全”数学： 它们无法告诉你使用了多少计算能力。
- 它们擅长“是/否”问题： 它们判断一项法律是否存在的能力，要强于描述该法律的具体细节的能力。
- 它们从不承认无知： 即使在撒谎，它们也会给出答案。
论文的结论是，尽管这些 AI 模型令人印象深刻，但目前它们还不能作为收集全球 AI 治理精确事实的可靠工具。你仍然需要人类专家来验证数据。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。