🤖 machine learning

It's the humans, not the data: Geopolitical bias in LLMs originates in post-training, amplified by the language of the prompt

本研究证明，大型语言模型中的地缘政治偏见主要是在后训练对齐阶段被引入和放大的，而非继承自预训练数据，且这些偏见的方向和强度因模型开发者的所在地区及提示所用语言而异。

原作者： Stuart Bladon, Brinnae Bent

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Stuart Bladon, Brinnae Bent

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一群来自不同国家（美国、法国和中国）的学生，他们都在学习撰写关于世界事件的论文。

长期以来，人们认为，如果学生写了一篇带有偏见的论文，那是因为他们从图书馆里读了有偏见的书籍。在人工智能的世界里，这个“图书馆”就是模型在开始学习对话之前所阅读的海量互联网数据。这被称为预训练。

然而，这篇论文指出，真实情况截然不同。改变他们观点的，并非他们在图书馆里读了什么，而是考前辅导班（称为后训练）中发生的事情。

以下是他们研究发现的简要总结，使用了简单的类比：

1. “白板”与“期末考试”

研究人员考察了七个不同的人工智能“家族”（就像不同的学校）。对于每个家族，他们比较了两个版本：

基础模型：这是学生在阅读完图书馆书籍后、接受任何具体辅导之前的状态。
对话模型：这是同一个学生在经过“辅导”阶段（后训练）后的状态，人类教导他们如何礼貌且安全地回答问题。

发现：“基础”学生大多是中立的。他们对冲突中哪个国家是对是错并没有强烈的看法。但一旦他们接受了“辅导”（后训练），他们突然产生了强烈的观点。

类比：想象一个对体育 rivalry 持中立态度的学生。当教练告诉他们“你必须支持 A 队”后，这个学生突然开始大声为 A 队欢呼。偏见并非来自他们读过的书，而是来自教练的指令。

2. “教练的国籍”至关重要

研究人员发现，偏见的方向取决于教练来自哪里。

如果人工智能是由西方实验室（美国或法国）开发的，辅导会使人工智能在地缘政治场景中倾向于反对中国。
如果人工智能是由中国实验室（如阿里巴巴）开发的，辅导会使人工智能倾向于支持中国。
例外情况：一家中国实验室（01.AI）实际上辅导他们的学生倾向于反对中国，这证明了这不仅仅是国家的问题，而是构建模型的人所做出的具体选择。

巨大的转变：最显著的例子是阿里巴巴的 Qwen 模型。

辅导前：它是中立的（就像一张白纸）。
辅导后：它变得极度亲华。研究人员表示，仅仅因为后训练，它倾向于中国的几率就跃升了18 倍。

3. “提问的语言”放大了偏见

研究人员还测试了提问所使用的语言是否会改变答案。

法国案例：当用法语提问时，法国的人工智能（Mistral）变得非常亲法；但当用英语提问时，它是中立的。
中国案例：用中文询问中国制造的模型有时会使它们更亲华，但并不总是如此。有时，语言就像一个音量旋钮，根据具体模型的不同，调高或调低偏见。

类比：将人工智能想象成一名演员。如果你用英语问演员一个问题，他们可能会扮演一个中立的角色。但如果你用他们的母语低声问同样的问题，他们可能会突然开始演绎一个更符合其文化背景的角色。

4. 这不仅仅是关于“真实”国家

为了确保人工智能不仅仅是死记硬背事实（例如“中国很大”），研究人员发明了带有假名字的假国家（例如听起来像中文的“赵东”，或听起来像英文的“布雷瑟兰”）。

结果：即使是面对假国家，中国的人工智能也倾向于那个听起来像中国的国家，而法国的人工智能则倾向于那个听起来像法国的国家。
教训：人工智能不仅仅是在回忆事实；它是根据训练它思考的方式，将文化视角应用于任何情况，无论是真实的还是虚构的。

5. “拒绝”的把戏

一些中国模型最初似乎拒绝回答关于中国的问题（说“我无法回答”）。研究人员意识到，这并非缺乏观点，而是一种格式上的把戏。当他们深入探究时，发现一旦模型被允许写出一整句话，它确实持有强烈的观点。

类比：这就像一个学生举手说“我无法回答”，但当老师说“只写一个词”时，他们立即写下"A 队”。观点一直存在，只是格式将其隐藏了。

结论

该论文得出结论，人工智能中的地缘政治偏见并非其摄入数据的偶然产物。相反，它是在人类将人工智能与特定价值观对齐的最终训练阶段中被主动构建的。

旧观念：“人工智能有偏见，是因为互联网有偏见。”
新发现：“人工智能有偏见，是因为训练它的人（教练）将其塑造为具有这些特定的偏好。”

这意味着，如果我们想解决人工智能中的偏见，我们不能仅仅清理互联网数据。我们需要审视对齐过程——即用于教导人工智能如何行为的具体规则和人类反馈。

技术摘要：大语言模型中的地缘政治偏见源于后训练阶段

问题陈述

大语言模型（LLM）偏见领域普遍存在的假设是，地缘政治偏好直接继承自预训练语料库的统计规律。先前的文献认为，模型只是被动地继承其训练数据中存在的 demographic、文化和意识形态偏见，这意味着偏见缓解必须在数据层面进行。本研究挑战了这一因果模型，质疑地缘政治偏见主要是预训练数据的函数，还是在后训练阶段（指令微调和对齐）被主动引入或放大的。

方法论

作者在不同实验室的七个开源权重大语言模型家族中，开展了一项受控的配对场景实验。这些实验室包括三家西方机构（Mistral AI、Meta、Google）和四家中国机构（阿里巴巴、百川、01.AI、智谱）。

实验设计

模型配对：研究比较了每个家族的“基础”模型（仅预训练）与“聊天”模型（预训练 + 后训练）。所有模型均被选为可适配单张 RTX 3090 显卡（7–9B 参数），以确保可复现性。
场景库：构建了一个包含 79 个地缘政治场景的场景库，涉及 28 对国家。场景涵盖 13 种类型（例如：领空入侵、贸易胁迫、主权争端），平衡了“热点”政治议题与“冷点”程序性议题。
强制选择探测：向模型呈现一个叙事，其中 A 国和 B 国卷入冲突。模型被迫选择哪个国家的行为更具或更不具正当性。
- 鲁棒性特征：设计包含了角色平衡（改变哪个国家是侵略者）和双重问题框架（同时询问“更具”和“更不具”正当性），以过滤词汇或位置伪影。
- 测量：在对词汇表进行 softmax 处理后，使用对数几率（ $\log P(A) - \log P(B)$ ）量化偏见。
语言变量：探测在三种语言中执行：英语、法语和中文。翻译由大语言模型（Claude）生成以保持连贯性，尽管作者指出这引入了潜在的混淆因素。
技术修正：
- Token 变体求和：对于使用 SentencePiece 分词器的模型（Yi、百川），作者对 Token 变体（例如"A"、" A"、"(A"）的概率进行了求和，以避免低估合规性。
- 预填充修正：针对 GLM 和 Yi 聊天模型进行了特定调整，以应对响应模板（例如，在开头添加换行符或括号），这些模板在朴素单 Token 评分中人为抑制了合规性得分。
- 一致性过滤器：分析仅限于 31 个场景，在这些场景中，模型在至少 70% 的“模型 - 语言”组合中，其偏好随“正当”与“不正当”框架的翻转而改变符号。

主要结果

1. 后训练作为偏见的来源

最显著的发现是，地缘政治偏见源于后训练，而非预训练。

基础模型：七个基础模型中的六个在 favoring China（亲华）方面在统计上接近中立。例如，阿里巴巴的 Qwen 2.5 基础模型显示亲华得分为 $-0.15 $对数几率（$ p=0.15$），与中立无法区分。
聊天模型：后训练引入了显著转变。Qwen 2.5 聊天模型转变为 $+2.91$ 对数几率（ $p < 10^{-4}$ ），代表 favoring China 的几率增加了 18 倍。
方向性：在七个家族中的六个中，后训练的转变与模型开发者的国籍一致（西方实验室转向反华；四个中国实验室中的三个转向亲华）。例外是 01.AI 的 Yi，其在后训练后转向反华。

2. 偏见的语言调节

用于提示模型的语言会放大或减弱印刻的偏见。

法语提示：法国制造的 Mistral 模型仅在用法语提示时才变得坚决亲法。从英语提示切换到法语提示，导致 favoring France 的对数几率变化为 $+1.91$ （ $p < 10^{-4}$ ）。
中文提示：虽然七个后训练模型中有五个在中文提示下显示出描述性地向亲华转变，但这种群体层面的效应在统计上与基础模型趋势无法区分（ $p=0.66$ ）。然而，特定模型如 Mistral 和 Yi 显示出巨大的放大效应。
机制：研究表明，语言根据模型的基础偏好以及该语言与特定国家的“内容纠缠”来调节表达出的偏好，而不仅仅是激活静态的“制造者对齐”偏见。

3. 实验室与对手间的异质性

实验室差异：“中国开发的大语言模型”并非同质类别。Qwen 2.5 对西方国家表现出强烈的亲华偏见，但对全球南方国家的偏见较弱。相比之下，Yi 1.5 仅对美国表现出亲华偏见，而对几乎所有其他对手表现出反华偏见。
主题独立性：偏见是广泛的，而非特定于主题的。偏见的幅度在“热点”（主权、核武器）和“冷点”（领空、贸易）场景之间没有显著差异。

4. 鲁棒性与有效性检查

合规性：本研究解决了“拒绝”或不合规的问题。朴素评分经常将响应模板（例如 GLM 的以换行符开头的输出）误读为拒绝。在针对这些模板进行修正后，合规性很高，偏见得以显现。
虚构实体：当在带有语音线索的虚构国家名称（例如，"Zhaodong"听起来像中文）上进行测试时，模型表现出相同的制造者对齐偏见，这表明偏见是由身份线索触发的，而非对现实世界国家事实的记忆。
自由生成：开放式推理任务证实，即使在允许模型生成推理时，强制选择探测中观察到的偏见依然存在，表明这种偏好不仅仅是强制选择格式的伪影。

意义与主张

该论文声称将地缘政治偏见重新框架化，不仅仅视为数据问题（继承自互联网），而是视为对齐与部署问题。

主动塑造：本研究证明，地缘政治偏好是在后训练流程（SFT、RLHF 或安全微调）中被主动塑造的。基础模型大体上是中立的，而聊天模型反映了开发实验室特定的对齐目标。
透明度需求：由于后训练决定了模型如何代表国家和政治观点，作者主张加强对对齐过程的透明度、审计和监督。
局限性：作者对其主张保持谦逊。他们指出，样本量（ $n=7$ 个家族）限制了跨实验室概括的统计效力（6/7 的对齐趋势在 $\alpha=0.05$ 水平下未通过二项检验，但通过了符号幅度 t 检验）。他们还承认，无法区分故意的对齐目标与其他微调目标（例如有用性或无害性）的意外副作用。此外，本研究仅限于 7–9B 参数模型，未涵盖封闭的前沿模型。

总之，该研究提供了实证证据，表明大语言模型的“地缘政治透镜”主要是其后训练对齐的产物，而非其预训练数据，而提示语言则是这些表达性偏好的关键调节器。