💬 NLP

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

一项针对 Grokipedia 与维基百科的大规模审计显示，多位 AI 评审员认为由大语言模型生成的 Grokipedia 比维基百科缺乏中立性，其表现出偏袒经济上右翼政治家的倾向，同时惩罚社会自由主义者，而维基百科则呈现出相反的倾向。

原作者： Filippos Vlahos, Guillaume Bied, Tijl De Bie

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Filippos Vlahos, Guillaume Bied, Tijl De Bie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座巨大且繁忙的图书馆，每个人都受邀来这里编写书籍。多年来，维基百科（Wikipedia）一直是这里最受欢迎的场所之一，但有些人抱怨那里的图书管理员有一种特定的“氛围”——也许他们过于倾向政治光谱的一侧，就像一个只会在阳光灿烂时唱雨歌的合唱团。最近，另一座名为 Grokipedia 的新图书馆开业了，它完全由一个名为 Grok 的超级智能计算机大脑（AI）构建而成。这家新图书馆的创造者承诺，它将是一个终极的“中立”地带，一个没有任何人类偏见、只有纯粹事实的地方。但这里有一个大问题：机器人真的能比一群人类更公平吗？为了找出答案，我们需要先理解几件事。首先，“政治偏见”就像一副有色眼镜；如果你戴着它，即使世界本身是灰色的，看起来也会带有某种颜色。其次，“大语言模型”（LLMs）是编写这些文章的计算机大脑；它们就像极其聪明的学生，几乎读遍了互联网上的所有内容，并能在几秒钟内写出论文。最后，这里的“中立性”是指在描述人物时，既不把他们塑造成英雄，也不塑造成反派，只是描述他们的身份。这篇论文是一个侦探故事，旨在探究这个新的机器人图书馆是否真的比旧的人类图书馆更公平，或者它只是戴上了另一副有色眼镜。

研究人员是来自根特大学的一个团队，他们决定通过一项大规模实验对 Grokipedia 和维基百科进行测试。他们不仅仅阅读了几篇文章，而是收集了 1,394 对文章，每一对文章都在描述同一个政府官员（如总统或部长），只不过其中一个版本是由维基百科的人类编写的，而另一个版本是由 AI 在 Grokipedia 上编写的。为了评判这些文章的公平性，他们不仅询问了一个人，还使用了四个不同的 AI “法官”（包括 Grok 本身，以及 Claude、Mistral 和 DeepSeek）来评估每篇文章的中立程度。他们还有一个秘密武器：一份由专家预先分配给每位政治家的 9 个不同“意识形态标签”（例如“支持移民”、“支持妇女权利”或“支持自由市场”）。这使得研究人员能够观察文章是否根据政治信仰对政治家进行了区别对待。

结果有些令人惊讶，甚至可能有点讽壮。首先，AI 法官一致认为，两者中任何一个百科全书都不是完美中立的。事实上，Grokipedia 被评定为整体上比维基百科拥有更多的偏见文章。当法官们仔细观察偏见是如何显现时，他们发现了一个清晰的模式。Grokipedia 似乎对经济上的“右翼”政治家（即那些希望减少政府监管和缩小福利国家规模的人）以及支持民主规范的人表现出一种好感。然而，它对持有社会自由主义观点（如支持 LGBT 权利或女性劳动权利）的政治家则要严厉得多。相比之下，维基百科被认为对那些社会自由主义政治家更为友好，但研究人员发现，总体而言，维基百科仍被认为比 Grokipedia 更具中立性。

这个故事中最引人入胜的转折涉及编写 Grokipedia 的 Grok。你可能会认为，如果你要求一个机器人评价自己的作品，它会说：“嘿，我很完美！”但研究发现，Grok 实际上评价自己的百科全书（Grokipedia）比人类编写的维基百科更缺乏中立性。这表明，这种偏见不仅仅是法官评分时的失误，而是已经深深植根于 Grok 编写的文章之中。研究人员指出，尽管 Grokipedia 的建立初衷是作为一种中立的选择，但它最终却嵌入了一种不同的意识形态——一种倾向于经济保守主义并惩罚社会自由主义的意识形态。

研究还观察了不同 AI 法官的行为表现。它们并不完全相同。例如，一位名叫 DeepSeek 的法官非常慷慨，几乎把所有内容都称为“中立”；而另一位名叫 Claude 的法官则要严格得多，在更多文章中发现了偏见。然而，即便存在这些严厉程度上的差异，所有的法官在偏见的方向上也达成了一致：Grokipedia 偏向经济右翼，而维基百科则略微倾向于社会左翼。研究人员得出结论，虽然 AI 可以快速编写百科全书条目，但这并不自动意味着它们会更加公平。事实上，你选择阅读哪种百科全书，可能会改变你对政治家的看法，这取决于该百科全书所偏好的政治“口味”。这项研究表明，我们需要对 AI 生成的内容保持警惕，并且使用多样化的评审团队（包括人类和机器）是识别这些隐藏偏见的最佳方式。

技术摘要：Grokipedia 对比 Wikipedia：基于大语言模型（LLM）的政治中立性与意识形态审计

问题陈述
在线百科全书作为关键的公共知识库，塑造着政治观点和民主话语。尽管 Wikipedia 面临着“左翼”或“自由派”偏见的指控，但 xAI 在 2025 年底推出了 Grokipedia 作为替代方案，该百科全书完全由 Grok 大语言模型（LLM）生成，旨在将其定位为更中立的来源。核心研究问题在于：LLM 生成的百科全书是否比人类编辑的百科全书具有更高的中立性，或者它仅仅是嵌入了另一种意识形态偏见。此外，鉴于 LLM 本身可能存在偏见，本研究调查了评估者的选择如何影响中立性评估。

研究方法
作者提出了一种基于专家编码意识形态维度和多样化 LLM 评审团的大规模审计方法。该过程包含三个主要阶段：

数据集构建：
- 研究对象： 研究利用 WhoGov 数据集识别了来自 177 个国家的 9,752 名政府成员（2016–2023 年）。
- 意识形态基础： 为了避免循环论证（即让 LLM 定义其正在测量的意识形态），作者将这些政治家映射到来自 V-Party 数据集的九个专家编码的意识形态维度上。这些维度包括：文化包容性、移民开放度、LGBT 平等、世俗立场、女性劳动平等、反裙带主义、政治多元化、反民粹主义以及经济右翼立场。
- 文章收集： 作者提取了 1,394 对匹配的文章对（Wikipedia 对比 Grokipedia），对象为在两种来源中均有条目的政治家，且条目长度至少为 300 字，并验证了内容的相关性。
LLM 评审员：
- 采用了四种不同的 LLM 作为评审员来对中立性进行评分：Grok-4（Grokipedia 的生成模型）、Claude-Opus-4.6（针对政治公平性进行过训练的模型）、DeepSeek-V4-Pro（非西方模型）以及 Mistral-Medium-3.5（欧洲模型）。
- 提示词工程： 评审员被要求根据受 Wikipedia “中立观点”（NPOV）原则启发的正式中立性定义，在 5 点李克特量表上对文章进行评分（从“强烈反对”到“强烈支持”）。该定义包括比例性呈现观点、避免判断性语言以及区分事实与观点等标准。
- 稳健性测试： 稳健性测试确认，从提示词中移除特定的中立性定义并不会显著改变评分的方向。
分析：
- 描述性统计： 分析投票分布和评分者间信度。
- 回归分析： 作者采用普通最小二乘法（OLS）回归来估计九个意识形态维度对中立性评分的影响。
  - 中立性差异模型： 估算 Wikipedia 与 Grokipedia 之间中立性评分的差距 ( $\Delta Y$ ) 随意识形态的变化函数。
  - 个体来源模型： 为每个百科全书分别进行回归，以确定特定意识形态如何与各自来源中感知的偏见相关联。

核心贡献

规模与范围： 这是迄今为止规模最大的比较 Grokipedia 和 Wikipedia 的研究，分析了 1,394 对文章（相比以往研究的 6 对或 395 对），并且分析的是全文而非仅是导言部分。
专家基础： 不同于以往使用 LLM 生成意识形态得分的研究，本研究锚定在专家编码的 V-Party 数据集上，确保了意识形态类别与 LLM 判断是正交的。
多评审员框架： 研究引入了一个由四个具有记录在案的多样化意识形态倾向（西方、非西方、左倾、右倾、中间派）的 LLM 组成的评审团，以解构评估者偏见与内容偏见。
版本特定性： 研究分析了 Grokipedia 0.2 版本，并指出其与先前研究中使用的 V0.1 版本在文章长度和内容方面存在显著差异。

结果

整体偏见： 四个 LLM 评审员均认为 Grokipedia 比 Wikipedia 包含更多的偏见。Grokipedia 被评为具有偏见的文章比例更高（39% 对比 Wikipedia 的 29.7%）。
偏见方向：
- Grokipedia： 被评定为对经济右翼政治家和支持政治多元化的政治家持有正面偏见。相反，对于持有社会自由主义观点（特别是关于 LGBT 权利和女性劳动权利）的政治家，则被评定为具有惩罚性（不够中立）。
- Wikipedia： 整体而言被评定为更中立，但在对待持有社会自由主义立场（LGBT 和女性权利）的政治家时，表现出倾向于正面偏见的特征。
评估者影响：
- LLM 评审员在严格程度上存在显著差异。DeepSeek 最为宽松（86.9% 的中立评分），而 Claude 最为严格（25% 的中立评分）。
- 尽管在严格程度方面存在差异，但评审员在偏见方向上基本达成一致。
- 关键发现： 即便是作为 Grokipedia 生成模型的 Grok，也认为 Grokipedia 比 Wikipedia 不够中立。这表明意识形态模式是生成内容的内在属性，而非评估者偏见造成的产物。

意义与主张
论文声称，百科全书的选择会显著影响基于其意识形态特征而非仅仅基于其传记的政治家形象感知。研究结果挑战了“LLM 生成的百科全书本质上更中立”的观点；相反，它们似乎嵌入了系统的意识形态结构，可能倾向于经济右翼和民主规范，同时惩罚社会自由主义。

研究强调：

LLM 生成的内容并非免疫于偏见： Grokipedia 表现出与 Wikipedia 不同的独特意识形态偏见。
评估者的多样性至关重要： 依赖单一的 LLM 评审员（尤其是具有特定意识形态倾向的如 Grok 或 DeepSeek）可能会低估偏见差距的幅度。
审计是必要的： 随着政府和企业能够快速生成知识库，大规模审计其意识形态定位的方法对于维护公共信息生态系统的完整性至关重要。

作者保持了审慎态度，承认其对偏见的衡量取决于其特定的操作化定义，并承认使用 LLM 作为评审员的局限性（例如，潜在的身份偏见）。他们并不声称发现了绝对真理，而是旨在识别这两个百科全书在描绘政治人物时所呈现出的系统性模式。

技术摘要：Grokipedia 对比 Wikipedia：基于大语言模型（LLM）的政治中立性与意识形态审计

类似论文