🤖 AI

Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models

该研究采用去人格化的主题特定方法，对全球 43 个大语言模型进行了政治偏见分析，发现大多数模型呈现中左或左倾立场，且其政治表达主要受对齐策略和制度背景而非模型规模或开放性的影响。

原作者： Tai-Quan Peng, Kaiqi Yang, Sanguk Lee, Hang Li, Yucheng Chu, Yuping Lin, Hui Liu

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Tai-Quan Peng, Kaiqi Yang, Sanguk Lee, Hang Li, Yucheng Chu, Yuping Lin, Hui Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章就像是在给大语言模型（LLM，比如 ChatGPT、文心一言等）做了一次全面的“政治体检”。

想象一下，大语言模型就像是一个个超级聪明的“数字图书管理员”。它们读了互联网上几乎所有的书、文章和对话，然后学会了如何回答我们的问题。现在，人们很担心：这些图书管理员在回答政治问题时，会不会偷偷偏向某一方？比如，它们会不会像某个政党的“宣传员”一样说话？

这篇研究就是为了解开这个谜团，而且它用了一种非常聪明的方法，避开了以前研究中常见的“陷阱”。

1. 以前的研究 vs. 这项研究的新方法

以前的做法（像演戏）：
以前的研究者喜欢让模型“扮演”角色。比如，它们会问模型：“如果你是一个保守派议员，你会怎么看移民问题？”或者“如果你是一个自由派记者，你会怎么写？”

问题在于： 这就像让演员穿上戏服演戏。你看到的不是模型原本的样子，而是它“演”出来的样子。这可能会误导我们，以为模型真的那么想，其实它只是在配合你的剧本。

这项研究的做法（像做问卷）：
这项研究说：“别演戏了，我们就直接问。”
研究者设计了一份像民意调查一样的问卷，直接问模型：“你支持还是反对用军队阻止非法越境？”（这是美国的一个热门争议话题）。

关键点： 没有角色扮演，没有“假如你是..."，就是直接问模型原本的想法。这就像直接问一个路人“你今天心情怎么样”，而不是问“如果你是一只猫，你会怎么想”。

2. 两个维度的“体检”：不仅看立场，还看热情

研究者发现，光看模型支持谁（左派还是右派）是不够的。他们设计了两个维度的测试：

维度一：党派立场（看“站队”）
- 测试内容： 那些吵得不可开交的话题，比如堕胎、移民、总统选举。
- 比喻： 就像看一个人在激烈的足球赛中，是死忠支持 A 队，还是死忠支持 B 队，或者是个中立观众。
- 发现： 大多数模型都稍微偏向“左派”（Center-Left），或者站在中间。几乎没有模型表现出强烈的“右派”倾向。这就好比在足球场上，大部分裁判都稍微偏向 A 队一点点，但没人会完全倒向 B 队。
维度二：社会参与度（看“热情”）
- 测试内容： 那些大家都有共识、不太吵架的话题，比如气候变化、外国政策、辨别假新闻、社会歧视。
- 比喻： 这就像看一个人除了支持哪个球队，是否关心社区建设。他是否关心天气变暖？是否关心邻居的困难？是否擅长识别假消息？
- 发现： 模型们在这里表现出了不同的“性格”。研究者把它们分成了四类：
  1. 平衡的进步派： 什么都关心，比较均衡。
  2. 假新闻克星： 特别擅长识别假消息，对气候也很关心。
  3. 全球事务冷漠者： 对国际大事不太感冒，但能认出社会问题。
  4. 社会正义卫士： 特别关注平权和歧视问题。

3. 谁决定了模型的“性格”？

大家可能会猜：是不是模型越大（参数越多），就越有偏见？或者是不是越新的模型越偏激？或者是不同国家（美国、中国、欧洲）开发的模型，性格完全不同？

研究结果有点反直觉：

大小不是决定因素： 模型的大小（是大象还是蚂蚁）和发布时间（是新车还是旧车），并不能预测它会有多强的政治偏见。
出身地有影响，但不是全部：
- 美国开发的模型，稍微偏向“中间偏右”一点。
- 中国和 Middle East（中东）开发的模型，稍微偏向“中间偏左”一点。
- 欧洲的模型分布比较均匀。
- 但是！ 这种差异在统计上并不绝对显著。更重要的是，开发者的“调教”方式（Alignment Strategy） 才是关键。就像同一个品种的小狗，如果主人教它不同的规矩，它的性格就会完全不同。

4. 核心结论：模型不是中立的机器，也不是单一的政党

这篇论文告诉我们几个重要的道理：

不要只看“站队”： 评价一个 AI 是否公平，不能只看它在吵架的话题上支持谁，还要看它在其他社会问题上是否积极、准确。
偏见是“调教”出来的： 模型的政治倾向，更多是开发者在训练过程中，通过数据筛选和规则设定“教”出来的，而不是模型自己“长”出来的。
没有完美的中立： 就像人类一样，这些模型也带着某种“文化滤镜”。它们不是绝对客观的机器，而是反映了训练它们的社会环境和开发者的价值观。

一句话总结：
这项研究就像给大语言模型拍了一张多维度的“政治 X 光片”。它告诉我们，这些模型大多有点“左倾”，而且它们在处理社会问题时的热情各不相同。更重要的是，决定它们“性格”的，不是它们的大脑有多大，而是谁在教它们，以及怎么教它们。

这是一份关于论文《Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models》（超越党派倾向：大型语言模型政治偏见的比较分析）的详细技术总结。

1. 研究背景与问题 (Problem)

随着大型语言模型（LLMs）深度融入公民、教育和政治信息环境，其输出中的政治偏见引发了广泛关注。然而，现有研究存在以下主要局限性：

评估方法单一：多依赖单一维度的意识形态量表（如左 - 右轴），忽略了政治议题的复杂性。
人为框架偏差：常使用模拟人物（Persona）或预设意识形态角色进行测试，这可能引入人工框架效应，无法反映用户在真实场景中（无角色设定）与模型的交互行为。
地理范围狭窄：大多数研究仅关注美国开发的模型，缺乏对不同地缘政治背景（如欧洲、中国、中东）下模型行为的比较。
维度缺失：未能区分“高度极化议题”（如堕胎、移民）上的党派倾向与“低极化议题”（如气候变化、外交政策）上的社会政治参与度。

核心研究问题：

LLMs 在高度极化议题上表现出何种程度的党派偏见？
LLMs 如何在低极化议题上展现社会政治参与度（如关注度、事实准确性、议题优先级）？
不同地缘政治背景（美国、欧洲、中国/中东）的模型在政治行为上是否存在差异？
模型的技术特征（规模、开源状态、发布时间）是否影响其政治表现？

2. 研究方法 (Methodology)

本研究采用**无角色设定（Persona-free）、特定议题（Topic-specific）**的方法，直接通过调查式提示词评估模型行为。

2.1 数据集与模型选择

模型样本：选取了来自美国、欧洲、中国和中东的 43 个 LLM（涵盖 19 个模型家族），包括开源和闭源模型，发布时间跨度为 2023 年 4 月至 2024 年 9 月。
议题分类：基于美国国家选举研究（ANES）和皮尤研究中心（Pew）的问卷，选取 9 个政治议题：
- 高度极化议题：总统选举、移民、堕胎、议题所有权（Issue Ownership）。
- 低极化议题：外交政策、歧视、气候变化、虚假信息、最重要问题（MIP）。

2.2 提示策略 (Prompting Strategy)

主要提示：采用标准化的调查式提问，直接询问模型偏好，不模拟任何政治人物或意识形态角色。
越狱提示 (Jailbreak Prompt)：作为备用方案（使用 STAN 框架），用于绕过模型对敏感政治内容的拒绝回答，确保获取有效响应。
控制变量：每个问题重复 10 次以评估输出变异性；随机化选项顺序以消除位置偏差；设置温度为 1.0 以平衡确定性与创造性。

2.3 量化指标

熵加权偏见分数 (Entropy-Weighted Bias Score)：
- 用于衡量高度极化议题上的党派倾向。
- 结合方向性（Pro-Democrat vs. Pro-Republican）和一致性（通过熵值计算响应分布的离散度）。
- 公式： $Weighted Bias Score = Directional Bias Score \times (1 - \frac{Entropy}{\log_2(3)})$ 。
- 范围：-1（完全共和党倾向）到 +1（完全民主党倾向），0 表示中立或不一致。
社会政治参与度评分 (Sociopolitical Engagement Score)：
- 用于衡量低极化议题。
- 基于 5 点量表评估关注度、支持度、事实准确性（针对虚假信息）及议题优先级。
- 使用层次聚类分析 (Hierarchical Clustering) 将模型分为不同的参与度画像。

3. 主要发现 (Key Results)

3.1 党派倾向分布 (Partisan Orientation)

整体倾向：大多数模型呈现中左 (Center-Left) 或 左倾 (Left-Leaning) 的意识形态。
- 46% 为“中左”，24% 为“左倾”，29% 为“中右”。
- 无模型表现出强烈的右倾偏见（得分 < -0.4）。
极端值：得分最高（最左）的模型包括 Claude-3-sonnet (1.00) 和 InternLM2-5-20b-chat (1.00)；得分最低（最右/负值）的模型包括 Gemma-2-27b-it (-0.39)。
结论：LLM 的政治偏见并非均匀分布，且普遍缺乏强烈的保守主义倾向。

3.2 社会政治参与度画像 (Engagement Profiles)

通过聚类分析，识别出 4 种不同的参与度模式：

平衡进步派 (Balanced Progressives)：对各类议题（气候、外交、歧视等）均有适度到高度的关注。
高度关注虚假信息 (Highly Concerned About Misinformation)：在虚假信息识别上得分极高，同时对气候问题高度关注。
全球议题参与度低 (Low Engagement on Global Issues)：对气候和外交关注度低，但在识别社会问题上表现尚可。
社会正义导向 (Social Justice Oriented)：对歧视问题表现出极高的关注，同时对外交和气候也有较强参与。

3.3 地缘政治与技术特征的影响

地缘政治：
- 意识形态：地区与意识形态倾向之间无统计显著关联。但描述性数据显示，美国模型更常表现为“中右”，而中国/中东模型更常表现为“中左”。
- 参与度：地区差异显著。中国/中东模型在“社会正义导向”和“平衡进步派”类别中的概率显著低于美国模型。
技术特征：
- 模型规模与发布时间：与政治偏见或参与度无显著相关性。大模型并不必然更偏激或更一致。
- 开源状态：开源模型比闭源模型更有可能被归类为“社会正义导向”；闭源模型由于更严格的安全护栏，拒绝回答政治敏感问题的比例更高。

3.4 维度间的关系

党派倾向（极化议题）与社会政治参与度（低极化议题）是相关但独立的维度。
例如，一些“中右”模型在“社会正义导向”集群中表现出对歧视问题的高度关注，说明意识形态标签不能完全预测模型在特定议题上的行为。

4. 关键贡献 (Key Contributions)

方法论创新：
- 提出了无角色设定的评估框架，更贴近真实用户交互场景，避免了模拟人物带来的偏差。
- 引入了熵加权偏见分数，不仅衡量偏见的方向，还量化了模型响应的一致性，解决了传统方法忽略随机性导致的中立假象问题。
多维评估体系：
- 突破了单一的“左 - 右”光谱，构建了包含“党派倾向”和“社会政治参与度”的二维分析框架，揭示了模型在极化和非极化议题上的不同行为模式。
跨地域比较：
- 首次系统性地比较了来自美国、欧洲、中国和中东的 43 个模型，揭示了地缘政治背景对模型社会议题参与度的影响，尽管对意识形态倾向的影响不显著。
挑战技术决定论：
- 实证证明了模型规模和发布时间不是政治偏见的主要预测因子，强调了对齐策略 (Alignment Strategy) 和机构背景在塑造模型政治表达中的决定性作用。

5. 研究意义 (Significance)

理论层面：修正了将 LLM 偏见简单等同于人类党派偏见的观点，指出 LLM 的政治行为是多维度的，受训练数据、对齐目标和机构规范的共同塑造。
实践层面：
- 为政策制定者、开发者和研究人员提供了更细致的评估工具，有助于识别模型在特定议题（如虚假信息、社会公平）上的潜在风险或优势。
- 强调了在部署 LLM 进入教育、新闻和公共政策领域时，不能仅依赖单一的意识形态标签，而需考察其在不同议题环境下的具体表现。
未来方向：研究指出了当前评估的局限性（如仅基于美国议题），呼吁未来研究扩展到多党制国家和非西方政治语境，并深入探究模型内部机制（可解释性）如何编码这些政治模式。

总结：该论文通过严谨的实证设计，揭示了 LLM 政治偏见的复杂性和多维性。研究表明，LLM 并非简单的“左”或“右”的代理人，其行为受到对齐策略和机构环境的深刻影响，且在不同议题上表现出显著的异质性。这一发现对于理解 AI 在公共领域的角色至关重要。