Evidence of political bias in search engines and language models before major elections

这是一份关于该论文《选举前搜索引擎和大型语言模型中的政治偏见证据》（Evidence of political bias in search engines and language models before major elections）的详细技术总结。

1. 研究背景与问题 (Problem)

随着全球绝大多数人口通过互联网获取信息，搜索引擎（SEs）和大型语言模型（LLMs）已成为政治信息获取的核心渠道，甚至取代了传统媒体成为新闻的第一入口。然而，这些系统的算法决策及其潜在的偏见尚未得到充分探索。

• 核心问题：在关键选举前夕（如 2024 年欧洲议会选举和美国总统选举），搜索引擎和 LLM 在回答中性查询时，是否存在系统性的政治偏见？
• 现有局限：以往研究多关注单一语境（主要是美国），依赖情感分析或简单的源分类，且常使用显式的政治查询（如直接搜索候选人名字），这不能反映普通用户（特别是未决选民）的自然搜索行为。此外，缺乏将算法输出与外部基准（如民调、历史选举结果、媒体曝光度）进行系统性对比的研究。

2. 方法论 (Methodology)

研究团队开发了一种标准化的、保护隐私的“机器人 + 代理”（bot-and-proxy）审计方法，对 4 个搜索引擎和 2 个 LLM 进行了大规模审计。

• 数据收集：

  • 时间：2024 年欧洲议会选举（6 月）和美国总统选举（11 月）前夕。
  • 地点：
    • 欧盟：奥地利、德国、爱尔兰、波兰、葡萄牙（5 个国家，涵盖不同的政治光谱和民调趋势）。
    • 美国：15 个县（分布在摇摆州、共和党倾向州和民主党倾向州）。
  • 平台：
    • 搜索引擎 (SEs)：Google, Bing, DuckDuckGo, Yahoo。
    • 大语言模型 (LLMs)：Microsoft Copilot（联网）, ChatGPT-4o（未联网）。
  • 查询设计：使用中性、自然的查询（例如“我应该投给谁？”、“欧洲议会选举 2024"、“美国选举最重要的议题”），避免直接提及特定政党或候选人，以模拟真实用户行为。
  • 工具：使用自动化浏览器（基于 OpenWPM 和 Selenium）模拟人类行为（点击、滚动、打字），并通过住宅代理（Residential Proxies）模拟不同地理位置。

• 数据处理与分析：

  1. 实体提取：从 SE 的 URL/标题和 LLM 的文本回复中提取政治实体（政党、政治家、政治光谱）及议题（仅美国）。
  2. 立场映射：
     • 欧盟：将实体映射到 2019-2024 届欧洲议会的政治团体，并进一步归类为五大意识形态群体：极左、主流左、中间/绿党、主流右、极右。
     • 美国：将实体映射为民主党或共和党；将议题根据选民调查（Pew 和 YouGov）分类为“对共和党更重要”、“对民主党更重要”或“中立”。
  3. 基准对比：将观察到的提及频率与三个外部基准进行对比，以判断是否存在偏差：
     • 媒体曝光度（Media Salience）：主流媒体对该实体/议题的报道量。
     • 民调数据（Polls）：选举前的支持率预测。
     • 历史选举结果（Previous Results）：2019 年（欧盟）或 2020 年（美国）的实际得票/席位情况。

• 统计检验：使用二项比例 Z 检验、Beta-Binomial 似然比检验和 Stouffer 方法，评估观察值与基准值之间的偏差是否具有统计显著性。

3. 主要发现 (Key Results)

A. 欧洲议会选举 (EU Parliament Election)

• 极右翼过度代表：所有搜索引擎（Google, Bing, DuckDuckGo, Yahoo）和 ChatGPT 的结果中，极右翼（Radical Right） 实体的提及频率显著高于预期。
  • 这种过度代表不仅相对于均匀分布显著，而且相对于民调、历史选举结果和媒体曝光度也显著过高。
  • 例如，Google 对极右翼的提及比媒体曝光度高出约 17 个百分点，比民调预测高出约 30 个百分点。
• 其他派系被低估：主流左翼和激进左翼在所有平台中均被显著低估（Underrepresented）。
• 一致性：这种偏差在不同国家、不同语言（英语及当地语言）和不同查询中表现出高度一致性。

B. 美国总统选举 (US Presidential Election)

• Google 的共和党倾向：Google 搜索结果强烈偏向共和党（Republican） 更关注的议题。
  • 在议题查询中，Google 返回的结果中，83% 属于“对共和党更重要”的类别。
  • 即使排除“经济”这一普遍重要议题，Google 仍倾向于共和党偏好议题（62%）。
  • 相比之下，民主党偏好议题被显著低估。
• 其他引擎与 LLM：Bing、DuckDuckGo 和 Yahoo 在议题分布上相对平衡，或略微偏向民主党。LLM（Copilot 和 ChatGPT）的表现相对平衡，但 ChatGPT 在提及非中立议题时，对共和党偏好议题的提及率仍略高于民主党偏好议题（约 2 倍）。
• 实体提及：在政党实体提及上，Google 对共和党的提及略高于民主党，尽管差异较小，但在统计上显著。

C. 拒绝回答与中间倾向

• LLM 的拒绝机制：LLM 对部分选举相关查询表现出较高的拒绝率（Refusal rates），且拒绝率因国家和语言而异，这引发了关于内容审查和语言模型安全机制有效性的讨论。
• 绿党与中间派：LLM 对绿党（Greens）的提及频率高于媒体和民调预期，显示出一种“中间倾向”或特定的微调偏差。

4. 关键贡献 (Key Contributions)

1. 方法论创新：提出了一种基于显著性（Salience）（即提及频率）而非情感分析或来源分类的偏见评估方法。这种方法更能反映算法对政治议程的“可见性”控制。
2. 多平台、多语境对比：首次在同一框架下大规模对比了 4 个搜索引擎和 2 个 LLM 在欧盟（多党制）和美国（两党制）两个截然不同的政治环境下的表现。
3. 外部基准验证：不仅观察了算法输出，还将其与民调、历史选举结果和媒体曝光度进行严格对比，证明了观察到的偏差不仅仅是反映了现实世界的政治分布，而是算法本身的系统性扭曲。
4. 自然查询模拟：使用中性、非诱导性的自然语言查询，更真实地模拟了未决选民的信息获取行为，填补了以往研究多依赖显式政治查询的空白。

5. 意义与影响 (Significance)

• 民主风险：研究表明，即使是微小的算法偏差（Skew），在数百万用户使用的平台上也会被放大，可能显著影响未决选民的投票意向和议题显著性，从而干扰民主进程。
• 透明度缺失：由于算法的“黑箱”性质，这种系统性偏见难以被普通用户察觉。研究强调了算法透明度和独立审计的紧迫性。
• 政策启示：研究结果直接支持了欧盟《数字服务法案》（DSA）的要求，即平台必须评估并减轻对民主进程的系统性风险。
• 未来方向：呼吁对 AI 驱动的信息系统建立持续的、系统性的审计机制，特别是在选举等关键时期。

总结：该论文通过严谨的大规模审计，提供了强有力的证据，证明主流搜索引擎和大型语言模型在选举期间存在显著的政治偏见。在欧洲，这种偏见表现为对极右翼的过度曝光；在美国，Google 表现出对共和党议题的显著偏好。这些发现挑战了搜索引擎作为“中立信息门户”的普遍认知，并突显了算法治理对维护民主健康的必要性。