技术摘要：审计生成式搜索引擎引用中的 AI 生成来源证据

问题陈述

生成式搜索引擎（GSEs）——如 ChatGPT、Copilot、Gemini 和 Perplexity 等能够综合网络信息以回答用户查询的对话式界面——的普及已彻底改变了信息检索方式。然而，这些系统在其来源机制方面的不透明性引发了严重关切。具体而言，存在 GSEs 可能将 AI 生成内容引用为权威来源的风险。鉴于 AI 生成内容可能存在幻觉、偏见和错误，且网络正日益被此类内容（常被称为"AI 垃圾”）所充斥，用户可能在不知情的情况下消费低质量或误导性信息，尤其是在政治、健康和环境等高利害领域。本研究解决的核心问题是：缺乏关于主要 GSEs 引用池中 AI 生成来源普遍性的实证证据，以及这些引擎在过滤此类来源方面的可靠性。

方法论

本研究采用社会技术审计方法，评估了四种主流的 GSEs：ChatGPT（启用网络搜索功能）、Copilot、Gemini 和 Perplexity。

1. 数据整理与查询选择：

• 源数据集： 研究人员整理了一个包含 712 个真实世界、单轮、英语查询的样本。
  • 政治与健康： 432 个查询源自Search Arena数据集（Miroyan 等人，2025），经筛选后仅保留信息性意图且与美国语境相关的查询。
  • 环境： 280 个查询取自Climate Q&A数据集（De La Calzada 等人，2024），经筛选后仅保留英语且与美国相关的查询。
• 主题： 查询涵盖三个具有公共重要性的领域：政治、健康和环境。

2. 数据收集（网络爬虫）：

• 使用基于 Playwright 的自定义 Python 爬虫模拟用户交互，向 GSEs 提交查询。
• 系统捕获生成的回复并提取所有文内引用（URL）。
• 研究在四种引擎中共收集了 26,266 个唯一来源 URL。
• 从 19,154 个 URL（占 72.9%）中抓取了内容；其余因非文本格式（PDF、图像）或无法访问而被排除。

3. AI 内容检测：

• 评估工具： 将两种检测工具（Pangram 和 GPTZero）与一组经过整理的人类撰写文本（来自 RAID 基准）和已知 AI 生成文本进行基准测试。
• 工具选择： 选择 Pangram 作为主要分析工具。虽然两种工具在基准测试中均显示出高准确率，但 Pangram 因其在假阴性方面采取保守态度而被选中，这符合本研究旨在确立 AI 生成内容普遍性下限的目标。
• 分类标准： 如果工具预测文本为“极可能是 AI"或“可能是 AI"，则将其分类为"AI 生成”。模糊类别（“混合”或“可能是 AI"）被排除以避免夸大估计，但若“混合”实例的综合得分超过人类置信度阈值，则对其进行重新评估。

4. 分析：

• 本研究分析了被引用来源域名的分布、引用的集中度（使用基尼指数），以及跨提供商和主题的 AI 生成内容比例。

主要结果

1. AI 生成来源的普遍性：

• 约16%（在成功抓取的 19,154 个来源中，有 3,056 个）的唯一被引用来源被识别为 AI 生成。
• 这一普遍性因提供商而异：
  • Copilot： 27.8% 的被引用来源为 AI 生成。
  • Gemini： 14.7%。
  • Perplexity： 9.4%。
  • ChatGPT： 7.3%。
• 主题差异： AI 生成来源在与环境相关的查询回复中最为普遍（占总引用的 13.3%），其次是健康（该类别引用中的 16.3%）和政治（11.1%）。

2. 引用模式与集中度：

• 长尾分布： 引用分布不均（基尼指数 = 0.68）。少数域名被反复引用（即“头部”），而绝大多数（59.1%）仅被引用一次。
• 顶级域名： 引用次数最多的前 25 个域名占所有引用的 23.8%。维基百科是单一被引用最多的域名（占前 25 名的 15.2%）。政府网站 collectively 占前 25 名的 33.0%，而社交媒体（Reddit、YouTube）占 8.8%。
• AI 生成来源分布： 16% 的 AI 生成来源主要分布在分布的“长尾”中。前 25 个域名仅占 AI 生成来源的 2.9%，而 97.1% 的 AI 生成来源来自其余较少被引用的域名。
• 特定域名： 研究识别出一些 AI 生成内容高度集中的特定域名，包括利基环境和健康网站（例如 sustainability-directory.com 的变体、factually.co），以及政府和政府间网站（例如 pmc.ncbi.nlm.nih.gov、earth.gov）。

3. 引用缺口：

• 约 8.8% 的回复完全没有引用。这在健康相关查询中最为常见（11.6%），表明在这些情况下，系统更依赖大语言模型的内部知识而非外部网络来源。

主要贡献

• AI 生成引用的实证证据： 这项工作提供了首次系统性审计，证明主要 GSEs 频繁将 AI 生成内容作为来源引用，其普遍性约为每六个被引用来源中就有一个。
• 绘制来源生态系统图谱： 本研究绘制了 GSEs 的引用景观，揭示了其对少数高频域名（政府、维基百科）的严重依赖，同时也存在大量极少被引用的长尾域名，其中许多包含 AI 生成内容。
• 提供商差异： 审计突显了各提供商在来源实践方面的显著差异，其中 Copilot 在所有主题中引用 AI 生成来源的比例最高。
• 方法论框架： 本文建立了一个利用网络爬虫和 AI 检测工具审计 GSEs 引用的流程，为未来的信息质量研究提供了可复制的方法。

意义与主张

本文将此项工作定位为理解生成式搜索引擎所构成风险的初步步骤。作者声称其发现：

• 揭示可靠性局限： 证明 GSEs 目前无法可靠地排除合成来源，特别是在健康和政治等高利害领域。
• 为治理提供信息： 识别特定网络域名和 AI 生成内容的普遍性，可为开发人员和风险评估人员提供信息，以改进来源管理策略，例如过滤或标记 AI 生成引用。
• 提高意识： 结果强调了公众需要了解这些系统的局限性，以及虚假信息可能以权威引用的名义传播的潜在风险。
• 建立基准： 研究结果为未来追踪 AI 生成内容在线普及及其整合进信息检索系统提供了基准。

作者保持谦逊的语气，承认了局限性，例如依赖单一检测工具（Pangram）、排除非文本模态（视频、图像），以及专注于以美国为中心的查询。他们强调，报告的 16% 这一数字应被视为下限，且官方政府网站上出现 AI 生成内容的现象，需要进一步调查这些实例究竟反映的是高质量还是低质量的合成内容。