🤖 machine learning

GEO-Flag: Detecting and Measuring GEO-Optimized Web Content

本文介绍了 GEO-Flag，这是一个包含 GEOFlagBench 基准测试和干预配对训练（Intervention-Paired Training）方法的综合框架，旨在有效地检测、审计并衡量生成式引擎优化（GEO）在现实世界搜索生态系统中的普遍程度。

原作者： Junjie Chu, Ye Leng, Mingjie Li, Yun Shen, Xinyue Shen, Yang Zhang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junjie Chu, Ye Leng, Mingjie Li, Yun Shen, Xinyue Shen, Yang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

互联网正在改变我们寻找答案的方式。几十年来，我们通过输入问题并浏览一系列链接来进行搜索，然后亲自点击进入阅读来源。现在，新一代搜索工具利用人工智能为我们阅读这些链接，将信息综合成一个带有引用的单一、直接的答案。这种转变带来了便利，但也创造了一种新的脆弱性。正如过去网站可以通过调整来提高在传统搜索列表中的排名一样，一种新的做法也随之出现：内容被刻意修改，以被这些人工智能系统抓取并引用。这种被称为“生成式引擎优化”（generative engine optimization）的做法，可能会让微弱或错误的信息看起来证据充分，因为人工智能会将其作为事实呈现，而没有向用户展示完整的竞争性来源列表。危险在于其不透明性：如果人工智能引用了一个专门为被引用而构建的页面，用户看到的是一个自信的答案，而非背后的操纵手段。

一个研究小组致力于了解这一问题的规模并建立衡量工具。他们首先创建了一个包含 3,200 个网页的大规模测试集，涵盖健康、金融、技术和旅游领域。这些页面包括人类原创写作、经人工智能润色的文本以及完全由机器生成的文本。至关重要的是，他们还创建了这些页面的不同版本，这些版本是使用八种旨在操纵新 AI 搜索引擎的策略进行专门修改而成的。凭借这一多样化的集合，他们测试了现有的识别这些优化页面的方法。他们发现，虽然有些工具整体上能高精度地标记出这些内容，但它们往往依赖于“捷径”。许多检测器仅仅是根据文本是由人类还是 AI 编写来进行猜测，而不是识别出用于操纵搜索引擎的具体改动。当研究人员在人类精心应用优化技术的页面上测试这些工具时，检测器经常失效，这表明它们之前的成功其实是基于对所检测内容的误解。

为了解决这个问题，研究人员开发了一种名为“干预配对训练”（intervention-paired training）的新型训练方法。他们不再只是向计算机展示“好”页面和“坏”页面的例子，而是向它展示成对的页面：原始版本和修改版本。他们教导系统识别出某种特定的改动（例如添加某个短语以提高可见度）应当增加怀疑分数，而一般的语法或风格改进则不应如此。这种方法迫使检测器专注于实际的优化行为，而非作者的身份。结果是可靠性的显著提升。新系统能够以更高的准确度正确识别优化页面，并且重要的是，它不会因为原始文本是由人还是机器编写而产生混淆。它学会了识别操纵行为本身。

随后，该团队构建了一个更进一步的完整审计系统。一旦某个页面被标记为可能经过优化，系统就会检查该页面引用的链接是否可靠。它会为出版商分配一个等级，从高度权威的机构到易于创建或编辑的来源不等，并检查这些链接是否仍然有效。当他们将整个流程应用于来自 Google 和一种新型 AI 驱动搜索工具的真实世界搜索结果时，他们发现大约 8.9% 返回的页面是针对生成式搜索进行了优化的。这个数字并非静态；对于在 2026 年被修改过的页面，这一比例跃升至 16.36%。研究还揭示了来源质量的显著差异。AI 搜索工具返回的页面严重依赖低等级来源的引用，其中近四分之三的引用被贴上了低可验证性标签，而传统搜索结果中这一比例不足一半。

这些发现表明，在线信息的格局正在迅速变化。研究人员估计，目前出现在这些新搜索结果中的页面中，有超过十分之一可能是经过战略性修改以影响 AI 的。问题不仅在于虚假信息的传播，还在于我们用来验证事实的机制——引用——正成为操纵的一部分。通过识别这些模式并衡量其普遍程度，研究人员提供了一种洞察新搜索时代幕后真相的方法。他们的工作并不声称已经解决了这个问题，或找到了所有操纵的实例，但它为衡量这一问题建立了清晰的基础。它表明，如果没有新的工具来检测这些特定的优化行为，用户可能会越来越多地遇到那些看起来权威、实则建立在经过战略构建且往往未经核实的来源之上的答案。

技术摘要：GEO-Flag：检测与衡量面向生成式引擎优化的网页内容

1. 问题定义

生成式引擎优化（Generative Engine Optimization, GEO）涉及修改网页内容，以提高其被生成式搜索引擎（如 Perplexity、Google Gemini、ChatGPT Search）选中并引用的可能性。与呈现竞争来源列表的传统搜索不同，生成式搜索会将信息综合为带有行内引用的直接答案。这种转变带来了新的风险：

不成比例的可见度： 经过策略性优化的页面可能会获得与其真实权威性或相关性不成比例的可见度。
误导信息的放大： GEO 技术可以通过策略性地创建相互引用的来源，使薄弱或虚假的信息看起来具有充分的支持。
检测差距： 虽然已有大量关于如何针对生成式引擎进行优化的研究，但用于检测网页是否为了此目的而进行刻意优化的系统化方法仍有待探索。现有工具往往将 GEO 检测与通用的 AI 文本检测混为一谈，无法区分“由 AI 生成的内容”与“由人类编写但针对生成式搜索进行了优化”的内容。

2. 研究方法

本文引入了一个综合框架，包括一个基准测试、一种新型训练策略、一个审计代理系统以及大规模实证部署。

2.1 GEOFlagBench：一个新的基准

为了评估检测方法，作者构建了 GEOFlagBench，这是一个包含 3,200 个网页的数据集，涵盖：

400 个查询： 跨越四个领域（健康、金融、技术和旅游）的通用信息查询。
8 个 GEO 优化家族： 包括基于策略的重写（GEO 策略池）、学习型优化（AutoGEO）、偏好操纵（PMA）、意图感知优化（RAID G-SEO）、迭代自我评估（元优化）以及隐蔽变体。
对照组： 对于每个查询，创建了三个非 GEO 对照组：
1. 人类编写： 源自可靠出版物（如维基百科），时间在 2022 年 10 月之前。
2. AI 润色： 由 LLM 进行语法和流畅度改进的人类编写文本，但不含 GEO 策略。
3. AI 生成： 由 LLM 根据源文本的结构化摘要新生成的文章。
评估设计： 该基准使用查询不相交（query-disjoint）的划分方式以防止语义泄露，并包含基于作者身份条件的诊断，以测试模型是依赖于“人类 vs. AI”的捷径，还是依赖于 GEO 特有的信号。

2.2 干预配对训练 (Intervention-Paired Training, IPT)

作者提出了 干预配对训练 (IPT)，以解决现有检测器依赖静态作者身份线索的局限性。IPT 利用基准中的配对结构（原始源 vs. 转换后的页面）来监督检测器的响应：

正向对 (Positive Pairs)： 一个原始页面 ( $x_o$ ) 及其对应的 GEO 优化版本 ( $x_g$ )。模型被约束为对 $x_g$ 分配比 $x_o$ 更高的 GEO 分数。
零对 (Zero Pairs)： 一个原始页面 ( $x_o$ ) 及其对应的 AI 润色版本 ( $x_p$ )。模型被约束为对两者保持相似的分数，从而学习到 AI 编辑本身并不是 GEO 的证据。
目标： 损失函数结合了标准分类损失、针对正向对的基于边际的约束，以及针对零对的 L1 约束。这鼓励模型学习优化特有的变化，而非通用的作者身份或 LLM 生成伪影。

2.3 用于引用审计的 GEO 门控代理系统

除了页面级检测外，该系统还审计被检测到的 GEO 页面所使用的来源层级 (Source Tier) 和可验证性 (Verifiability) 引用 URL：

GEO 门控 (GEO Gate)： 检测器 (ModernBERT-IPT) 过滤页面；只有被标记为 GEO 的页面才会进入下一步。
预处理： 使用确定性解析器提取引用 URL 并将其与句子关联。
标签代理 (Labeling Agent)： 特殊的子代理确定：
- URL 来源层级 (C1–C3)： 基于出版物权威度和编辑控制权（C1 = 高权威，C3 = 低问责制）。
- 引用 URL 可验证性 (HIGH/MEDIUM/LOW)： 结合了来源层级和检索状态（可访问性）。
聚合： 通过规则得出每个引用的最终可验证性标签以及每个被引用句子的最佳标签。

2.4 实证部署

完整的流水线被部署在来自 ORCAS 数据集的 1,000 个真实用户查询上，分析了来自 Google 搜索和 Gemini 落地检索 (Gemini-grounded retrieval) 的结果。研究收集了 13,983 个唯一 URL 中的 10,095 个可用页面，应用检测器和引用审计流水线来估计现实世界中 GEO 的流行程度。

3. 关键结果

3.1 基准评估

基准性能： 最强的基准模型（Word TF-IDF + Logistic Regression）实现了 0.880 的总 F1 值。然而，方法级分析揭示了显著的弱点。
捷径： 高性能基准表现出较差的最差组准确率 (Worst-Group Accuracy, WGA)（例如 TF-IDF 为 0.375）以及在人类与 AI 创作的非 GEO 页面之间巨大的假阳性率差异 ( $\Delta$ FPR)（高达 0.558）。这表明其依赖于作者身份线索而非 GEO 信号。
IPT 的改进： 将 IPT 应用于 ModernBERT 后，F1 从 0.862 提升至 0.944，WGA 从 0.725 提升至 0.883。它还使 $\Delta$ FPR 从 0.263 降低到 0.108，证明了对作者身份特征的鲁棒性。IPT 还提高了针对特定 GEO 家族的归因准确性（Macro F1 为 0.895）。

3.2 代理系统性能

在零样本审计基准（562 个页面）上，GLM 5.2 代理实现了：

84.75% 的 URL 来源层级分类准确率。
83.00% 的引用 URL 可验证性准确率。
系统成功识别出许多 GEO 页面依赖于低权威度的来源。

3.3 现实世界流行度估算

总体流行度： 在分析的 10,095 个页面中，估计有 8.90% 被标记为经过 GEO 优化。
渠道差异： GEO 的流行度在 Gemini 落地检索结果中（9.09%）高于 Google 搜索（8.14%）。
时间趋势： 在具有可解析 dateModified 值的页面中，GEO 的流行度随时间显著增加：7.02% (2024) $\to$ 12.80% (2025) $\to$ 16.36% (2026)。
引用可验证性： 在检测到的 GEO 页面上的 6,663 个引用发生案例中，69.34% 获得了低 (LOW) 可验证性标签。这一比例在 Gemini（74.15%）中甚至高于 Google 搜索（45.88%），表明其严重依赖 C3（低问责制）来源。

4. 核心贡献

GEOFlagBench： 一个用于检测跨不同领域和优化策略的 GEO 优化内容的系统化基准，揭示了总体性能往往掩盖了对作者身份捷径的依赖。
干预配对训练 (IPT)： 一种通过显式监督对 GEO 干预的响应，同时忽略非 GEO AI 润色的训练方法，显著降低了对作者身份线索的依赖，提高了 GEO 检测的鲁棒性。
GEO 门控代理系统： 一个用于审计 GEO 页面所用引用的来源层级和可验证性的流水线，为评估底层来源的可信度提供了机制。
实证流行度估算： 首次对现实世界搜索结果中 GEO 流行度进行大规模测量，发现总体率为 8.90%，且近期修改的页面呈现明显的上升趋势，同时伴随着高比例的低可验证性引用。

5. 重要性与主张

本文为系统地检测、审计和衡量现实世界搜索生态系统中的 GEO 奠定了基础。作者认为：

GEO 与 AI 文本检测是不同的： 检测器必须区分“针对生成式搜索进行优化的内容”与“仅仅是由 AI 编写的内容”。
当前的检测器是脆弱的： 高水平的总体得分往往掩盖了在特定优化方法或作者群体上的失败。
GEO 带来了可验证性风险： 大量 GEO 页面依赖于难以验证的低权威来源 (C3)，这可能在生成式回答中放大误导信息。
透明度是关键： 所提出的工具旨在支持透明度和风险分析，而非自动的内容拦截，因为作者承认 GEO 本身并非本质上恶意的，但由于其可能扭曲信息获取，需要受到审视。

作者强调，他们的现实世界估算基于检测器的预测和可用元数据，而非对恶意意图的最终判定，但他们强调了 2025 年和 2026 年 GEO 采用率明显增长的态势。