技术摘要：从随机到稳定

问题陈述

生成式搜索引擎中的 AI 可见性测量本质上是一种比较性练习，旨在确定哪些域名被引用最频繁，以及观察到的差异是否具有统计学意义，从而为竞争策略提供依据。然而，业界缺乏一种原则性的方法来确定何时收集了足够的数据以支持这些比较。目前的实践依赖于固定的采集预算或任意的相关性阈值，这未能考虑到生成式搜索的随机性质。

生成式搜索引擎针对同一查询会产生多变的输出，使得引用份额（citation share）成为一个受采样变异性影响的样本统计量，而非固定量。这种变式性创造了两个截然不同的挑战：

1. 排名不稳定性（Rank Instability）： 在数据收集的早期，由于顶尖引用域名的引用量尚未积累到足以建立一致领先地位的程度，排名的顺序会发生显著变化。
2. 测量不确定性（Measurement Uncertainty）： 即使在排名顺序稳定之后，引用份额的置信区间（CIs）可能仍然过宽，以至于无法区分相邻的域名。一个稳定的排名并不一定是一个精确的排名；如果“信号”（份额的分布）小于“噪声”（估计的不确定性），则该排名无法支持可靠的推断。

核心难点在于，引用密度和分布结构在不同平台和主题之间存在显著差异。因此，无法普遍证明任何固定的查询计数或固定的秩相关系数阈值（例如 $\rho \ge 0.95$）是合理的。

方法论

本文引入了一个基于两个互补标准的序列收敛框架，这两个标准直接源自观察到的引用分布，无需外部指定的查询数量、相关性水平或置信区间宽度。

1. 数据与估计

• 数据集： 该框架应用于三个生成式搜索引擎（Google Gemini、OpenAI SearchGPT 和 Perplexity）中的 30 个“平台-主题”组合。每个主题在每个平台生成了 125 个查询。
• 自助法重采样（Bootstrap Resampling）： 为了量化不确定性，作者在查询层面（而非引用层面）使用多项式自助法进行重采样，以保留响应内的引用聚类特性。通过对每次自助法迭代计算重新计算引用份额，并计算 95% BCa（偏差校正及加速）置信区间。
• 已观测域名与既定域名： 文中区分了“已观测”域名（至少被引用一次）和“既定”域名（其引用份额的 95% CI 不包含零）。结构充分性仅针对既定域名集进行评估。

2. 标准 I：排名稳定性

排名稳定性是通过检测秩相关轨迹中的结构性平台期（plateau）来确定的，而非通过跨越固定阈值。

• 指标： 计算连续累积响应窗口之间的加权 Spearman 秩相关系数 ($\rho$)。权重为两个窗口内平均引用份额的平均值，这确保了高份额域名的变化对相关性的贡献大于长尾部分的变动。
• 检测： 对相关性轨迹应用分段模型拟合（使用用于保序回归的 Pool-Adjacent-Violators 算法）。该模型测试是否存在一个“上升阶段”紧随其后的“平坦尾部”。
• 决策规则： 当贝叶斯信息准则（BIC）选择一个具有平坦尾部的模型而非纯上升模型，且该平坦尾部至少跨越 15 个连续响应时，即宣布达到稳定性。这种方法检测的是排名是否停止了变化，而不论其绝对相关性数值如何（在引用稀疏的环境中，该值可能低于 0.95）。

3. 标准 II：结构充分性

结构充分性评估既定域名之间的引用份额分布是否相对于其测量不确定性而言足够大，以支持推断。

• 指标： 计算结构化信噪比（SNR）：
  $$\text{SNR} = \frac{\sigma(s_d : d \in D_{est})}{\bar{h}_{CI}}$$
  其中 $\sigma$ 是既定域名间引用份额的标准差（信号），$\bar{h}_{CI}$ 是其 95% 自助法置信区间的平均半宽度（噪声）。
• 决策规则： 当 $\text{SNR} \ge 1$ 时，即达到充分性。这表明份额的分布超过了典型的测量不确定性。原始 SNR 序列使用指数加权移动平均（EWMA）进行平滑，以防止瞬时波动触发过早停止。

4. 结合收敛

只有当排名稳定性和结构充分性同时满足时，一个“平台-主题”组合才被视为“收敛”。停止点是两者中较晚触发的那个条件。

关键结果

该框架应用于 30 个“平台-主题”组合（10 个主题 $\times$ 3 个平台）。

• 收敛率： 在 125 个响应的收集窗口内，30 个组合中有 27 个实现了收敛。三个未收敛的案例均出现在 SearchGPT 的特定主题上（“身份保护”、“旅游目的地”、“自制辣椒酱”），在这些案例中，引用份额相对于测量噪声过于紧密，导致 SNR 无法达到 1。
• 约束因素：
  • 在 27 个收敛案例中，有 16 个案例中排名稳定性是约束因素（即最后一个满足的条件）。
  • 有 11 个案例中，结构充分性是约束因素。
  • 这表明仅有稳定性是不够的；精度往往滞后于稳定性。
• 固定阈值的失效： 维持 15 个响应且 $\rho \ge 0.95$ 的固定相关性阈值在 30 个组合中仅满足了 19 个。基于平台期的检测方法成功识别了所有 30 个案例中的稳定性，包括那些由于引用密度过低而永远无法达到 $\rho = 0.95$ 的情况。
• 验证： 作者将停止时的排序与 125 个响应完整窗口时的排序进行了对比。
  • 仅基于排名稳定性停止会导致在某些情况下一致性较差（例如，SearchGPT/“身份保护”案例，其与最终排名的相关性仅为 0.364）。
  • 结合准则提高了一致性的“底线”，使最差情况下的认证一致性提升至 0.717。
  • 收敛案例中停止排序与最终排序的中位数一致性为 0.844。
• 平台差异： 收敛速度并非由平台身份决定，而是由引用密度和查询内聚类（设计效应）决定的。尽管 SearchGPT 每条响应引用的域名较少，但其聚类程度较低，这意味着每条响应比 Gemini 或 Perplexity 的响应贡献了更多的“有效”数据。

意义与贡献

本文对生成式搜索优化与评估领域做出了三个主要贡献：

1. 将排名稳定性作为收敛准则： 它确立了排名稳定性应通过相关性轨迹中的结构性平台期（使用模型选择）来检测，而非通过跨越固定相关性阈值。这解决了由于引用密度过低导致固定阈值永远无法达到的问题，即便底层分布已经趋于稳定。
2. 将结构充分性作为停止规则： 它引入了一种基于信号（份额分布）与噪声（CI 宽度）比例的数据驱动停止准则。这超越了简单的样本量估计，确保收集到的数据具有足够的精度来区分竞争对手。
3. 拒绝固定预算： 结果表明，没有哪种固定的收集预算（查询计数）是普遍适用的。所需的数据量完全取决于特定平台和主题的引用分布。该框架提供了一种实用的、自我校准的机制，用于确定何时可以进行比较分析。

该框架为判断 AI 可见性测量何时从随机噪声转变为稳定、可靠的信号提供了一个实用的基础，从而使从业者能够基于已知的确定性边界做出竞争决策。