📊 statistics

The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction

本研究表明，尽管多模态大语言模型由于存在对不可靠标签的共同偏差，无法仅凭截图可靠地预测真实的 A/B 测试结果，但通过校准其预测以识别并放弃不确定案例，它们可以实现具有意义的准确率，这一局限性反映了人类专家尽管具有高度的评分者间一致性，却仍无法超越随机水平的现象。

原作者： Tyler Dooskin, Squoosh Technical Staff

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tyler Dooskin, Squoosh Technical Staff

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：“这两个嫌疑人中，谁才是罪犯？”在网站的世界里，“嫌疑人”是两个略有不同的页面版本，而“罪犯”则是那个能让更多人购买商品或注册账号的版本。这被称为 A/B 测试。通常情况下，为了找出赢家，你必须等待并观察真实的人们与网站互动数天或数周。但最近，一种新型的侦探出现了：人工智能。大家都在问一个大问题：“人工智能能否仅仅通过看一张这两个网站的照片，就能瞬间告诉我们哪一个会胜出，从而为我们节省所有的等待时间？”

要理解这篇论文，你需要了解一些关于我们如何衡量科学中“好坏”的标准。首先，要区分是“靠运气变对”还是“靠实力变对”。如果你在抛硬币时猜“正面”，你有 50% 的概率只是靠运气猜对。如果一名侦探声称自己是天才，但实际正确率只有 51%，那么他其实并没有表现出任何特别之处。科学家使用一种特殊的评分指标——“科恩的 Kappa 值”（我们可以称之为“技能得分”）来剔除运气成分，看看这位侦探是否真的动了脑子。其次，是“共同偏见”的问题。想象一下，一位老师和一位学生都在同一个小镇长大。他们可能对所有事情都意见一致，并不是因为学生聪明，而是因为他们都从父母那里学到了同样的错误知识。如果人工智能和创建测试数据的人都学习了相同的“民间智慧”，他们可能会对答案达成一致，但这并不意味着人工智能可以预测未来。

这篇论文来自一个名为 Squoosh 的团队，他们非常诚实、非常严谨地报告了尝试回答这个大问题的过程。他们不仅仅是让 AI 去猜测；他们设置了一个陷阱。他们在开始之前就锁定了规则，就像科学家在烹饪前写下食谱一样，这样他们就不能为了让 AI 看起来表现更好而中途更改规则。他们使用了一个庞大的真实世界网站测试库，来观察人工智能是否真的能预测赢家。

转折点在于：人工智能在其主要任务上的表现基本是失败的。当团队要求 AI 每次都观察 330 个真实的测试并选出一个赢家时，它的表现几乎只比随机猜测好一点点。事实上，AI 与那些“不可靠”的测试（即结果不明确的测试）达成共识的情况，似乎比与“可靠”测试达成共识的情况还要多。事实证明，人工智能和创建测试数据的人都在重复关于“什么样网站才算好”的陈旧迷思，而不是在真正预测结果。即使使用更聪明、更昂贵的 AI，情况也没有好转；它依然表现糟糕。这篇论文明确排除了这样一个观点：即我们不能仅仅通过“购买”更好的 AI 或编写更好的提示词来解决问题。那个仅凭截图就能预测网站赢家的“魔力水晶球”？并不存在。

然而，论文并没有说 AI 是没用的。它说 AI 是一个“诚实的”侦探。团队发现了一个特别的技巧：如果他们告诉 AI，“只有当你绝对确定时才进行猜测，否则请说‘我不知道’”，那么在 AI 确实开口说话的时候，它的表现会变得非常出色。当 AI 内部的“评审团”对某个答案达成强烈共识时，它在可靠测试中的正确率达到了 31%。这听起来很低，但请记住，现实中的人类专家（拥有多年经验的人）平均也只能在 29% 的情况下猜对。AI 不是超级天才；它只是一个知道什么时候在瞎猜、什么时候在认真回答的工具。

最重要的发现是关于信任的。论文表明，当一群 AI 彼此达成一致时，并不意味着它们是对的；这往往意味着它们都在重复同一种共同偏见。这就像一个陪审团，如果所有成员都是亲戚，他们都会投出相同的票，但这并不代表判决是正确的。论文证明了这种“共同偏见”在人类身上同样存在。当他们询问 15 位真实的专家去猜测赢家时，专家们彼此之间的意见高度一致，但他们出错的频率与 AI 一样高。

那么，最终的结论是什么？论文得出结论，我们无法构建一个能以 100% 确定性预测网站赢家的工具。相反，最好的工具是一个“经过校准的筛选工具”。它是一个能够说出“我有信心这个会赢”或者“我不确定，别问我”的系统。它对自己的局限性是诚实的。论文还表明，你不需要一个超级昂贵、庞大的 AI 来做这件事；如果你使用“诚实”技巧，一个更小、更便宜的版本同样有效。真正的价值不在于每次都得到答案，而在于清楚地知道哪些时候你不应该相信那个答案。论文最后发布了所有的数据、失败的实验以及规则，以此证明：有时，最重要的发现是承认那个魔术并不奏效，但一个非常谨慎、非常诚实的版本或许确实有用。

=== 技术摘要：用于基于 LLM 的 A/B 测试预测的校准弃权机制 ===

问题陈述

本文研究了多模态大语言模型（LLM）是否能够仅根据网页变体的截图来预测现实世界 A/B 测试的获胜者。作者对目前盛行的行业叙事提出了挑战，即认为 LLM 可以作为转化率优化（CRO）的“预测试先知（pre-test oracles）”。他们发现现有评估中存在一个关键的失效模式：精选的 A/B 测试目录在偏向变体获胜方面存在严重偏差（通常为 75–85% 的 B 胜），这使得一个倾向于选择“发生变化页面”的简单模型就能获得极高的原始准确率，但实际上对决策毫无价值。核心问题在于：如何区分一个模型是在真实预测实验结果，还是仅仅在利用基准率（base-rate）的人为偏差，或是与标签策展人共享了某种“民间智慧（folk wisdom）”的先验知识。

方法论

作者针对一家领先 CRO 机构的 546 个真实 A/B 测试组成的专有语料库，开展了一项为期六周的、预注册的实验计划。该研究采用了一套严谨的统计框架，以防止过拟合和营销偏差：

语料库与地面真值（Ground Truth）： 数据集包含 330–332 个具有可渲染截图的决定性测试。至关重要的是，作者根据原始每臂计数重新计算了统计显著性（ $p < 0.05$ ），结果显示目录中 44% 的“地面真值”标签其实来自非显著性测试。
评估指标： 主要指标是 Cohen's $\kappa$ （kappa），一种经过机会校正的一致性度量，而非原始准确率。置信区间通过百分位数自助法（ $B=10,000$ ）生成。
统计严谨性：
- 预注册： 在数据收集前锁定了假设、决策门槛和功效分析。
- 重采样门控（Gate-on-Resample）： 对于门控指标（模型进行弃权的情况），在每次自助法重复抽样中都重新应用置信门槛，以便将覆盖不确定性传播到 $\kappa$ 置信区间中。
- 等效性检验： 使用了 TOST（双单侧检验）来证明更昂贵的模型与较便宜的模型在统计上是等效的，而不仅仅是未能显示出差异。
- 对抗性验证： 在发表前，标题结果经过了独立的重新推导和证伪过程。
实验设计： 研究使用了一个由 16–20 票 Gemini 3 Flash 评委组成的平衡面板。测试了多种“杠杆”，包括模型容量（Gemini 3.1 Pro）、提示词机制、刺激物保真度（真实 vs. 重构截图）以及变更类型先验。

关键结果

1. 无条件预测无法通过“诚实标准”

在全量数据集上，Gemini 3 Flash 评委实现的 $\kappa = 0.141$ [0.034, 0.248]，虽高于随机水平但表现微弱。然而，当限制在统计显著性标签（数据中可靠的一半）时，证据变得不具确定性（ $\kappa = 0.108$ [−0.049, 0.264]）。

共享先验的人为偏差： 评委与不可靠（非显著）标签的一致性比与可靠标签的一致性更高。这表明模型与标签策展人在“什么应该获胜”的“民间智慧”先验上存在共识，而不是模型在预测“什么实际获胜”。
模型容量： 尽管 Gemini 3.1 Pro 的成本高出 2.8 倍，但在 $\pm0.20$ 的 TOST 边界内，它与 Flash 在统计上是等效的（ $\Delta\kappa = -0.037$ ）。
提示词与保真度： 重新设计提示词、提高刺激物保真度以及使用变更类型先验，均未能产生统计学意义上的改进。

2. 校准弃权揭示信号

唯一通过作者自身标签有效性审计的操作点是**“自信调用或弃权（confident-call-or-abstain）”**。

机制： 通过基于内部面板一致性（具体为投票差值 $\ge 0.6$ ）对预测进行门控，模型在约 51% 的测试中选择了弃权。
性能： 在模型进行“自信调用”的子集（覆盖率 49%）中，针对仅显著性标签的 $\kappa$ 上升至 0.311 [0.025, 0.555]。这是研究中唯一一个置信区间不包含零且针对可靠标签的单元格。
复现性 vs. 有效性： 作者证明，虽然模型的调用是完全可复现的（在独立运行中实现 31/31 一致），但复现性并不等于有效性。在对较小样本组（33 次调用）进行的留出验证中，返回结果为 $\kappa = -0.100$ [−0.200, 0.000]，这是一个不具确定性的结果，虽然没有反驳之前的发现，但未能证实该发现，凸显了选择性预测增益的脆弱性。

3. 人类天花板与共识错觉

论文将 LLM 与人类专家进行了基准对比：

人类基准： 对同一工具进行的 15 名来源中立的 CRO 从业者的研究显示，其相对于真实结果的表现接近随机水平（ $\kappa \approx -0.03$ ）。
人类中的共享先验： 与 LLM 类似，人类彼此之间的一致性很强（评委间 $\kappa = 0.53$ ），但却无法预测现实。这证实了“共享先验”的人为偏差并非 LLM 特有的病理现象，而是该任务的一个基本局限：对于人类和机器而言，页面的视觉呈现都无法充分决定其实验结果。
有效样本量： 一个 16 票的 LLM 面板仅携带约 2 个有效独立票数（ $n_{eff} \approx 1.9–2.6$ ）。同样，15 名人类专家在统计学上也表现得像少于两个独立的判断。相关评委（或人类）之间的共识虽然具有说服力，但并非技能的证据。

4. 经济性与部署

成本效率： 一个 9 票的面板可以在大约一半的推理成本下，保留上述门控操作点（ $\kappa \approx 0.27$ ）。
交付物： 论文支持部署一种校准筛选工具而非胜率预言机。这包括：
- 带有“自信调用或弃权”机制的获胜解读。
- 基于截图的 UX 审计及对抗性验证（12/13 项发现得到验证）。
- 一个分层声明账本，其中每个数字都带有证据等级（例如：已证实、探索中、已证伪）。

意义与主张

该论文的主要贡献在于建立了一种校准学科，用于 LLM 的评估，从“最大化”主张转向“诚实”的主张。

被驳回的主张： 论文明确驳回了无条件获胜预测的可能性、移动端验证的准确性（由于缺乏移动端渲染的标记语料库）以及预测转化率提升百分比的可能性。
受支持的主张： 作者支持部署一种校准筛选工具，该工具会对大约一半的输入进行弃权。其价值主张不是一个高准确率的预言机，而是一个能够识别出存在信号的少数案例，并在其余情况下通过弃权来避免幻觉式自信的工具。
科学诚信： 论文通过发布负面结果、锁定门槛以及“不具确定性”的留出测试，为反向叙事提供了支持。它认为，如果一个测量系统无法“杀死”其所有者的主张，那么它就是广告而非测量。

作者得出结论：在根据截图预测 A/B 测试获胜者的任务上，共识——无论是人类还是模型——是可复现且具有说服力的，但并非证据。 唯一的可行路径是建立一个知道自己何时知道、并能明确承认自己何时不知道的系统。