技术摘要：DiffSpot

问题陈述

视觉 - 语言模型（VLM）在高层图像 - 文本对齐和语言引导推理方面已取得显著进展。然而，它们感知细粒度视觉差异的能力仍然有限。这一局限性对于在渲染后的 Web 界面上运行的系统（如图形用户界面代理和设计工具）至关重要，因为这些系统不仅需要验证屏幕是否发生了变化，还必须确切知道哪个视觉属性发生了变化、在何处发生了变化，以及该变化是否仅限于预期的元素。

现有的 VLM 基准测试在很大程度上缺乏针对 Web 界面的专用“找不同”测试模式。当前方法面临两个瓶颈：

1. 数据稀缺：真实的网页很少提供几乎完全相同的前后截图，这些截图仅在单个小型 UI 属性上存在差异，且难以在元素、属性和难度级别上实现均衡覆盖。
2. 标注偏差：人工标注具有选择性和注意力依赖性，往往过度代表显著或具有语义意义的变化，而忽略了细微的、属性级别的视觉差异。

方法论：DiffSpot 流程

作者提出了 DiffSpot，这是一个面向 Web 界面开放式“找不同”任务的代码驱动基准测试。其核心洞察是将差异构建从图像空间转移到代码空间。由于 Web 界面是从 HTML/CSS 生成的程序化产物，视觉差异可以在渲染发生之前被定义和控制。

构建流程包含五个阶段：

1. 语料库策划：

   • 种子数据源自 Chrome 用户体验报告（Chrome User Experience Report）和 Majestic Top-1M 域名（200 万个域名）。
   • 通过站点地图扩展 URL，并通过 HTML 结构指纹进行过滤，以确保结构唯一性。
   • 页面在无头 Chromium 浏览器中渲染（1280×800 视口），并与由大语言模型（LLM）重新生成的自包含 HTML 配对，以移除第三方依赖。
   • 通过 CLIP 相似度（≥0.70）过滤配对，确保重新生成的 HTML 与原始视觉结构匹配。

2. 程序化变异：

   • 系统对单个目标元素的单个 CSS 属性应用原子化、局部化的变异。
   • 定义了涵盖四个家族的 13 种 CSS 属性算子：排版（font_weight, font_size, letter_spacing, line_height, text）、颜色（color, opacity, gradient）、布局（position, spacing, justify）和形状（border, rounded）。
   • 变异通过 Tailwind CSS 类交换或内联样式覆盖执行。
   • 难度分层：每个算子根据变化幅度分为简单、中等和困难三个层级（例如，离散属性使用 Tailwind 刻度步长，连续属性使用 em 偏移量）。

3. 定位门控验证：

   • 为了确保变异对应于干净、局部的视觉变化，一个“定位门控”（grounding gate）验证渲染结果。
   • 它检查三个谓词：
     1. 有效性：目标边界框（bbox）内的像素变化非零。
     2. 局部性：目标边界框外的像素变化为零（无布局重排污染）。
     3. 选择器解析：目标元素必须在 DOM 中正确解析。
   • 仅保留通过所有谓词的配对。

4. 润色与过滤：

   • 使用 LLM 将结构化变异记录转换为自然语言描述。
   • 内容过滤器移除存在文本截断、视口溢出或字体渲染问题的案例。

5. 分层采样与无差异控制：

   • 最终数据集包含 4,400 对图像：
     • 3,900 对“有差异”配对：13 个算子 × 3 个难度层级，每个单元格 100 对。
     • 500 对“无差异”配对：渲染两次相同的截图，以测量幻觉率。

评估设置

• 模型：对 13 个前沿 VLM 进行了零样本评估，包括专有 API（Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7）和开源权重模型（Kimi K2.5, Qwen3.5-VL, GLM-4.6V, InternVL3.5）。
• 任务：模型接收前后截图，并被要求列出所有观察到的视觉差异，不提供示例或提示。
• 指标：
  • 准确率：(TP + TN) / 总数。
  • 召回率：识别出的真实变异百分比（按难度层级细分）。
  • 无差异准确率（特异性）：正确识别为无变化的未变配对百分比（1 - 幻觉率）。
• 评判：响应由 LLM 评判器（gpt-oss-120b）根据视觉等效性标准进行评估，该标准容忍措辞上的改写。使用另外两个评判器进行的鲁棒性检查确认了排名的稳定性。

关键结果

1. 细粒度感知的上限较低

即使是表现最好的模型 Gemini 3.1 Pro，在真实视觉变化上的召回率也仅为 40.7%。

• 所有评估模型的困难层级召回率均低于 23%。
• 13 个模型中有 7 个的整体准确率低于 30%。
• 某些模型（例如 InternVL3.5）仅略高于“始终无差异”的平凡基线，表明其未能检测到变化，而不仅仅是精度差。

2. 特定属性的失败模式

性能高度依赖于什么发生了变化，而不是在哪里出现。

• 高召回率算子：justify（Gemini 3.1 Pro 为 87.0%）、text（Claude Opus 4.7 为 70.3%）和 opacity（Kimi K2.5 为 58.3%）更容易被检测。
• 低召回率算子：gradient（最高 26.7%）、line_height（中位数 4.0%）和 rounded（中位数 13.3%）仍然极其困难。
• 领域独立性：在 15 个源领域之间，召回率变化极小（最大差异 7.1 个百分点），而不同算子之间的变化则非常显著。这表明能力差距是特定于属性的，而非特定于领域的。

3. 视觉幅度无法预测难度

该论文证明，无论是像素幅度还是 CLIP 距离，都无法可靠地预测模型性能：

• 像素变化：具有大像素变化的算子（例如 gradient, line_height）通常召回率较低，而具有小像素变化的算子（例如 text, position）召回率较高。相关系数 $r \approx -0.08$。
• CLIP 距离：CLIP 嵌入距离被压缩，且与召回率的相关性接近零（$r \approx +0.06$）。
• 结论：模型难以感知和命名特定的 CSS 级别视觉属性，而不仅仅是无法检测到大图像差异。

4. 敏感度与克制之间的权衡

“无差异”配对揭示了一个关键的权衡：

• 激进报告者：如 GLM-4.6V-Flash 等模型在 24.2% 的无差异配对中幻觉出变化。
• 过度保守：如 InternVL3.5 等模型几乎不报告任何内容，实现了 100% 的特异性，但召回率接近零。
• 帕累托前沿：只有三个闭源模型（Gemini 3.1 Pro, Claude Opus 4.7, GPT-5.4）进入了“准确且克制”的区域（召回率 ≥30%，幻觉率 ≤5%）。没有任何开源权重模型达到这种平衡。

5. 扩展与推理

• 推理模式：对于 Qwen3-VL 系列，切换到“思考”模式仅在较大规模（235B 参数）下显著提高了性能，而在 30B 参数下则没有。
• 扩展：仅增加参数规模（例如，Instruct 模式下的 Qwen3-VL 从 30B 增加到 235B）并未提高性能，这表明如果没有特定的架构或训练调整，单纯的规模扩展不足以完成此任务。

意义与主张

该论文声称 DiffSpot 是首个针对渲染后 Web 界面的开放式“找不同”基准测试。其意义在于：

1. 方法论转变：从人工标注的图像对转向代码驱动、程序化变异，确保了受控、均衡且无偏差的真实情况。
2. 诊断精度：它揭示了当前的 VLM 在细粒度视觉感知方面是脆弱的，其性能主要由被变异的特定 CSS 属性决定。
3. 实际相关性：该基准测试直接满足了 GUI 代理和设计工具的需求，突显了当前模型无法可靠地验证局部 UI 变化。
4. 评估严谨性：通过包含“无差异”控制，它将真正的视觉敏感度与幻觉区分开来，揭示了聚合指标往往掩盖的敏感度 - 克制权衡。

作者得出结论，Web 界面上的细粒度视觉差异检测“远未解决”，即使是最强的模型也错过了大约每五次真实视觉变化中的三次，特别是在困难层级场景中。