技术摘要：VisEditBench

问题陈述

虽然视觉语言模型（VLMs）在从零生成可视化代码（文本到可视化）或从图表图像重建代码（图表到代码）方面已经展现出强大的能力，但它们主要是在单次生成任务上进行评估的。现实世界的可视化创作本质上是迭代式的；用户经常需要根据多模态反馈来修改现有的可视化效果，以修复缺陷、提高可读性或调整风格。

目前的基准测试未能捕捉到这种迭代编辑的工作流。它们无法评估模型是否能够接收现有的可视化代码、渲染出的图表（通常带有视觉缺陷或标记区域）以及自然语言指令，从而生成既能保留数据语义又能修复视觉问题的修订后可执行代码。这一差距使得“视觉驱动的代码编辑”这一挑战在很大程度上仍未得到充分探索。

方法论

1. VisEditBench 数据集

作者引入了 VisEditBench，这是一个包含 1,395 个人工标注的可视化代码编辑任务 的基准测试。该数据集通过两个主要来源构建，以确保真实性：

• 现实世界问题： 从 Stack Overflow 和 GitHub issue（针对 Matplotlib/Vega-Lite）中手动收集的 120 个涉及用户报告 Bug 的案例。
• 模型失败案例： 通过在 Text2Vis 基准测试上重新运行前沿模型和开源模型生成的案例，其中生成的输出存在视觉、语义或呈现方面的错误。

任务公式化：
每个任务 $x_i$ 定义为 $(c_i, I_i, u_i, c'_i)$，其中：

• $c_i$：输入的可视化代码。
• $I_i$：渲染出的图表图像（可以是带有缺陷/标记的图表或参考图表）。
• $u_i$：自然语言编辑指令。
• $c'_i$：目标修订后的可执行代码。

编辑设置：
该基准测试涵盖了两种实际场景：

1. 反馈引导修复： 模型接收一个有缺陷的图表和文本反馈，以在保留意图的同时修复可视化效果。
2. 参考引导重构风格： 模型接收一张目标图表图像，并必须在不改变数据语义的情况下，使原始代码适配参考风格。

分类法：
任务被分为八种编辑意图：正确性修复、质量提升、鲁棒性/泛化性、风格适配、约束满足、一致性协调、重构/转换，以及风格感知错误修复。数据集涵盖了多种图表类型（柱状图、折线图、箱线图、散点图等）和库（Matplotlib 和 Vega-Lite）。

2. 评估框架

作者提出了一个结构化评估体系，衡量以下指标：

• 代码执行： 代码是否可以运行并渲染出有效的图表。
• 任务准确度： 编辑是否在满足指令的同时保留了语义。
• 可读性与清晰度： 标签、图例和坐标轴的可辨识度。
• 视觉质量： 整体呈现、布局和精细度。
• 视觉相似度： 与目标/参考图表的对齐程度。
• 最终通过率（Final Pass Rate）： 一个严格的指标，要求成功执行、高任务准确度（≥4.5）、高可读性/质量（≥4.0）以及高视觉相似度（≥90）。

使用自动化的 VLM 评估器（使用 GPT-4o，或者为了避免偏见，使用 Gemini 2.5 Pro 来评估 GPT-4o 的输出）配合固定的评分量表，并经过人类判断验证。

3. VisEditAgent

为了建立一个强大的基准线并展示迭代优化的价值，作者提出了 VisEditAgent。与零样本提示不同，该框架模仿了人类的迭代工作流：

1. 编辑规划： 识别视觉问题和相关的代码区域。
2. 候选生成： 生成多个代码变体。
3. 执行与渲染： 执行候选代码以产生视觉输出。
4. 视觉验证： 根据指令和参考进行候选方案评估。
5. 精炼： 根据执行诊断和视觉反馈，迭代地精炼最佳候选方案。

关键结果

零样本性能

作者评估了 20 个最先进的 VLM（包括闭源和开源模型）。

• 性能差距： 在生成可执行代码与进行视觉忠实编辑之间存在显著差距。即使是最强的模型 Claude-4.6-Sonnet，在零样本设置下的整体通过率也仅为 74.46%，而大多数开源模型的表现低于 50%。
• 可执行性 vs. 视觉保真度： 强大的模型通常能生成可执行的代码（例如 Claude-4.6-Sonnet 的执行成功率为 96.19%），但在视觉相似度方面表现欠佳（89.42%），这表明它们在保持布局保真度和风格对齐方面存在困难。
• 任务难度： 性能随意图变化剧烈。模型在正确性修复方面表现相对较好（Claude-4.6-Sonnet 为 70.34%），但在零样本设置下的视觉驱动风格适配方面表现极差，即使是最好的模型也仅达到了 55.71%。

VisEditAgent 结果

使用 GPT-4o 作为基础模型，VisEditAgent 将整体通过率从 55.75%（零样本）提升至 67.99%。

• 迭代精炼： 在视觉驱动型任务中观察到了最大的提升。风格适配从 10.00%（GPT-4o 零样本）提升至 62.85%，一致性协调从 47.46% 提升至 64.41%。
• 消融实验： 移除多候选生成或精炼步骤会显著降低性能，证实了通过渲染反馈进行迭代验证对于成功的编辑至关重要。

重要性与贡献

论文声称有四个主要贡献：

1. VisEditBench： 第一个专门用于评估基于多模态反馈进行可视化代码编辑的基准测试，涵盖了跨越多种意图和库的 1,395 个任务。
2. 结构化评估： 一个全面的框架，测量可执行性、任务准确度、可读性、视觉质量和视觉相似度，超越了简单的代码生成指标。
3. 实证分析： 对 20 个 VLM 进行的零样本评估揭示了，尽管模型可以生成代码，但它们缺乏进行忠实、迭代式可视化编辑所需的视觉推理能力，尤其是在风格适配方面。
4. VisEditAgent： 一个基于渲染驱动的基准线，证明了迭代生成、执行和视觉验证可以显著提高编辑性能，这表明可靠的可视化创作需要多模态推理循环，而非单次生成。

作者总结道，VisEditBench 和 VisEditAgent 为开发用户对齐、反馈感知的可视化系统奠定了基础，并强调该领域必须超越单次生成，以应对现实世界数据可视化中的迭代性质。