VectorGym: A Multitask Benchmark for SVG Code Generation, Sketching, and Editing

1. 研究背景与问题 (Problem)

尽管视觉 - 语言模型（VLMs）在图像生成和理解方面取得了显著进展，但在 SVG 代码生成 领域仍存在以下关键挑战：

• 缺乏真实且复杂的基准测试：现有的数据集（如 DeepSVG, VGBench 等）通常局限于简单的图标或基本形状，或者依赖合成程序生成的编辑指令，缺乏真实世界设计工作流中的复杂性。
• 任务覆盖不全：现有基准很少同时涵盖从草图生成、文本生成、复杂编辑到视觉理解（描述）的全流程。
• 标注质量不足：许多数据集缺乏专家级的人工标注（Gold Standard），特别是对于需要语义理解和多步推理的复杂编辑任务。
• 评估指标局限：传统的像素级指标（如 MSE）无法准确评估 SVG 代码的语义正确性、结构有效性以及指令遵循能力。

2. 核心贡献 (Key Contributions)

论文提出了 VectorGym，这是一个全面的、多任务的 SVG 基准测试套件，主要贡献包括：

1. 四大核心任务与数据集：

   • VG-Sketch (Sketch2SVG)：将手绘草图（位图）转换为干净的 SVG 代码。这是该领域首次引入的基于真实手绘草图的任务。
   • VG-Edit (SVG Editing)：基于自然语言指令对现有 SVG 进行复杂编辑。这是首个由专家人工标注的复杂 SVG 编辑数据集，包含高阶原语（如文本、渐变、动画）和多步推理。
   • VG-Text (Text2SVG)：根据文本描述生成 SVG 代码。
   • VG-Cap (SVG Captioning)：根据 SVG 代码生成详细的自然语言描述。
   • 数据来源：所有数据均源自 GitHub 上的真实 SVG 文件（SVG-Stack），并通过专家人工绘制草图、编写复杂编辑指令和详细描述进行标注，确保了数据的多样性和高难度。

2. VLM-as-a-Judge (VLMAJ) 评估指标：

   • 针对 SVG 生成的特殊性，提出了一种基于 VLM 的裁判机制。通过人类相关性研究验证，该指标能有效评估语义正确性、结构完整性和指令遵循度，弥补了传统像素指标的不足。

3. 多任务强化学习方法 (RL Method)：

   • 提出了一种基于 渲染反馈的强化学习 (RLRF) 方法。
   • 利用 GRPO (Group Relative Policy Optimization) 算法，结合课程学习（Curriculum Learning），在四个任务上联合优化模型。
   • 奖励机制：对于生成任务（Sketch/Text/Editing），将预测 SVG 和真实 SVG 渲染为位图，计算感知相似性（LPIPS, Dino）和像素距离（MSE）作为奖励；对于描述任务，使用文本嵌入相似度。

4. 性能突破：

   • 基于 Qwen3-VL 8B 模型训练的 VectorGym (Ours) 版本，在开源模型中达到了最先进（SOTA）水平。
   • 其性能超越了参数量大得多的模型（如 Qwen3-VL 235B），并与闭源旗舰模型（如 GPT-4o）持平，甚至在某些任务上超越。

3. 方法论 (Methodology)

3.1 数据集构建 (Dataset Construction)

• 来源：从 SVG-Stack 中筛选出 7,000 个高质量样本（经过 Token 长度、颜色熵等过滤）。
• 人工标注：
  • 与专业数据标注团队合作，拥有 20+ 名具备设计和编程背景的标注员。
  • VG-Sketch：标注员将 SVG 转换为手绘草图（纸质或数字板），包含黑白和彩色版本。
  • VG-Edit：标注员执行复杂的编辑指令（如“将饼图改为柱状图”、“修改面部表情”、“替换特定文本并调整渐变”），禁止简单的旋转或缩放，确保编辑具有语义深度。
  • VG-Cap：标注员编写详细的 SVG 描述，包含颜色十六进制代码和语义特征。

3.2 训练策略 (Training Strategy)

• 模型架构：基于 Qwen3-VL 8B Instruct。
• 强化学习框架：
  • 采用 GRPO 算法，通过组内归一化奖励来计算优势函数。
  • 改进：使用批次级（Batch-level）的标准差进行归一化，而非仅组内，以增强训练稳定性。
  • 课程学习：根据响应长度对样本进行排序，模型从简单（短）样本逐步过渡到复杂（长）样本，同时保持多任务平衡。
• 奖励函数：
  • 生成/编辑任务：渲染预测 SVG 和 Ground Truth SVG，计算 MSE, LPIPS, Dino 特征距离。
  • 描述任务：使用 BGE-M3 计算文本嵌入的余弦相似度。

3.3 评估体系 (Evaluation)

• 视觉相似度：MSE, LPIPS, Dino (用于 Sketch/Text 生成)。
• 语义准确性：CLIP 相似度, VLMAJ (用于 Text/Editing)。
• 描述质量：ROUGE-L, BGE-M3, LLM 评分 (用于 Captioning)。
• 综合得分：将四个任务的得分加权平均，形成 VectorGym 总分。

4. 实验结果 (Results)

实验在多个闭源（Gemini 3 Pro, GPT-5.1, Claude 4.5, GPT-4o）和开源模型（Qwen 系列, GLM 系列）上进行了评估。

• 整体表现：
  • Gemini 3 Pro 在所有任务中综合得分最高（73.17），是目前最强的多模态代码推理模型。
  • Qwen3-VL 8B Gym (Ours) 以 66.05 的总分超越了 GPT-4o (64.93)，并大幅领先于参数量大 30 倍的 Qwen3-VL 235B (62.32)。
• 分任务表现：
  • Sketch2SVG：Ours 模型得分 70.72，优于 GPT-4o (69.55) 和 Qwen3-235B (67.52)，证明了课程学习在结构视觉对齐上的有效性。
  • SVG Editing：Ours 模型得分 82.81，优于 GPT-4o (82.35)，接近闭源前沿。
  • Text2SVG：Ours 模型得分 63.60，与 GPT-4o (63.09) 持平，优于 Qwen3-235B (59.68)。
  • SVG Captioning：Ours 模型在基于检索的指标（BGE-M3, ROUGE）上表现最佳，但在 VLMAJ 评分上略低于部分大模型，显示出在语义流畅性上的细微差距。
• 任务难度排序：Text2SVG (最易) > SVG Editing > Sketch2SVG > SVG Captioning (最难)。

5. 意义与影响 (Significance)

1. 填补基准空白：VectorGym 是首个涵盖草图、文本、编辑和理解四个维度的真实世界 SVG 基准，特别是引入了专家级人工标注的复杂编辑和手绘草图任务，推动了领域发展。
2. 验证小模型潜力：证明了通过高质量的任务特定强化学习和课程学习，较小的开源模型（8B）可以超越甚至匹敌巨大的闭源模型，为资源受限场景下的 SVG 生成提供了新路径。
3. 评估范式革新：提出的 VLM-as-a-Judge 指标为 SVG 代码生成提供了一种更可靠、更符合人类直觉的评估标准，解决了传统像素指标无法捕捉语义和结构问题的痛点。
4. 推动设计自动化：该工作为未来的 AI 辅助设计工具（如自动将草图转为矢量图、智能修改设计稿）奠定了坚实的数据和评估基础。

总结：VectorGym 不仅发布了一个高质量的多任务基准，还通过创新的强化学习方法展示了开源模型在专业视觉代码生成领域的巨大潜力，为 SVG 生成技术的进一步突破设立了新的标杆。