VFIG: Vectorizing Complex Figures in SVG with Vision-Language Models

1. 研究背景与问题 (Problem)

核心痛点：
可缩放矢量图形（SVG）是技术插图和数字设计的基础格式，具有分辨率无关性和可编辑性。然而，在实际应用中，原始的矢量源文件经常丢失，仅剩下“扁平化”的位图版本（如 PNG 或 JPEG）。

• 重建困难： 手动将位图还原为可编辑的 SVG 代码极其耗时，需要专业几何知识。
• 现有方法局限：
  • 传统方法： 基于轮廓追踪（如 Potrace, VTracer）的方法通常生成大量无意义的贝塞尔曲线路径（<path>），缺乏语义结构，难以编辑。
  • 现有 AI 方法： 现有的基于 LLM/VLM 的方法大多在简单的图标或小图表上表现良好，但在处理复杂科学图表（包含多面板布局、密集注释、层级分组、精确连接关系）时，往往无法生成结构正确、语义清晰且高保真的 SVG 代码。

关键挑战：

1. 数据稀缺： 缺乏大规模、高质量的复杂科学图表与 SVG 配对数据集。
2. 生成复杂性： 复杂图表的 SVG Token 序列极长，且包含层级结构和精确的空间对齐，单纯的全局生成难以保证一致性。
3. 评估困难： 传统的像素级指标（如 SSIM, LPIPS）无法有效衡量图表的结构完整性（如箭头连接是否正确、布局是否对齐）。

---

2. 方法论 (Methodology)

作者提出了 VFig，这是一个专为复杂图表到 SVG 转换训练的视觉 - 语言模型（VLM）家族。其核心方法论包含三个主要部分：

2.1 数据构建：VFig-Data

为了解决数据稀缺和复杂性不足的问题，作者构建了包含 6.6 万 高质量“图表-SVG"配对的大规模数据集 VFig-Data。

• 数据来源：
  1. VFig-Data-Complex-Diagrams (60k)： 从真实科学论文（arXiv）中爬取并筛选的复杂图表。采用两阶段生成管道：先由 VLM 生成结构化描述，再基于描述生成 SVG，显著提高了布局准确性。
  2. VFig-Data-Shapes-and-Arrows (6.5k)： 通过程序化生成的图表，包含多样化的形状、连接器和布局模板，用于强化模型对基本几何原语和属性的控制。
• 严格过滤：
  • 图像过滤： 剔除自然图像、数学公式、纯图表（Plot）等非结构化内容，保留结构化示意图。
  • 代码过滤： 剔除以 <path> 为主的“追踪式”SVG，强制保留语义原语（如 <rect>, <circle>, <line>），确保生成的代码具有可编辑性。

2.2 训练策略：两阶段课程学习 (Coarse-to-Fine Curriculum)

为了应对从简单原语到复杂组合的生成难度，提出了分阶段训练策略：

1. 监督微调 (SFT) 阶段：
   • 第一阶段： 在结构简单的图表（如基本形状、简单图标）上进行训练，让模型掌握原子级原语（primitive）的生成和基础布局。
   • 第二阶段： 在复杂的科学图表（VFig-Data-Complex-Diagrams）上进行微调，学习层级结构、多面板布局和复杂的语义关系。
2. 强化学习 (RL) 阶段：
   • 引入 GRPO (Group Relative Policy Optimization) 算法。
   • 奖励机制： 不依赖像素级损失，而是使用基于渲染的视觉反馈。将生成的 SVG 渲染为图像，利用 VLM Judge (Gemini-3-Flash) 根据四个维度打分：
     • 存在性 (Presence)： 元素是否齐全。
     • 布局 (Layout)： 空间排列和对齐是否准确。
     • 连接性 (Connectivity)： 箭头和线条是否连接了正确的端点（这对科学图表至关重要）。
     • 细节 (Details)： 文本准确性和样式（字体、颜色、描边）。
   • 这种奖励机制直接优化了视觉保真度和结构正确性，解决了 SFT 仅优化 Token 概率而忽略渲染效果的问题。

2.3 评估基准：VFig-Bench

提出了首个针对复杂科学图表的综合性评估基准 VFig-Bench，包含 392 个真实科学图表。

• 多粒度指标：
  • 像素级： SSIM, LPIPS, VisualSim (DINO/CLIP/SigLIP 嵌入相似度)。
  • 组件级： 基于规则的箭头和形状匹配（针对程序化数据）。
  • 图像级： 基于 VLM (Gemini/GPT) 的评分，评估整体构图质量。
• 代码质量指标： SVG 清洁度（Cleanliness，即语义原语占比）和渲染成功率。

---

3. 主要贡献 (Key Contributions)

1. VFig-Data 数据集： 首个专为结构化科学图表生成设计的大规模数据集（66k 样本），包含真实论文图表和程序化生成数据，填补了复杂图表数据的空白。
2. VFig 模型与训练范式： 提出了一种结合“由粗到细”的课程学习 SFT 和“渲染感知”强化学习（RL）的框架。证明了 RL 在优化结构一致性和细粒度细节方面优于纯 SFT。
3. VFig-Bench 基准与评估体系： 建立了包含多粒度指标的综合评估体系，特别是引入了基于 VLM 的结构化评分，比传统像素指标更能反映图表的真实质量。
4. SOTA 性能： 在开源模型中达到最先进水平，性能可与 GPT-5.2 等闭源大模型相媲美。

---

4. 实验结果 (Results)

在 VFig-Bench、Molmo2-Diagram 和 SVG-Diagrams 三个基准测试中，VFig 表现优异：

• 综合性能： VFig (SFT+RL) 在所有三个数据集上均取得了最佳的 VLM-Judge 分数（0.829），在 Clean（代码清洁度）和 Render（渲染成功率）指标上也大幅领先其他开源模型。
• 对比闭源模型： 在 VFig-Bench 上，VFig 的表现与 GPT-5.2 和 Gemini-3-Pro 相当，甚至在某些结构指标上更优，证明了通过高质量数据和结构化训练可以缩小与超大参数闭源模型的差距。
• 对比传统方法： 相比 VTracer 等传统追踪工具，VFig 生成的 SVG 具有极高的语义清洁度（Clean score 高），且渲染成功率接近 100%，而传统方法生成的代码往往难以编辑。
• 消融实验结论：
  • 课程学习： 两阶段训练显著提高了渲染成功率和结构稳定性。
  • RL 奖励： 基于 VLM 的结构化奖励（Presence, Layout, Connectivity, Details）比单纯加入像素级损失（Pixel Loss）更有效，后者虽然可能提升 SSIM，但会损害结构质量。
  • 模型规模： Qwen3-VL-8B 略优于 4B，但 4B 模型在效率和代码清洁度上表现更佳，是性价比最高的选择。

---

5. 意义与影响 (Significance)

• 技术突破： 证明了 Vision-Language Models 在处理高度结构化、语义复杂的科学图表生成任务上的巨大潜力，超越了传统的轮廓追踪和简单的图标生成模型。
• 实际应用价值：
  • 降低门槛： 使得研究人员和设计师能够轻松将旧有的位图图表转换为可编辑的矢量格式，加速修订和复用工作流。
  • 知识保留： 能够恢复丢失的原始设计意图（如层级结构、连接关系），这对于科学文献的长期保存和再利用至关重要。
• 方法论启示： 提出了“数据清洗（去路径化）+ 课程学习 + 渲染感知 RL"的范式，为其他需要生成结构化代码（如 CAD、电路图等）的任务提供了参考。
• 开源贡献： 作者公开了模型、数据和评估工具，推动了可编辑科学图表生成领域的进一步发展。

总结： VFig 通过构建高质量数据集、设计分阶段训练策略以及引入基于视觉反馈的强化学习，成功解决了复杂科学图表矢量化这一长期难题，实现了开源模型在结构保真度和可编辑性上的重大突破。