🤖 AI

Scientific Graphics Program Synthesis via Dual Self-Consistency Reinforcement Learning

该论文针对科学图形程序合成中数据质量与评估标准不足的瓶颈，提出了包含高质量数据集 SciTikZ-230K、多维基准 SciTikZ-Bench 及新型双重自一致性强化学习优化范式的闭环框架，其模型 SciTikZer-8B 在性能上超越了 Gemini-2.5-Pro 和 Qwen3-VL-235B 等顶尖模型。

原作者： Juekai Lin, Yun Zhu, Honglin Lin, Sijing Li, Tianwei Lin, Zheng Liu, Xiaoyang Wang, Wenqiao Zhang, Lijun Wu

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Juekai Lin, Yun Zhu, Honglin Lin, Sijing Li, Tianwei Lin, Zheng Liu, Xiaoyang Wang, Wenqiao Zhang, Lijun Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“教 AI 画科学图纸”**的有趣故事。

想象一下，你手里有一张非常复杂的科学电路图或者物理示意图（就像一张精美的手绘地图），你想把它变成一段电脑代码（TikZ 语言），这样以后你想修改里面的电阻大小、移动线条位置，或者重新打印，只需要改代码就行，不用重新画。

这就好比把一张照片还原成乐高积木的搭建说明书。

但是，现在的 AI（大模型）在做这件事时遇到了两个大麻烦：

数据太乱：网上找到的“照片 - 说明书”配对很多是错的，或者说明书本身就有错别字，拼不起来。
要求太严：科学图纸对位置要求极高，差一毫米都不行。AI 经常“脑补”出一些看起来像那么回事，但一运行就报错的代码。

为了解决这些问题，作者们搞了一套**“三位一体”**的超级方案：

1. 打造“超级教官”：SciTikZ-230K 数据集

以前的数据像是一堆从垃圾堆里捡来的乐高说明书，有的缺页，有的拼错了。
作者们建了一个**“执行中心数据引擎”。你可以把它想象成一个严厉的质检工厂**：

主动修复：如果拿到的说明书缺了零件（比如缺少必要的包），AI 会自动去补全，而不是直接扔掉。
反复试错：让 AI 拿着说明书去拼（编译），如果拼不起来（报错），就根据错误日志让 AI 自己修，直到拼成功为止。
严格筛选：最后，只有那些拼得完美、和图片一模一样、且逻辑通顺的“说明书”才会被留下。
最终，他们整理出了 23 万份 高质量的“照片 - 代码”配对数据，这就是 SciTikZ-230K。

2. 发明“双保险”训练法：双重自一致性强化学习 (DSC)

这是论文最核心的创新，也是最巧妙的地方。

通常训练 AI 画图纸，是让它画完，然后拿画出来的图和原图比一比（视觉奖励）。但这有个问题：AI 可能会“作弊”，比如画一堆乱码，但刚好看起来像原图，或者代码虽然能运行但结构很烂。

作者引入了一个**“回环验证”机制，就像“翻译官”和“翻译回译”**的游戏：

第一步（看图写代码）：AI 看着原图，写出代码 A。
第二步（代码画图）：把代码 A 运行，生成一张新图。
第三步（看图写代码·回译）：让 AI 看着这张新图，再写一次代码，变成代码 B。
第四步（找不同）：如果 AI 真的懂了，代码 A 和代码 B 应该长得差不多。如果代码 A 是乱编的，代码 B 就会完全不一样。

比喻：
这就好比你让一个学生（AI）背一首诗（看图写代码），然后让他把这首诗画成画（代码画图），再让他看着画把诗背出来（回译）。如果学生真的背熟了，他背出来的诗（代码 B）应该和原诗（代码 A）几乎一样。如果他只是瞎蒙的，再背一遍肯定就乱了。
通过这种**“双重自一致性”**，AI 被迫不仅要画得像，还要逻辑通顺、结构严谨，不能靠“视觉欺骗”来糊弄。

3. 建立“高考题库”：SciTikZ-Bench

为了证明自己的方法真的牛，作者们还自己出了一套**“科学图纸高考题”**（SciTikZ-Bench），包含 600 多道从简单几何到复杂电路的各种题目，用来公平地测试 AI 的水平。

结果如何？

他们训练出了一个叫 SciTikZer 的 AI 模型（有 4B 和 8B 两个版本，8B 大概有 80 亿参数）。

战绩惊人：在测试中，这个 80 亿参数的模型，竟然打败了那些几百亿甚至上千亿参数的“超级大模型”（比如 Gemini-2.5-Pro, Qwen3-VL-235B）。
更懂行：它生成的代码不仅能运行，而且结构清晰，就像专业工程师写的一样，而不是 AI 胡乱拼凑的。

总结

简单来说，这篇论文就是：

把垃圾数据变黄金（通过自动修复和严格筛选，造出了高质量数据集）。
教 AI 学会“自我反省”（通过“看图写码 - 码画图 - 看图再写码”的闭环，让 AI 不仅画得像，还要逻辑对）。
小模型干翻了大模型（用更聪明的训练方法，让一个小模型在画科学图纸这件事上，超越了那些笨重的大模型）。

这就像是一个聪明的工匠，通过严格的学徒训练和自我纠错机制，学会了如何精准地复刻复杂的科学图纸，甚至超过了那些只会死记硬背的“老学究”。

1. 研究背景与问题定义 (Problem)

核心任务：图形程序合成（Graphics Program Synthesis），即将静态的科学示意图（如电路图、流程图、几何图）逆向工程为可编辑的、符号化的代码（本文聚焦于 TikZ/LaTeX 语言）。

面临的挑战：
尽管多模态大语言模型（MLLMs）在代码生成方面取得了进展，但在科学图形合成领域仍面临巨大困难，主要原因包括：

TikZ 的严格性：与允许近似布局的统计绘图库不同，TikZ 要求精确的坐标、显式的符号原点和严格的空间定义。微小的错误（如坐标偏移、包缺失）都会导致编译失败或渲染出结构错误的图形。
数据质量缺口 (Data Quality Gap)：现有的图像-TikZ 语料库通常缺乏严格的可执行性（无法编译）或视觉对齐度低（生成的代码无法还原原图）。
评估缺口 (Evaluation Gap)：缺乏能够同时评估结构逻辑（代码质量）和视觉保真度（渲染效果）的综合基准。
方法局限：现有的监督微调（SFT）过于僵化，而传统的视觉强化学习（RL）容易陷入“奖励黑客”（Reward Hacking），即生成视觉上相似但结构退化或不可编辑的代码。

2. 核心方法论 (Methodology)

作者提出了一个闭环框架，包含三个核心组成部分：高质量数据集构建、评估基准建立以及一种新颖的强化学习范式。

2.1 数据引擎：SciTikZ-230K

为了解决数据质量问题，作者构建了以执行（Execution-Centric）为核心的数据引擎，将原始数据转化为高质量、严格可编译的语料库：

来源聚合：整合 HuggingFace、StackExchange 和 arXiv 等来源的原始数据。
主动修复 (Active Remediation)：
- 利用 MLLM（Qwen3-VL）将非独立片段重构为自包含的 LaTeX 文档。
- 沙盒执行与诊断修复：在沙盒中运行编译，若失败，将错误日志反馈给 MLLM 进行针对性修复（如补全缺失的宏包、修正语法）。此过程挽救了约 60% 的失败样本。
由粗到细的净化 (Coarse-to-Fine Purification)：
- 启发式清洗：过滤超长序列、冗余样本和外部依赖。
- 保真度裁决：利用 MLLM 作为裁判（Judge），从正确性、布局、可读性、科学合理性、视觉复杂度五个维度打分，筛选出高质量样本。
成果：构建了包含 230K 个高质量样本的 SciTikZ-230K 数据集，覆盖 11 个科学领域。

2.2 评估基准：SciTikZ-Bench

构建了包含 611 个经过人工验证的样本的基准测试集。
涵盖从基础几何图形到复杂分层示意图的多种难度（Easy, Medium, Hard）。
评估指标包括：编译成功率、视觉保真度（SigLIP, CLIP, LPIPS, SSIM, DreamSim）和代码质量（CrystalBLEU, Token Edit Distance）。

2.3 算法核心：双重自一致性强化学习 (Dual Self-Consistency RL, DSC)

这是本文的核心创新，旨在解决视觉对齐与结构逻辑之间的平衡问题。训练过程分为两个阶段：

阶段 1：视觉保真度对齐 (Visual Fidelity Alignment)
- 使用 GRPO (Group Relative Policy Optimization) 算法。
- 奖励机制：
  - 执行门控奖励：编译成功给予正奖励，失败给予重罚。
  - 多粒度视觉奖励：结合 SigLIP（语义对齐）和 LPIPS（结构/感知精度），确保生成的图像在像素和语义层面与原图一致。
阶段 2：自一致性精炼 (Self-Consistency Refinement)
- 引入往返验证 (Round-Trip Verification) 机制，灵感来源于双重学习（Dual Learning）。
- 流程：模型生成代码 $y$ $\rightarrow$ 渲染为图像 $\hat{I}$ $\rightarrow$ 模型再次将 $\hat{I}$ 反向翻译为代码 $y'$ 。
- 目标：要求 $y$ 和 $y'$ 在结构上高度一致（即 $y \approx y'$ ）。
- 奖励机制：
  - 代码一致性奖励：结合 Token 编辑距离 (TED) 和 CrystalBLEU（去除模板噪声），衡量 $y$ 与 $y'$ 的相似度。
  - 保真门控 (Fidelity-Gated)：仅当生成的图像视觉质量超过阈值时，才激活自一致性奖励，防止模型通过生成简单/退化的图像来“作弊”。
- 作用：强制模型理解 TikZ 的内在逻辑结构，而非仅仅模仿视觉外观，从而生成可编辑、结构规范的代码。

3. 主要贡献 (Key Contributions)

SciTikZ-230K 数据集：通过执行中心的数据引擎，构建了大规模、严格可编译、高视觉对齐的科学图形数据集，解决了现有数据噪声大、不可执行的问题。
SciTikZ-Bench 基准：建立了首个涵盖多领域、多难度层级，且同时评估视觉和结构质量的综合基准。
双重自一致性强化学习 (DSC-RL)：提出了一种新的 RL 范式，通过“代码 $\to$ 图像 $\to$ 代码”的闭环验证，将视觉保真度与结构逻辑统一，有效抑制了结构退化和奖励黑客行为。
SciTikZer 模型：开源了基于 Qwen3-VL 微调的 SciTikZer-4B/8B 模型，在编译成功率和视觉对齐度上均达到 SOTA。

4. 实验结果 (Results)

在 SciTikZ-Bench 和 DaTikZ-v3 上的实验表明：

超越闭源巨头：SciTikZer-8B 在编译成功率上达到 97.2%，显著优于 Gemini-2.5-Pro (88.9%) 和 GPT-5.1 (90.3%)。
超越超大参数模型：表现优于参数量大得多的 Qwen3-VL-235B (92.1%)，证明了数据质量和训练策略的有效性。
超越专用基线：在视觉保真度指标（SigLIP, LPIPS）上全面超越 DeTikZify-V2.5 等专用模型。
消融实验：
- 数据清洗（Curated Data）使编译率提升了约 5%。
- 引入 DSC 阶段后，编译率进一步提升，且 LPIPS（感知距离）显著降低，证明结构一致性得到了增强。
泛化能力：在 ChartMimic（Python 代码生成）任务上也验证了 DSC 框架的通用性。
人工评估：在盲测中，SciTikZer-8B 获得了 59% 的首选率，远超其他模型，被评价为具有更高的视觉保真度和结构正确性。

5. 意义与影响 (Significance)

科学可视化的自动化：为科研人员提供了一种将静态图表自动转化为可编辑 LaTeX/TikZ 代码的高效工具，极大地降低了修改和复用科学图表的门槛。
可解释性与可编辑性：不同于直接生成图像的模型，该方法生成的代码具有明确的语义和结构，便于人类理解和二次编辑。
方法论创新：提出的“双重自一致性”RL 框架为多模态生成任务提供了一种新思路，即利用目标域（代码）的可执行性和可逆性来约束生成过程，解决了纯视觉 RL 中常见的结构退化问题。
开源生态：开源了数据集、基准和模型，填补了该领域高质量资源和评估标准的空白，推动了科学图形合成领域的进一步发展。

总结：该论文通过构建高质量数据闭环和创新的强化学习策略，成功解决了科学图形程序合成中“可编译性”与“视觉保真度”难以兼得的难题，实现了从“看图说话”到“看图写代码”的质的飞跃。