技术摘要：DisciplineGen-1M

问题陈述

目前的图像生成与编辑模型在生成具有美感的自然图像方面取得了显著成功。然而，在处理知识密集型图表（例如数学、物理、化学、生物学等领域）的生成或编辑任务时，这些模型仍然不够可靠。在这些学科语境下，正确性取决于精确的符号结构、空间关系和学术概念，而非仅仅是视觉上的合理性。符号、标签或分子基团的一个微小错误都可能导致整个结果失效。

现有的图像生成与编辑数据集主要侧重于自然图像、艺术品或通用世界知识（如 WISE、RISE）。虽然存在一些专门的数据集（如 StructVisuals、TextAtlas5M），但它们往往缺乏多学科覆盖范围、联合文本生成图像（T2I）与编辑监督，或显式的推理与知识标注。目前极度缺乏大规模、结构化的数据集来训练模型处理学术视觉创作中的严苛约束。

方法论

1. 数据构建：DisciplineGen-1M

作者引入了 DisciplineGen-1M，这是一个包含 120 万个样本 的百万级数据集，涵盖十个学科：数学、物理、化学、生物、地理、计算机科学、经济学、历史、音乐和体育。该数据集同时支持 T2I 生成与图像编辑。

为了应对学术图像的异质性，作者设计了一个结合四种互补流水线的可扩展框架：

• 矢量图形渲染（SVG 与 TikZ）：
  • SVG 分支： 用于生物、物理和经济学。它构建了映射到模板的结构化语义实例（节点、关系、曲线）并渲染为 SVG。这实现了确定性的重新渲染以及对语义编辑（例如移除标签、移动曲线）的显式控制。它还利用 Web 图像初始化，由 Gemini-3-Flash 从候选图像中生成 SVG 代码。
  • TikZ 分支： 针对生物、地理、物理、化学、CS 和经济学。它使用一个包含 1,346 个知识点的种子库，将其扩展为绘图蓝图并转化为可编译的 TikZ 代码。通过“编译器在环”（compiler-in-the-loop）修复过程来修正 LaTeX 错误，并使用视觉语言模型（VLM）评判员来过滤正确性、清晰度和完整性。通过将标签替换为占位符并重新编译来实现编辑。
• 基于 OCR 的编辑：
  • 针对带有信息标签的教育类图表。使用 PP-OCR v5 提取文本实例和边界框。VLM 选择适合遮罩（masking）的区域（拒绝模糊或不重要的文本）。遮罩后的图像作为输入，原图作为真值（ground truth），并由 VLM 生成编辑指令。
• 大规模 T2I 数据过滤：
  • 过滤开源教育图像池（如 K12、MV-MATH）。该流水线应用 pHash 去重、分辨率过滤和 OCR 预筛选，以移除以文本为主或依赖特定语言的图像。剩余图像由 Qwen3-VL-8B 根据学科相关性、图表性质、视觉复杂度和领域知识等维度进行评分。
• 专门的程序化合成：
  • 在网络数据稀缺的领域使用特定领域的引擎进行数据合成。
    • 数学： 使用 Matplotlib、MathCanvas、GeoGebra 进行函数图像、几何图形和立体变换。
    • 化学： 使用 RDKit 和 Indigo 进行分子生成和反应方程式。
    • 计算机科学： 使用 Graphviz 和 Matplotlib 生成树、图和有限状态机。
    • 历史： 使用 Wikimedia Commons 和底图生成时间轴和地图。
    • 音乐： 使用 IrishMAN ABC 曲调和 LilyPond 生成乐谱和钢琴卷轴。
    • 体育： 使用国际象棋/象棋记录、围棋 SGF 以及营养数据进行棋类及战术分析。

2. 模型架构

基于 DisciplineGen-1M，作者引入了一个学科启发式推理生成模型：

• 推理模块： Qwen3-VL-8B 将隐性的学科请求转换为显性的推理计划，识别相关的知识、目标元素和结构变化。
• 生成模块：
  • T2I： Qwen-Image-2512。
  • 编辑： Qwen-Image-Edit-2511。
• 训练策略： 模型通过在 DiT 主干上使用 LoRA（低秩自适应）进行适配。训练采用带有动态分辨率加载的 FlowMatch SFT 损失。推理模块保持冻结，而图像生成器进行微调。

核心贡献

1. 可扩展框架： 一种结合了矢量渲染、基于 OCR 的编辑、程序化合成和大规模过滤的新颖数据构建框架，用于产生高质量、结构化的学术视觉内容。
2. DisciplineGen-1M 数据集： 首个百万规模（1.2M）的多学科视觉生成数据集，涵盖十个不同学术领域的 T2I 与编辑，并带有结构化监督。
3. 最先进的性能： 证明了利用该数据集适配开源生成器，可以在学科特定基准测试中取得开源模型中的 SOTA 结果，并在更广泛的推理任务中表现出显著的泛化能力。

实验结果

学科特定基准测试

• GenExam (T2I 生成)： 该模型实现了 51.4 的整体宽松得分（relaxed score），在开源模型中排名第一。它超越了 Qwen-Image-2512 15.6 分，并超过 FLUX.2 dev 8.5 分。这种提升在十个学科中是一致的，在化学、经济学、音乐、CS 和历史领域增益尤为显著。
• GRADE (图像编辑)： 编辑模型达到了 58.7 的整体宽松得分，超过了最佳开源基线（DreamOmni）14.4 分，并超过 Qwen-Edit-2511 28.7 分。其提升广泛分布于物理、化学、数学、地理、生物、CS 和历史领域。

通用推理基准测试

• WISE (世界知识 T2I)： 该模型得分为 0.66，优于 Qwen-Image-2512 0.16 分。在空间、生物、物理和化学类别中的提升最为强劲，表明结构化知识向涉及科学约束的世界知识任务的迁移。
• RISE (推理驱动编辑)： 该模型实现了 26.4 的准确率，优于 Qwen-Image-Edit-2511 7.0 分和 BAGEL (thinking) 10.8 分。其整体得分显著超过了最强的闭源基线，这主要得益于在时间、因果和空间推理方面的提升。

定性分析

视觉对比显示，与基线模型相比，所提模型能更好地保留关键的结构约束（例如分子连接性、图拓扑、音乐记谱法），而基线模型往往会产生视觉上合理但结构上错误的输出。

意义与主张

论文声称，大规模结构化学术视觉数据是实现从“美学合理性”向“可验证的知识驱动视觉创作”跨越的关键要素。

作者断言：

1. 在多学科、结构化数据上进行训练，不仅能提高视觉保真度，还能提高遵循学科特定约束（如符号表示、空间关系）的能力。
2. 这种结构化监督带来的益处不仅限于特定的学术领域，还扩展到了通用的推理驱动生成与编辑，特别是在需要空间、因果或科学推理的任务中。
3. 虽然开源模型与闭源模型之间仍存在差距，但 DisciplineGen-1M 显著缩小了这一差距，验证了显式知识约束和配对结构化监督对于学术视觉创作的效用。

作者公开发布了数据集、训练好的模型以及数据策展流水线的源代码，以确保可复现性。