Feynman: Knowledge-Infused Diagramming Agent for Scalable Visual Designs

本文介绍了名为 Feynman 的知识增强型智能体，它通过结合领域知识枚举、代码规划及 Penrose 渲染系统，高效生成大规模高质量图文对齐的图表数据集，并构建了用于评估视觉语言模型推理能力的 Diagramma 基准。

要点

这篇论文介绍了一个名为 FEYNMAN 的智能助手，它的主要任务是像一位超级高效的“科学插画师”一样，自动绘制成千上万张既准确又美观的教科书级图表。

为了让你更容易理解，我们可以把这项技术想象成**“用乐高积木搭建知识城堡”**的过程。

1. 为什么要发明 FEYNMAN？（痛点）

现在的 AI（比如 GPT-4V 或 Gemini）虽然很聪明，能看懂图片、能聊天，但在画科学图表时却经常“翻车”：

• 画得像，但内容错：它们能画出漂亮的图，但里面的化学键、数学公式或者逻辑关系经常是乱画的（就像画了一只猫，但猫长了 5 条腿）。
• 懂内容，但画得烂：如果让 AI 直接写代码画图，它往往写不出能运行的代码，或者画出来的图乱七八糟，根本没法看。
• 数据太缺：训练 AI 需要海量的“图 + 文字”配对数据，但网上高质量、逻辑严谨的科学图表太少了。

2. FEYNMAN 是怎么工作的？（核心流程）

FEYNMAN 不像普通 AI 那样试图“一口气”把图和文字都生成出来。它把任务拆解成了四个步骤，就像一个专业的绘图工作室在运作：

第一步：头脑风暴（枚举知识）

• 比喻：就像一位老教授在黑板上列提纲。
• 做法：FEYNMAN 先不画图，而是先问 AI：“关于‘化学反应’，你能想到哪些重要的知识点？”AI 会列出很多点子（比如：甲烷燃烧、氧化还原反应等）。
• 目的：确保内容是准确、丰富的，先不管长什么样。

第二步：制定蓝图（代码规划）

• 比喻：就像建筑师把教授的提纲画成施工图纸。
• 做法：FEYNMAN 把刚才的知识点，翻译成一种特殊的“绘图语言”（叫 PENROSE 语言）的逻辑计划。它不直接画像素，而是写指令：“这里放一个氢原子，那里放一个氧原子，它们之间用单键连接”。
• 目的：把抽象的知识转化为具体的结构指令。

第三步：反复打磨（迭代优化）

• 比喻：就像艺术总监拿着初稿，找一群挑剔的评委（其他 AI 模型）来打分。
• 做法：
  1. 根据蓝图生成第一版图。
  2. 把图发给“评委 AI"们看。评委们会挑刺：“这个标签看不清”、“原子位置不对”、“太乱了”。
  3. FEYNMAN 根据批评意见修改代码，重新画图，直到评委满意为止。
• 目的：确保质量，把错误消灭在萌芽状态。

第四步：自动渲染（最终呈现）

• 比喻：就像3D 打印机，把图纸变成实物，而且每次打印出来的颜色、角度都稍微有点不同。
• 做法：使用一个叫 PENROSE 的系统，把最终的代码变成图片。
• 神奇之处：即使是用同一份“知识蓝图”，PENROSE 也能通过数学优化，生成几十种不同布局、不同风格的图。这就像同一个故事，可以画出漫画版、油画版、素描版，但讲的都是同一个道理。

3. 这个系统带来了什么成果？（成就）

• 海量数据工厂：FEYNMAN 以极低的成本（不到 400 美元），自动生成了 10 万张 高质量的“图 + 文字”配对数据。这相当于给未来的 AI 教育了海量的“教科书”。
• 新考试（DIAGRAMMA）：作者用这些新生成的图，出了一套全新的考试题（DIAGRAMMA 基准），用来测试现在的 AI 到底能不能看懂科学图表。
• 测试结果很扎心：在测试中，即使是目前最顶尖的 AI（如 GPT-4o, Claude 3.5），在理解这些图表时，正确率也往往只有 50%-60% 左右。这说明AI 在“看图说话”和“逻辑推理”方面还有很长的路要走。

4. 总结

FEYNMAN 就像是一个不知疲倦的“知识翻译官” + “绘图大师”。
它把“知识”和“画图”这两件难事拆分开，先用大模型的知识库把内容理清楚，再用专业的绘图工具把图画好，最后通过“自我批评”来保证质量。

这项工作的意义在于：它不仅帮我们制造了训练 AI 的“燃料”（数据），还造出了一套“试金石”（新基准），让我们清楚地看到，现在的 AI 虽然能聊天，但在严谨的科学视觉推理上，还像个刚上幼儿园的孩子，需要更多的训练和更聪明的方法。

技术摘要

1. 研究背景与问题 (Problem)

核心挑战：
尽管多模态大语言模型（MLLMs）在通用基准测试中取得了显著进展，但在理解、使用和生成科学图表方面仍存在严重缺陷。现有的模型往往难以处理抽象的数学或科学图表，表现为：

• 视觉感知差： 无法准确识别图结构（如节点连接、拓扑关系）。
• 组合理解缺失： 难以理解视觉属性、关系和排序。
• 生成质量低： 现有的生成方法（如扩散模型）生成的图像虽然美观但缺乏准确的科学概念；而基于代码生成的方法（如 TikZ）则面临语法复杂、布局单一和难以扩展的问题。

数据瓶颈：
训练高性能的视觉 - 语言模型需要大量高质量的“图像 - 文本”对齐数据。然而，互联网上富含知识且对齐良好的科学图表数据非常稀缺。现有的合成数据方法要么侧重于文本增强，要么生成的图像缺乏科学准确性。

研究问题：

1. 能否在大规模上生成合成的“图表 - 描述”对？
2. 能否将知识提取（Knowledge Elicitation）与视觉生产（Visual Production）解耦，以解决现有模型在一步完成所有任务时的失败问题？

---

2. 方法论 (Methodology)

论文提出了 FEYNMAN，一个基于智能体（Agent）的可扩展图表生成流水线。其核心创新在于利用大语言模型（LLM）的知识能力，并通过 PENROSE 系统实现高质量的视觉渲染。

2.1 核心架构：四步流水线

FEYNMAN 的工作流程包含四个关键步骤：

1. 知识枚举 (Idea Step):

   • 利用 LLM 根据特定领域（如化学、数学、计算机科学）枚举具体的知识点（"Ideas"）。
   • 例如：在化学领域，列出重要的化学反应或分子结构。
   • 目的： 将领域知识从视觉设计中解耦出来，确保内容的科学性和多样性。

2. 代码规划 (Plan Step):

   • 针对每个知识点，LLM 制定将其转化为视觉元素的计划。
   • 模型被提供 PENROSE 语言的文档和示例，学习如何将抽象概念映射到 PENROSE 的 Substance（物质/概念层）代码中。
   • 关键点： 此步骤仅生成逻辑规划，不直接生成可运行代码，为后续生成奠定基础。

3. 迭代视觉优化 (Iterate Step - Iterative Visual-Refine):

   • 这是 FEYNMAN 的核心循环机制。
   • 生成与编译： 代理尝试编写 PENROSE 程序，并将其编译为图像。
   • 视觉法官 (Visual Judges)： 引入一组多模态大模型（如 GPT-4o, Claude-3.5 等）作为“法官”，对生成的图像进行评分和反馈。评分标准包括：正确性、关系准确性、文本可读性、简洁性等。
   • 反馈循环： 如果图像未通过评分或编译失败，法官提供的反馈会被送回 LLM 进行修正，直到满足质量阈值或达到最大迭代次数。
   • 去重： 使用基于 Levenshtein 距离的算法对生成的 Substance 代码进行去重，确保知识多样性。

4. 渲染 (Render Step):

   • 使用 PENROSE 系统渲染最终的 Substance 代码。
   • PENROSE 的优势： 它将概念（Substance）与视觉样式（Style）分离。它通过基于优化的布局引擎（解决约束优化问题），在保持语义不变的前提下，随机生成多种不同的布局变体。这使得同一组概念可以生成视觉上多样但语义一致的图表。

2.2 数据生成与基准构建

• 数据合成： 利用上述流程生成了超过 10 万对高质量的“图表 - 描述”对。
• DIAGRAMMA 基准： 从生成的数据中人工筛选并构建了一个新的视觉推理基准 DIAGRAMMA，包含 1,058 道多项选择题，涵盖数学、计算机科学、科学等 6 个学科。

---

3. 关键贡献 (Key Contributions)

1. FEYNMAN 智能体： 提出了首个能够大规模生成“知识增强型”图表的代理系统。它成功解耦了知识提取与视觉生产，实现了教科书级别的图表生成。
2. 大规模数据集： 使用 GPT-4o-mini 以极低的成本（<400 美元）和 Token 消耗，生成了 106,930 个对齐良好的图表 - 描述对。
3. DIAGRAMMA 基准： 发布了一个全新的、完全由 AI 生成的视觉推理基准，用于评估 MLLM 在科学图表理解方面的能力。
4. 可扩展性分析： 通过消融实验和生产规模分析，证明了该流水线在不同知识密度领域的可扩展性，并揭示了知识规划（Knowledge Planning）和代码规划（Code Planning）对生成质量的关键作用。

---

4. 实验结果 (Results)

4.1 数据集规模与成本

• 生成了 10,693 个独特的 Substance 程序，每个程序通过 PENROSE 渲染出 10 种不同的视觉变体，总计 106,930 张图表。
• 总成本控制在 400 美元 以下，输入 Token 约 14.7 亿，输出 Token 约 4660 万。

4.2 DIAGRAMMA 基准评估

在 DIAGRAMMA 上对 17 个 最先进的 MLLM（包括 GPT-4o, Claude-3.5, Gemini-1.5, Llama-3.2-VL 等）进行了零样本（Zero-shot）评估：

• 模型表现： Claude-3.5-Sonnet 表现最佳，总体准确率为 59.64%，在科学和常识图表上表现尤为突出。
• 模型规模效应： 随着模型参数量的增加，准确率普遍提升，验证了基准的有效性。
• 难点领域： 计算机科学（图推理） 是所有模型中最难的领域，准确率普遍较低，印证了现有模型在图结构理解上的短板。
• 异常发现： Gemini-1.5 Flash 在 DIAGRAMMA 上的表现优于更昂贵的 Gemini-1.5 Pro，这可能与基准的“新鲜度”（Freshness）有关，大模型可能更倾向于拒绝回答分布外（OOD）问题。

4.3 消融实验

• 知识规划 (KP) + 代码规划 (CP) + 早期停止 (S)： 这种组合获得了最高的法官评分（65.4）和最佳的编译成功率。
• KP 的重要性： 如果没有显式的知识规划，生成图表的多样性会大幅下降，且编译成功率与最终产出率之间的差距变大。
• CP 的作用： 代码规划显著减少了迭代轮次，降低了生成成本。

4.4 对比实验

• 与 AUTOMATIKZ（基于 TikZ 的生成）和 Flux-Pro（扩散模型）相比，FEYNMAN 在生成可阅读文本、准确表达科学概念以及布局多样性方面均具有显著优势。扩散模型容易产生幻觉，而 TikZ 方法难以处理复杂的布局优化。

---

5. 意义与影响 (Significance)

1. 解决数据稀缺问题： 提供了一种经济、可扩展的方法来合成高质量的科学图表数据，填补了多模态 AI 训练数据的空白。
2. 提升模型推理能力： DIAGRAMMA 基准为评估和推动 MLLM 在视觉推理、图结构理解和科学概念掌握方面的能力提供了新的标准。
3. 方法论创新： 证明了“知识提取”与“视觉生成”解耦的范式是解决复杂图表生成问题的有效途径。利用 PENROSE 的优化布局引擎，成功解决了传统代码生成方法中布局僵化的问题。
4. 开源贡献： 论文计划开源数据集、基准和完整的代理流水线，促进社区在科学可视化与 AI 结合领域的研究。

总结：
FEYNMAN 项目通过结合 LLM 的广博知识与 PENROSE 系统的严谨视觉优化，成功构建了一个能够大规模生产高质量科学图表的智能体。这不仅解决了训练数据匮乏的痛点，还通过 DIAGRAMMA 基准揭示了当前多模态大模型在视觉推理方面的具体短板，为未来的模型改进指明了方向。