💻 computer science

LiveFigure: Generating Editable Scientific Illustration with VLM Agents

LiveFigure 是一个由视觉语言模型驱动的智能体框架，它模仿人类研究人员的多步骤工作流程，通过 PowerPoint 脚本生成完全可编辑的矢量科学插图，在出版就绪度和人类偏好方面显著优于现有基线。

原作者： Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenyang Shao, Jiahe Liu, Fengli Xu, Yong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位科学家，刚刚发现了一个绝妙的新想法。你需要绘制一张图表向全世界解释它。在过去，你得花数小时在 PowerPoint 或 Illustrator 等软件中手动拖拽方框、绘制箭头并调整字体。这极其繁琐，就像用镊子一块砖一块砖地建造房屋。

最近，AI 图像生成器（那些能从文字生成精美图片的工具）承诺能为你完成这项工作。但它们存在一个重大缺陷：它们在画布上绘制图片，然后涂上清漆封存。一旦图片生成，除非重画整幅图，否则你无法移动任何一个方框或修正一个拼写错误。如果你想把“加权和”方框向下移动，AI 只会尝试重绘整张图片，而且往往会把图片的其他部分画错。

LiveFigure 是一个改变游戏规则的新系统。它不像是在绘制一张静态图片，而是像一位超级聪明、极度有条理的建筑师，为你构建一个完全可编辑的图表模型。

其工作原理可分解为三个简单步骤：

1. “蓝图”阶段（视觉规划）

在开始建造之前，人类建筑师会观察成功的建筑，了解哪些设计行之有效。LiveFigure 也是如此。它会扫描顶级期刊中成千上万张高质量科学图表，学习其中的“通行规则”。

类比：想象你在建造树屋。与其猜测树枝该放在哪里，不如去观察那些最出色的树屋照片。你会了解到梯子通常装在左侧，窗户朝向阳光。LiveFigure 利用这种“视觉记忆”，在编写任何代码之前，先勾勒出你图表的“心理蓝图”。

2. “建造”阶段（过程生成）

这是 LiveFigure 与其他 AI 不同的地方。它不是绘制像素，而是编写代码（具体而言，是与 Microsoft PowerPoint 交互的 Python 脚本）。

类比：把其他 AI 想象成在调色板上混合颜料的画家。LiveFigure 则是一位机器人木匠，拥有一个由预制的完美部件组成的工具箱。它不会试图“猜测”如何画一个方框，而是使用一个名为 add_box() 的预测试工具。它不会猜测如何画箭头，而是使用名为 add_connector() 的工具。
“经验”技巧：有时，即使是机器人也会犯错（比如试图把锤子当螺丝刀用）。LiveFigure 会保存一本“错误日记”。如果它尝试做某件之前导致程序崩溃的事情，它会记住：“绝不再做！”这有助于它第一次就写出真正有效的代码。

3. “质检”阶段（针对性优化）

一旦机器人构建好图表，“视觉检查员”（另一个 AI）就会审视结果。

类比：想象木匠搭建了一个架子，但检查员发现一颗螺丝凸出，或者架子略微歪斜。检查员不会拆掉整个架子从头再来，而是指向那颗特定的螺丝说：“把这个顺时针转一下。”
LiveFigure 会对代码进行这些微小而精确的调整。它会修正歪斜的箭头或重叠的文本框，而无需触碰图表的其他部分。

结果：一个“乐高”式图表

最终输出不是一张扁平的图片（如 JPEG），而是一个PowerPoint 文件，其中每一个方框、箭头和单词都是独立的、可移动的对象。

为何重要：如果你想改变一个方框的颜色，只需点击它并修改颜色即可。如果你想移动整个部分，只需拖动它，箭头会自动拉伸和弯曲以跟随它。这就像是用乐高积木搭建，而不是浇筑混凝土。

论文发现

研究人员将 LiveFigure 与最先进的人工智能图像生成模型（如 Google 的"Nano Banana"和 OpenAI 的"GPT-Image"）以及传统编码工具进行了对比测试。

“修复”测试：他们要求人类对 AI 生成的图表进行修改，使其达到科学论文发表的标准。
- 其他 AI：人类需要进行约30 次以上的编辑才能修复混乱，即便如此，只有**24%**的图表质量足够可用。
- LiveFigure：人类仅需进行约17 次编辑（主要是微调），**80%**的图表可直接用于发表。
人类偏好：当人们并排观看两张图表（一张来自 LiveFigure，一张来自竞争对手）时，**60%**的情况下他们选择了 LiveFigure，因为它看起来更专业，逻辑也更合理。

简而言之

LiveFigure 不仅仅是“绘制”一张图片；它通过模仿人类专家思维方式的智能、分步过程来构建图表。它创建出你可以真正编辑、修正和完善图表，将科学插图这项艰巨任务转变为一种如同玩数字乐高般轻松的过程。

技术摘要：LiveFigure

问题陈述
科学插图对于传达复杂的方法论和概念框架至关重要，然而其创建过程仍然是一项劳动密集型工作，需要深厚的领域知识和专业设计工具的熟练运用。尽管近期的生成式图像模型在基于提示的编辑方面取得了进展，但它们本质上生成的是静态的、基于像素的光栅图像。这种范式给科学出版带来了两个主要局限：

缺乏可编辑性：光栅输出将图像视为不可分割的视觉块。修正微小的结构误差、拼写错误或布局错位需要完全通过迭代自然语言提示重新生成，这无法支持科学写作中至关重要的细粒度、可验证的编辑过程。
格式不兼容：顶级学术期刊（如《自然》、《科学》）强制要求提交矢量格式，以确保分辨率无关的缩放能力和原生可编辑性。现有的生成式模型无法生成矢量图形，而当前的变通方案（如图层分解或基于代码的生成）要么仍基于像素，要么产生视觉上过于简单且不可编辑的输出。

方法论：认知启发的程序化构建
作者提出了 LiveFigure，这是一个由视觉 - 语言模型（VLM）驱动的智能体框架，它摒弃了端到端的像素生成，转而采用“认知启发的程序化构建”范式。该方法模仿人类专家的分阶段认知工作流：检索参考、构思蓝图、组装素材以及基于视觉反馈进行优化。该框架通过三个连续阶段运行：

基于先验归纳的视觉规划（ $\Psi_{plan}$ ）：
- 系统构建了一个来自顶级会议（ICLR、NeurIPS、ICML）的高质量方法论图像知识库。
- 检索智能体根据输入的方法论文本获取语义相关的参考图像。
- 一个 VLM 分析这些参考图像以提炼设计先验和布局结构，生成定制的结构计划和视觉蓝图。
- 素材生成模块利用基于网格的批量生成策略，为复杂实体合成风格一致的图标。
基于技能和经验的程序化图像生成（ $\Psi_{assemble}$ ）：
- LiveFigure 选择 Microsoft PowerPoint 作为输出载体，因其在研究中的普及性、开放的 XML 结构以及通过 python-pptx 实现的程序化可访问性。
- 系统不使用原始代码提示，而是利用包含经过预验证的高级语义函数（如连接器路由、嵌套文本 - 形状组合）的 标准化技能库（ $S$ ）。
- 经验注入机制融入了累积的调试约束（负向约束），以防止已知的 API 幻觉和参数错误。
- 一个自修正执行循环通过将堆栈跟踪反馈给模型以进行迭代代码优化，处理运行时错误，直到生成有效的脚本。
基于视觉诊断的针对性优化（ $\Psi_{refine}$ ）：
- 为了弥合代码逻辑与视觉感知之间的差距，一个“视觉批评家”VLM 检查渲染后的图像。
- 它识别出代码逻辑无法察觉的细微缺陷（例如元素遮挡、错位、样式不一致），并生成一份结构化的可操作问题列表。
- 系统应用增量式的代码级更新来解决这些具体问题，迭代进行直到图像达到出版标准。

主要贡献

新范式：引入“认知启发的程序化构建”，将科学图像生成从像素操作转变为分阶段的、代码驱动的工作流，确保固有的可编辑性。
LiveFigure 框架：一个实用的多智能体系统，能够生成完全可编辑的、矢量化的 PowerPoint 源文件，克服了基于光栅模型的局限性和传统基于代码工具的僵化性。
实证验证：广泛的实验表明，该框架生成的图像仅需极少的人工干预即可达到出版就绪状态。

实验结果
该框架在源自 ICLR 2024、NeurIPS 2024 和 ICML 2024 已录用论文的 300 张科学示意图数据集上进行了评估。

可编辑性：LiveFigure 实现了 80% 的出版就绪率，中位数仅需 17 次人工编辑（编辑距离）。这显著优于最强的基线模型 NanoBanana（Gemini-3-Pro-Image），后者仅为 24% 的比率。
人类偏好：在双盲配对比较中，LiveFigure 对 NanoBanana 的胜率达到了 60%，对 GPT-Image-1.5 的胜率为 69%，所有置信区间均严格超过 50% 的阈值。
质量指标：与光栅生成器相比，LiveFigure 在 内容保真度（V2 输入下的准确率：8.29，完整度：8.16）方面表现出更优越的性能，同时保持了具有竞争力的 视觉设计 评分。它在美学质量和布局灵活性方面优于基于代码的工具（如 Matplotlib、Graphviz）。
消融研究：移除技能库导致代码可执行性灾难性下降（从 83.5% 降至 40.0%），而移除经验模块则使中位数编辑距离增加了近 4 倍，证实了这两个组件的必要性。

意义与主张
本文声称，LiveFigure 通过将生成过程与像素操作解耦，从根本上解决了科学插图中的“可编辑性差距”。通过利用 PowerPoint 作为中间的可编辑矢量格式，该系统使高质量图像的创作民主化，降低了跨学科研究人员的技术门槛。作者断言，他们的方法实现了无缝的人机协作，其中 AI 处理劳动密集型的结构和空间布局任务，而将最终的审美优化留给用户。这项工作将自己定位为一种专门的智能体，能够将抽象的研究设计转化为符合出版标准且可编辑的图像，弥合了自动化研究辅助与学术出版严格视觉标准之间的鸿沟。