CreatiPoster: Towards Editable and Controllable Multi-Layer Graphic Design Generation
CreatiPoster 是一个新颖的框架,它通过首先利用 RGBA 大型多模态模型创建精确的 JSON 图层规范,进而合成连贯的背景,从而生成可编辑的多图层图形设计,其性能超越了现有的开源和商业系统,同时提供了一个大型无版权数据集以推动 AI 辅助设计的发展。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象一下,你正试图建造一座房子,但你不是一块砖一块砖地铺设,而是要求一个机器人把一张扁平的房子图片喷绘在一面墙上。它看起来确实像一座房子,没错,但如果你想移动前门或者改变屋顶的颜色,你就做不到了。你必须把整个东西刮掉,然后重新开始。这正是目前大多数 AI 工具进行图形设计时面临的问题。它们将一切都“烘焙”成了一张单一的、扁平的图像。如果你想编辑文字或移动 Logo,AI 往往会破坏整张图片,或者根本无法做到。
要理解解决方案,请不要把图形设计看作一幅画,而要把它看作一个配方或一套指令。真正的设计师是在“图层”上工作的:一个背景图层、一个文本图层、一个照片图层等等。每个图层都是独立的,可以在不破坏其他部分的情况下进行调整。我们正在看的这篇论文探讨了如何教 AI 编写这些“配方”(称为设计程序),而不是仅仅画出一张最终的图片。它提出了一个问题:我们能否让 AI 不仅仅是吐出一张静态图像,而是构建一个每一个元素——每一行字母、每一张照片、每一种颜色——都保持可编辑性的设计?
论文的核心思想:“配方”机器人
来自中国科学技术大学等机构的研究人员开发了一个名为 CreatiPoster 的全新开源框架。他们的主要发现是,通过将图形设计视为“可编辑的设计程序合成”,他们可以创造出不仅美观而且完全可编辑的海报。与其他仅仅猜测最终图像长什么样的系统不同,CreatiPoster 编写的是一个 JSON 文件(一种计算机代码),该文件列出了设计的每一个图层,精确地告诉计算机在哪里放置文本、图像应该有多大以及使用什么风格。
以下是他们“两阶段”魔术般的运作方式,使用了简单的类比:
第一阶段:建筑师(协议生成器)
首先,AI 扮演建筑师的角色。你给它一个提示词(例如“制作一张科学博览会的海报”),也许还有一些你想包含的照片,以及画布的大小。建筑师并不直接绘制海报,而是编写一份详细的 JSON“协议”。这个协议是一份关于每个元素的指令清单:“将‘科学’这个词以粗体蓝色放在这里”,“将这张烧杯的照片放在这里,稍微旋转一点”,“将背景说明放在这里”。至关重要的一点是,这一步发生在绘制任何背景之前。这确保了你的文字拼写正确,且照片被精准地放置在你想要的位置,而不会变得模糊或扭曲。
第二阶段:装饰师(背景合成器)
一旦建筑师在清晰、透明的画布上放置好了所有的文本和照片,第二个 AI 就会介入。这个 AI 就是装饰师。它的唯一任务就是观察建筑师已经放置好的项目,并在它们“周围”绘制一个美丽的背景。因为文本和照片已经存在并受到保护,装饰师不会意外地涂抹或弄乱它们。它只是用符合设计氛围的颜色和图案填充空白区域。
他们的发现与拒绝的内容
论文明确反对了这样一种观点,即认为我们需要庞大的预制模板库(如 Canva 或 Adobe 等商业工具所使用的模板)才能做出好的设计。他们认为,依赖模板会限制创造力,并使得使用特定的自有素材变得困难。相反,CreatiPoster 从数据中学习设计的“规则”,从而能够创造独特的布局,而不需要依赖模板库。
当他们测试该系统时,发现它在多个关键领域都优于开源 AI 工具和主要的商业系统(如 Microsoft Designer 和 Canva Magic Design)。
- 文本准确性: AI 能正确拼写单词并保持字体清晰易读,而这是其他图像生成 AI 常见的失败点。
- 素材保真度: 如果你上传了一张你家狗的照片,AI 会保持你的狗原有的样子,而不是变成一只普通的狗。
- 可编辑性: 这是最大的胜利。因为输出是一个由图层组成的“程序”,你可以稍后回去修改文本、更换照片或调整整体大小,而设计依然完美。其他系统产生的是“烘焙”后的图像,一旦生成,你就无法进行任何实质性的编辑。
他们有多确定?
研究人员基于他们新的基准测试对这些结果非常有信心。他们在 45 个“仅限提示词”案例和 45 个用户提供素材的案例上对系统进行了评估。他们同时使用了自动化评分(通过 GPT-4.1)和人类志愿者来对设计的布局、色彩、风格以及对指令的遵循程度进行评分。
在这些测试中,CreatiPoster 在几乎所有类别中都高于竞争对手,尤其是在“图形风格”和“合规性”(对用户提示词的遵循程度)方面。然而,论文也诚实地指出了其局限性。他们指出,“布局”仍然是任何 AI 最难处理的部分;即使是他们最好的系统,在复杂的布局上也未能获得超过 3.0/5.0 的分数,这表明 AI 与人类设计师在极其复杂的构图中仍存在差距。他们还发现了一些反复出现的瑕疵,例如小图标发生扭曲,或者文本有时无法与图像完美对齐,他们承认这些问题仍需改进。
为什么这很重要
这项发现最酷的地方在于它为未来开启的可能性。因为设计是一套指令而非一张扁平的图片,该系统可以实现通常 AI 无法做到的事情:
- 重排布局: 你可以拿出一张为手机屏幕设计的海报,然后要求 AI“将其尺寸调整为适合广告牌的大小”,它会完美地重新排列图层,而不会破坏文本。
- 多语言支持: 它可以将设计中的文本切换为法语、日语或阿拉伯语,同时保持布局完整。
- 动画化: 由于图层是分离的,你可以轻松地将静态海报变成动态视频,只需移动各个图层即可。
简而言之,CreatiPoster 表明,AI 设计的未来不在于生成一张你无法触碰的、完美的单一图像。而是在于生成一个灵活、可编辑的“程序”,赋予你完全的控制权,让专业级的图形设计变得触手可及,无论你是谁,只要会输入提示词即可。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。