ReDesign: Recovering Editable Design Structures from Images via Agentic Decomposition
ReDesign 是一个智能体框架，它通过迭代组合专门化工具并结合局部验证来防止误差累积，从而从位图图像中重建可编辑的设计文件，与现有基准相比实现了更卓越的可编辑性和视觉保真度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正看着一幅精美、完成度极高的画作。它很完美，但它仅仅是画布上的一张扁平图像。现在，想象一下你想改变天空的颜色，把一棵树移到另一边，或者重写背景里的一个标牌。如果你只有这幅画，你就必须刮掉油漆并重新开始，这是一个既麻烦又冒险的过程。但如果这幅画实际上是一个由独立的、可移动图层组成的数字文件呢？你只需点击天空图层，改变它的颜色，而那棵树就会保持原位。这就是“可编辑设计”的魔力。在计算机科学领域，特别是在一个被称为“计算机视觉”的领域中，研究人员正试图教会计算机观察一张扁平的图片（如截图或照片），并弄清楚如何将其重新构建为一个由这些神奇且可移动的图层组成的堆栈。巨大的挑战在于，一旦设计被压平为单一图像，计算机就失去了制作它的“配方”。它不知道哪些像素属于文本，哪些是形状，或者它们是如何堆叠在一起的。恢复这种隐藏的结构，就像是试图仅通过看一眼蛋糕切片来猜出它的配料成分一样，而且还要面对数百万个微小的细节。
这就是名为 ReDesign 的新系统发挥作用的地方。把 ReDesign 想象成一个超级聪明、极有耐心的侦探，它不会一次性去猜测整个蛋糕的配方，而是将图像视为一个需要被逐件拆解的巨大拼图。该系统使用一个“视觉-语言模型”（一种能够看图并理解语言的 AI）作为其核心大脑。这个大脑充当了项目经理的角色。它观察整幅图像，并决定：“好的，我需要将这张大图拆分成更小的部分。”它可能会说：“让我们把文本从背景中分离出来，”或者“让我们把这个形状从那个形状下方抽离出来。”
这里最巧妙的部分在于：ReDesign 不仅仅是做一个猜测并听天由命。它是像生长一棵树一样构建设计的。它以整幅图像作为树干，然后通过将图像拆分为越来越小的碎片来生长出分支。在它拆分每一块部分的每一个步骤中，它都内置了一个“优雅的验证器”。想象一位严格的老师，在学生做完每一道数学题后都会检查作业，而不仅仅是在最后才检查。如果老师发现了一个错误——比如学生不小心画了两次形状，或者留下了一个空白处——他们会立即停下来，修复那个特定的分支，然后继续进行。这防止了小错误堆积起来并在后期毁掉整个项目。
研究人员在来自流行设计工具 Figma 的 909 个真实世界设计文件的庞大集合上测试了这个系统。他们不仅检查图片看起来是否正确，还检查它是否真正具有“可编辑性”。他们提取了 14,796 条具体的指令，例如“移动这个文本框”、“改变这个颜色”或“旋转这个形状”，并尝试在 ReDesign 重建的设计上执行这些操作。结果令人印象深刻：与其它方法相比，ReDesign 能更好地让用户进行这些更改而不破坏设计。虽然其他系统经常会产生混乱，导致进行的编辑影响到了错误的部位，但 ReDesign 保持了内容的整洁与精准。
论文还发现，这种“生长树”的方法速度惊人。因为 AI 可以同时处理树的不同分支（就像有多名工人同时建造房子的不同部分一样），它完成任务的速度比那些试图按顺序一步步线性执行的系统快了多达 7.1 倍。
简而言之，ReDesign 表明，通过将复杂任务分解为结构化的树，并在每一步都进行检查，我们可以将扁平、不可更改的图像转变为灵活、可编辑的设计。它表明，尽管将一张图片还原回分层文件是一个棘手的难题，但采用这种细致、循序渐进的方法比试图匆忙完成或一次性盲目猜测效果更好。该系统不仅制作了一张漂亮的图片；它构建了一个你可以真正去玩耍、移动和改变的图片，就像真正的设计师所做的那样。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。