ControlGUI: Guiding Generative GUI Exploration through Perceptual Visual Flow
本文提出了一种名为 ControlGUI 的基于扩散模型的界面草图生成方法，通过支持提示词、线框图和视觉流三种输入方式的灵活组合，实现了低 effort 下对广阔设计空间的高效探索与多样化低保真方案生成。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 ControlGUI 的新工具，它就像是一位**“超级设计助手”，专门帮助设计师在构思网站或 APP 界面（也就是 GUI）的最初阶段**，快速、轻松地画出各种各样的草图。
为了让你更容易理解，我们可以把设计一个 APP 界面想象成**“装修房子”**。
1. 以前的痛点：要么太自由，要么太死板
- 传统方法（像手绘草图）： 设计师得自己一笔一笔画。这很费时间，而且一旦画错了，改起来很麻烦。就像你想换个沙发位置，得把墙都拆了重画。
- 早期的 AI 工具（像只会听指令的机器人）： 你告诉 AI“我要一个卖鸡尾酒的网站”，它确实能生成图，但生成的东西往往**“长得不像样”**。
- 有时候它把“购买按钮”画到了屏幕最底下（布局错了）。
- 有时候它生成的图片虽然好看，但完全没按你心里的顺序让人看（比如你想让人先看价格，再看图片，它却让人先看图片）。
- 比喻： 就像你让一个装修工人“给我弄个温馨的客厅”，他可能给你弄个温馨的，但把床放客厅中间，或者把电视装在天花板上。
2. ControlGUI 的魔法：三管齐下
ControlGUI 的核心创新在于它不再只靠“说话”（文字提示），而是允许你同时使用三种方式来指挥它，就像给装修工人提供了三样工具：
- 文字提示 (Text Prompt)： 就像你对工人说：“我要一个热带风情的鸡尾酒网站”。（决定风格）
- 线框图 (Wireframe)： 就像你给工人一张简单的户型草图，上面画着：“这里放沙发，那里放电视，窗户在左边”。（决定布局，确保按钮、图片放对地方）
- 视觉流向 (Visual Flow)： 这是最厉害的新功能！就像你给工人画了一条**“视线引导线”，告诉他：“客人进门后，眼睛应该先看海报，再看价格，最后看购买按钮**"。（决定用户的注意力顺序）
比喻：
以前你只能口头描述，工人全凭想象瞎猜。现在，你可以一边说风格，一边递上户型图，再画一条视线引导线。工人（AI）就能精准地画出既符合你审美、布局正确、且能引导客人视线的设计图。
3. 它是怎么做到的？（双适配器技术）
论文里提到的技术核心叫**“双适配器扩散模型”。我们可以把它想象成“两个超级副手”**在帮主设计师干活：
- 副手 A（线框适配器）： 它的任务是**“管结构”。它死死盯着你给的线框图，确保生成的图片里，按钮不会跑到图片上面去，文字不会跑到屏幕外面。它保证了“不乱”**。
- 副手 B（视觉流适配器）： 它的任务是**“管眼神”。它研究用户看屏幕的习惯（就像研究人的眼球怎么转动），确保生成的设计能按照你设定的顺序（比如先看标题，再看图片）来吸引用户的注意力。它保证了“顺眼”**。
这两个副手同时工作，让 AI 生成的图片既结构严谨，又符合人的观看习惯。
4. 它有什么厉害的地方？
- 快如闪电： 以前设计师想画 10 个不同的方案可能要画半天，ControlGUI 能在两分钟内生成 100 个不同的方案。
- 脑洞大开： 它能生成很多设计师自己可能想不到的创意组合。
- 灵活多变： 你可以只给文字，也可以只给线框，或者三个都给。就像你可以只给工人一个想法，或者给一张详细的图纸，它都能懂。
- 数据丰富： 作者还收集了7 万 2 千多张真实的 APP 和网页截图，并给它们标上了“哪里是按钮”、“用户通常先看哪里”等标签，用来训练这个 AI，让它变得更聪明。
5. 用户怎么说？（实验结果）
研究人员找了一群设计师来试用：
- 大家觉得： 用这个工具，他们能想出更多样的点子，而且感觉**“更听指挥”**了。
- 创意加分： 设计师觉得这个工具像是一个**“灵感催化剂”**，能帮他们打破思维定势，看到以前没想过的可能性。
- 小缺点： 目前生成的图片里的文字有时候还是有点乱码（像外星文），分辨率也不算特别高。但这对于**“早期构思”**（画草图）来说已经够用了，毕竟这时候大家看重的是“想法”而不是“完美的印刷品”。
总结
ControlGUI 就像是给设计师配了一个**“懂行、听话、反应快”的 AI 装修队**。
它不再强迫你写长篇大论的说明书，而是允许你**“指指点点”（画线框、标顺序、说风格）。它让设计师在还没决定最终方案之前**，就能低成本、高效率地尝试成百上千种可能性，从而找到那个最完美的设计灵感。
简单来说，它让**“画草图”这件事，从“苦力活”变成了“玩创意”**。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。