Can Vision Language Models Assess Graphic Design Aesthetics? A Benchmark, Evaluation, and Dataset Perspective

本文提出了首个涵盖四个维度、十二项指标及三项量化任务的图形设计美学评估基准 AesEval-Bench，通过系统评估各类视觉语言模型的表现并构建基于人类引导的大规模训练数据集，建立了图形设计美学质量评估的系统性框架。

要点

这篇论文就像是在给人工智能（AI）上的一堂“美学鉴赏课”。

想象一下，你是一位资深的平面设计师，手里拿着各种海报、广告和传单。你的工作不仅仅是把字和图片拼在一起，而是要让它们看起来“舒服”、“高级”且“有吸引力”。这就是平面设计美学。

过去，我们让 AI 看图，它通常能认出“这是一只猫”或“这是一辆车”（这是事实识别）。但这篇论文问了一个新问题：AI 能像人类设计师一样，判断一张海报“好不好看”吗？如果不好看，它知道是哪里出了问题吗？

为了回答这个问题，作者们做了一件很酷的事情，我们可以把它拆解成三个步骤：

1. 出题：给 AI 制定一套“美学考试卷” (AesEval-Bench)

以前的考试太简单了，要么只问“这张图美不美？”，要么只盯着照片看（比如风景照），忽略了平面设计特有的东西（比如字体排得乱不乱、颜色搭不搭）。

作者们设计了一套全新的、非常严格的**“美学考试卷”**，叫 AesEval-Bench。

• 考什么？ 他们把“美”拆解成了 4 个大类（排版、字体、图形、颜色）和 12 个具体指标（比如：字是不是太挤了？颜色是不是打架了？重点突不突出？）。
• 怎么考？ 他们设计了三种难度的题目：
  1. 判断题：这张图美吗？（是/否）
  2. 找茬题：如果美，美在哪里？如果不美，具体是哪个部分（比如那个红色的框）丑？
  3. 定位题：不仅要找出来，还要用笔在图上圈出那个丑的地方（画出精确的框）。

比喻：以前的考试是问“这道菜好吃吗？”，现在的考试是问“这道菜哪里咸了？是盐放多了还是酱油没搅匀？请指出具体是哪一口”。

2. 摸底：让 AI 们来“应试”

作者们找来了各种厉害的 AI 模型（包括微软、谷歌、阿里等大厂的最新模型）来参加考试。结果发现了一个尴尬的现实：

• 现状：即使是目前最聪明的 AI，在“找茬”和“圈出丑的地方”这两项上，表现都很拉胯。它们能大概感觉到“这张图有点怪”，但说不清楚哪里怪，更画不出准确的框。
• 意外发现：那些号称“会思考”、“会推理”的高级 AI（比如 GPT-o1 系列），并没有比普通的 AI 强多少。这说明，光靠“死脑筋”的逻辑推理，解决不了“审美”这种主观问题。
• 结论：AI 离真正懂“设计美学”还有很长的路要走。

3. 补课：给 AI 开“补习班” (AesEval-Train)

既然 AI 考得不好，作者们决定给它“开小灶”。他们制作了一套专门的训练教材，教 AI 如何像人类一样思考美学。

这套教材有两个独门秘籍：

• 秘籍一：人类带路，AI 抄作业 (Human-guided VLM labeling)
  让几个人类专家先给一些图打分，然后让强大的 AI 看着这些人类的“标准答案”，去给海量的图打分。这样既省了人工，又保证了 AI 学到的标准是“人类认可”的。
• 秘籍二：指哪打哪的“指路牌” (Indicator-grounded reasoning)
  这是最关键的一点。以前的 AI 只会说“这个颜色不好”。现在的教材要求 AI 必须说："这个颜色（指着具体的坐标框）不好，因为它和背景冲突了”。
  比喻：就像教学生，以前只告诉他“这道题错了”，现在老师会拿着红笔圈出具体哪一步算错了，并解释为什么错。这种“指哪打哪”的训练，让 AI 真正学会了把抽象的“美感”和具体的“画面位置”联系起来。

最终成果

经过这套“补习班”的训练，AI 的成绩突飞猛进。

• 在“找茬”和“圈出丑的地方”这两项上，原本只有 5% 的准确率，训练后提升到了 20% 以上（对于这种很难的任务，这已经是巨大的飞跃）。
• 甚至，一个经过训练的小模型，表现比那些没经过训练、参数巨大的“超级模型”还要好！

总结

这篇论文就像是在告诉世界：
“现在的 AI 虽然能看懂世界，但还不懂‘美’。我们不仅给它们出了一套很难的‘美学考试’，还发明了专门的‘补习教材’，教它们如何像人类设计师一样，不仅知道‘哪里丑’，还能精准地‘圈出’丑在哪里。”

这对于未来的应用非常有用：比如，当你用 AI 生成海报时，它不仅能帮你画图，还能像个挑剔的编辑一样，告诉你：“嘿，这个标题太靠边了，往中间挪一点，或者换个字体，会更好看！”

技术摘要

这是一篇发表于 ICLR 2026 的论文，题为《视觉 - 语言模型能否评估平面设计美学？基准、评估与数据集视角》（CAN VISION–LANGUAGE MODELS ASSESS GRAPHIC DESIGN AESTHETICS? A BENCHMARK, EVALUATION, AND DATASET PERSPECTIVE）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心问题：视觉 - 语言模型（VLMs）能否像人类一样理解和评估平面设计的美学质量？
• 现有局限：
  1. 基准不足：现有的美学评估基准（如 AesBench, UNIAA-Bench）主要针对自然摄影图片，忽略了平面设计特有的因素（如排版、字体）；或者仅覆盖狭窄的设计原则，缺乏系统性。
  2. 评估协议粗糙：现有方法多依赖打分（难以定位问题）或自由文本描述（难以量化），缺乏可量化的细粒度评估任务。
  3. 缺乏系统性对比：尚未对不同架构（开源/闭源/推理增强）的 VLMs 在设计美学领域进行系统性评估。
  4. 训练数据匮乏：缺乏专门用于提升 VLMs 在美学评估领域性能的高质量训练数据。

2. 方法论 (Methodology)

A. 提出基准：AesEval-Bench

作者构建了一个全面的基准测试，包含以下核心要素：

• 四个维度 (Dimensions)：排版 (Layout)、字体 (Font/Graphics)、色彩 (Color)、图形 (Graphics)。
• 十二个指标 (Indicators)：在每个维度下定义了具体的可量化指标，例如：
  • 排版：平衡 (Balance)、层级 (Hierarchy)、留白 (Whitespace)、对齐 (Alignment)。
  • 字体：层级 (Hierarchy)、可读性 (Legibility)。
  • 色彩：和谐 (Harmony)、对比 (Contrast)、吸引力 (Appeal)、心理学 (Psychology)。
  • 图形：质量 (Quality)、相关性 (Relevance)。
• 三个量化任务：
  1. 美学判断 (Aesthetic Judgment)：判断设计是否美观（是/否）。
  2. 区域选择 (Region Selection)：从候选区域中选出存在美学问题的部分。
  3. 精确定位 (Precise Localization)：预测问题区域的具体边界框 (Bounding Box) 坐标。
• 数据构建：基于 Crello 数据集，通过受控扰动（如移动元素、改变字体、调整颜色）生成具有不同美学缺陷的设计样本，并引入“人机回环” (Human-in-the-Loop) 进行标注验证。

B. 构建训练数据集：AesEval-Train

为了提升模型性能，作者构建了一个包含 30k 个问答对的训练集，包含两个关键创新：

1. 人类引导的 VLM 标注 (Human-guided VLM Labeling)：利用少量人类标注作为上下文示例，指导强大的 VLM 生成大规模的任务标签（即判断设计是否有缺陷），在保持与人类认知一致的同时降低了标注成本。
2. 指标 grounded 的推理 (Indicator-grounded Reasoning)：
   • 传统推理往往缺乏空间定位。
   • 新方法要求模型将抽象的美学指标（如“层级混乱”）与具体的设计区域（边界框坐标）显式关联。
   • 推理路径包含：边界框坐标 + 该区域与特定指标相关性的文本解释。

C. 实验设置

• 评估对象：评估了 10 种 VLMs，包括闭源模型（GPT-4o, GPT-5, GPT-o1, GPT-o3, Gemini-2.5-Pro）、开源模型（LLaVA, Qwen-VL 系列, Intern-VL 系列）以及专门的美学评估专家模型。
• 微调策略：使用 Qwen2.5-VL-7B 作为基座，采用全参数微调，输入为任务描述，监督信号为“推理路径 + 任务标签”。

3. 主要结果 (Results)

A. 基准评估发现

• 性能差距：当前最先进的 VLMs 在平面设计美学评估上仍存在明显差距，无法完全达到人类水平。
• 模型对比：
  • 闭源优于开源：GPT-5 和 GPT-4o 表现最好，优于开源模型。
  • 规模效应：在开源模型中，大参数量模型（如 72B）通常优于小模型（如 7B）。
  • 推理增强的局限性：令人惊讶的是，推理增强型模型（如 GPT-o1, GPT-o3）并未表现出比非推理版本更明显的优势，表明通用的思维链推理对设计美学这种主观且依赖视觉感知的任务帮助有限。
  • 领域差异：专为图像美学（摄影）设计的专家模型在平面设计任务上表现较差，说明摄影美学与平面设计美学存在显著差异。
• 任务难度：精确定位任务（预测 BBox）难度最大，即使是最好的模型（GPT-5），其 IoU 分数也低于 0.20。

B. 微调效果

• 显著提升：使用 AesEval-Train 微调后的 Qwen2.5-VL-7B 在所有任务上均取得显著提升：
  • 美学判断准确率提升 5.97%。
  • 区域选择准确率提升 2.70%。
  • 精确定位 IoU 提升 17.17%。
• 超越大模型：微调后的 7B 模型在精确定位任务上甚至超越了参数量大得多的 GPT-5。
• 消融实验：
  • 移除“推理路径”会导致性能下降，证明将抽象指标与具体区域关联的推理至关重要。
  • 仅使用正样本（无缺陷设计）训练效果较差，证明保持标签平衡的重要性。

4. 关键贡献 (Key Contributions)

1. 首个系统性基准：提出了 AesEval-Bench，涵盖 4 个维度、12 个指标和 3 种可量化任务，填补了平面设计美学评估领域的空白。
2. 系统性评估：首次大规模对比了闭源、开源及推理增强型 VLMs 在设计美学上的能力，揭示了现有模型的局限性及推理机制在该领域的无效性。
3. 创新的数据构建方法：提出了 人类引导的 VLM 标注 和 指标 grounded 的推理 方法，构建了高质量的训练数据集 AesEval-Train，证明了数据质量（特别是空间定位的推理）对提升模型性能的关键作用。
4. 开源资源：发布了基准、数据集及代码，推动了该领域的后续研究。

5. 意义与影响 (Significance)

• 理论意义：揭示了通用 VLMs 在理解复杂设计原则（如层级、平衡）方面的不足，指出单纯增加推理步骤并不能解决视觉美学评估中的空间定位问题，强调了“视觉 - 语义 - 空间”对齐的重要性。
• 应用价值：
  • 辅助设计：可为人类设计师提供具体的缺陷定位和修改建议。
  • 生成式 AI 反馈：为生成式 AI 系统提供自动化的美学反馈闭环，实现设计的迭代优化。
  • 领域扩展：展示了如何将 VLMs 从事实识别扩展到主观美学评估领域。
• 局限性：目前数据主要来源于 Crello，未覆盖信息图或移动端 UI 等所有设计类型；尚未包含“创造力”等高度主观的维度。

总结：该论文通过构建精细化的基准和高质量的数据集，证明了虽然当前 VLMs 在平面设计美学评估上仍有不足，但通过针对性的数据构建（特别是将抽象美学指标与具体空间区域绑定的推理训练），可以显著提升模型性能，甚至让中小模型超越大模型的表现。这为未来设计辅助 AI 的发展奠定了重要基础。