How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

技术摘要：LLM 如何看待创造力：视觉创造力的零样本评分与可解释推理

问题陈述
评估视觉图像的原创性仍然是创造力研究中的一个重要瓶颈。虽然使用大语言模型（LLM）进行的自动化评分在言语领域（如交替用途任务）已证明具有有效性，但其在视觉创造力领域的应用尚不成熟。现有的图形领域方法通常依赖于特定任务的训练或在大量人类评分示例上的微调，这限制了其泛化能力。此外，目前对于 AI 模型得出评分的潜在过程仍缺乏理解。本研究探讨的核心问题是：通用的多模态 LLM 是否可以作为视觉创造力的“零样本”（zero-shot）评判者——即无需微调、示例或额外训练——以及它们的显式推理链是否能为它们的评估逻辑提供一个可解释的窗口。

研究方法
本研究采用两项研究的设计，通过两个不同的视觉创造力数据集，评估了六个多模态 LLM（Gemini 3 Flash, Gemma 4 31B IT, GPT-5.4 Mini, GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus）：

1. AI 生成图像： 由 DALL-E 3 根据人类编写的文字提示生成的 992 幅图像，由人类专家按 1–5 分制进行评分。
2. 手绘草图： 来自 AuDrA 平台的 1,500 幅草图，参与者需对不完整的起始形状进行扩展。这些草图使用评判反应理论（JRT）模型来导出连续的创造力得分。

研究 1：零样本对齐
所有六个模型均在零样本设置下进行测试，仅接收一张图像和一个指令其按 1–5 分制对创造力进行评分的文本提示。研究测量了：

• 对齐度（Alignment）： 模型评分与人类标准得分之间的 Pearson 相关系数。
• 复杂度控制（Complexity Control）： 控制“边缘密度”（作为视觉复杂度的代理指标）后的偏相关分析，以确保模型并非仅仅是在奖励精细程度（elaboration）。
• 偏差分析（Bias Analysis）： 通过检查评分分布，以识别相对于人类评分者的宽容或严苛偏差。

研究 2：推理链分析
对三个具备推理能力的模型（GLM-5v Turbo, Kimi K2.5, Qwen 3.6 Plus）进行了带有推理功能的重新评估。研究分析了在生成最终评分之前产生的显式“思维链”：

• 链条验证（Chain Validation）： 一个单独的纯文本 LLM 尝试仅根据推理链（移除数字部分）来预测最终评分，以验证该链条是否包含评估信号。
• 过程编码（Process Coding）： 将推理链分解为句子，并将其分类为四个评估维度：感知（描述内容）、原创性（判断新颖性）、质量（判断美学/构图）和辩证（锚定评分）。
• 感知准确性（Perceptual Accuracy）： 将模型识别草图中描绘物体的能力与人类共识标签进行比较，以确定物体识别错误是否影响了创造力对齐。

关键结果

• 零样本可行性： 所有六个模型在两个数据集上均表现出与人类评分的显著对齐，且无需微调。在 AI 生成图像上相关系数范围为 $r = .57$ 至 $.68$，在手绘草图上为$r = .29$至$.68$。Gemini 3 Flash 在两个数据集上的对齐度最高（$r = .68$）。
• 超越视觉复杂度： 在控制边缘密度后的偏相关分析依然稳健，表明模型能够检测更高层级的创造性特征，而非仅仅奖励视觉上的精细化。
• 系统性偏差： 模型对精美的 AI 生成图像表现出“宽容偏差”（评分高于人类），对稀疏的手绘草图表现出“严苛偏差”（评分低于人类），这表明模型倾向于偏好与其自身训练分布相似的输出。
• 推理的影响： 启用推理链并没有提高与人类评分的对齐度（相比于非推理基准）；在某些情况下（例如 Qwen 3.6 Plus），推理反而略微降低了对齐度。
• 可解释性： 推理链具有高度的可解释性，并且包含了驱动评分的评估信号（纯文本模型根据推理链预测评分的相关性达 $r = .82$）。推理链遵循一致的结构：感知 $\rightarrow$ 原创性/质量评估 $\rightarrow$ 辩证。
• 分歧驱动因素： 推理链中“原创性”句子的比例与模型相对于人类较低的评分相关；而“质量”句子的比例则与较高的评分相关。
• 感知的独立性： 正确识别物体并非实现高对齐度的先决条件。即使识别错误，模型与人类的关联性依然很强（识别正确时 $r = .49$ vs 识别错误时 $r = .43$）。值得注意的是，最高的对齐度出现在“无共识绘画”（人类无法分类的图像）中，这表明当物体身份模糊时，模型与人类会在结构和构图特征上达成一致。

意义与主张
本文声称提供了首个证据，证明通用的多模态 LLM 可以在零样本设置下匹配人类对视觉创造力的判断，将自动化评估从言语任务扩展到了图形领域，且无需特定任务的训练。

主要贡献包括：

1. 验证了零样本评分： 证明了基于提示词的评估足以进行视觉创造力的评估，适用于多种不同类型的刺激物。
2. 评估的可解释性： 揭示了 LLM 通过一致的四阶段推理过程（感知、原创性、质量、辩证）进行创造力评估，为 AI 评估机制提供了透明的视角。
3. 识别与评估的解耦： 确立了 LLM 的创造力评分不能简化为物体识别；即使在无法识别具体主题的情况下，模型也能评估其创造价值。
4. 偏差检测： 强调了必须在未来自动化评分流程中解决的特定偏差（对 AI 生成内容的宽容，以及对草图的严苛）。

作者总结道，虽然多模态 LLM 为可扩展的视觉创造力评估提供了一个有前景的工具，但它们的推理轨迹对于审计它们“如何”评估比提高评分的“原始准确度”更有价值。作者警告不要将这些零样本方法应用于未经验证的任务，并强调需要进行仔细的校准以减轻固有的偏差。研究还提供了一个实现该流程的开源 Web 应用，以促进进一步的研究。