💬 NLP

Rethinking Creativity Evaluation: A Critical Analysis of Existing Creativity Evaluations

本文批判性地分析了跨多个领域的四种常见创造力评估指标，揭示了它们显著的不一致性、领域特定局限性以及与人类判断的脱节，从而强调了对更具鲁棒性和泛化性框架的迫切需求。

原作者： Li-Chun Lu, Miri Liu, Pin-Chun Lu, Yufei Tian, Shao-Hua Sun, Nanyun Peng

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Li-Chun Lu, Miri Liu, Pin-Chun Lu, Yufei Tian, Shao-Hua Sun, Nanyun Peng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图寻找世界上最具创造力的作家、问题解决者和科学家的星探。你面前有一大堆参赛作品，但你需要一种方法来快速将那些“天才”之作与“平庸”之作区分开来。由于作品太多，无法人工阅读，于是你决定使用四种不同的自动化工具（指标）来帮你进行筛选。

这篇论文本质上就是一份关于这些工具的成绩单。作者们测试了它们是否真的有效，而坏消息是：它们都相当不可靠。

以下是他们测试的四种工具及其失败原因的详细说明，使用了简单的类比：

测试的四种工具

1. “复制粘贴”检测器（创造力指数 / Creativity Index）

工作原理： 该工具扫描互联网，查看某个句子是否曾经被写过。如果一个短语是独特的，且没有出现在其庞大的数据库中，它就会给出高“创造力”分数。
问题所在： 这就像仅凭一位厨师使用了多少种别人从未买过的食材，来评判这位厨师的创造力。
- 在创意写作方面，它的表现还可以，因为独特的词汇往往意味着新鲜的故事。
- 在问题解决和科学领域，它表现得极其糟糕。一个卓越的新科学构想可能会使用非常常见、标准的词汇（如“实验”或“数据”），因此这个工具会认为它很枯燥。相反，一位作家可能会为了显得高深而使用古怪、生僻的词汇，而这个工具却认为那是天才。它衡量的是词汇多样性，而非思想新颖度。

2. “惊喜度计” (困惑度 / Perplexity)

工作原理： 该工具预测计算机对句子中下一个词出现的“惊讶程度”。如果文本非常可预测，得分就低；如果文本很奇怪、出人意意料，得分就高。其核心理念是：创造力 = 惊喜感。
问题所在： 这就像通过观众因困惑而发出的惊呼声，来评判一位喜剧演员。
- 有时，一段文本得分很高（非常令人惊讶），仅仅是因为它的语法混乱或毫无意义，而不是因为它具有创造力。
- 有时，一个真正精彩、清晰的观点读起来非常流畅且易于理解，因此该工具给出的分数很低。
- 作者发现，“有创造力”和“无创造力”的文本往往会得到完全相同的分数，使得该工具无法用于区分两者。

3. “句子结构扫描仪”（句法模板 / Syntactic Templates）

工作原理： 该工具观察句子的骨架（例如，“名词 + 动词 + 形容词 + 名词”）。它检查作者是否反复使用相同的句子模式。
问题所在： 这就像仅通过画家的笔触形状，来评判一位画家，却忽略了他们正在画的画作本身。
- 在创意写作中，它捕捉到了 AI 经常使用的重复、公式化的句子结构（例如，“英雄之旅始于……”）。
- 然而，在科学和问题解决领域，专家们往往需要使用标准、公式化的语言来确保清晰和精准。这个工具因为他们遵循了语法规则而惩罚了他们，认为他们缺乏创造力。

4. “AI 裁判”（大语言模型作为裁判 / LLM-as-a-Judge）

工作原理： 使用另一个 AI 来阅读作品并给出评分，就像人类老师批改作业一样。
问题所在： 这就像雇佣一名学生来给另一名学生的作业打分。他们表现得不稳定且容易被误导。
- 可挤压性（Squeezable）： 如果你稍微改变提问方式（例如，问“这是有创造力的吗？”对比“这是否没有创造力？”），AI 会完全改变主意。
- 偏见： 它倾向于选择一边倒（例如，无论实际质量如何，总是说“不，这没有创造力”）。
- 不可靠： 当被要求对同一篇论文进行三次评分时，它只有 40% 的时间能与自己保持一致。它基本上是在瞎猜。

大局观

作者在三种不同类型的创造力上测试了这些工具：

创意写作（故事、诗歌）。
问题解决（寻找使用日常物品的奇特方法）。
研究构思（提出新的科学理论）。

结果： 没有单一的工具适用于所有三种情况。一个擅长识别创意故事的工具，在识别创意科学构想时却表现得很差。有时，针对同一篇文本，这些工具甚至会对结果产生分歧。

结论

论文得出结论：我们目前还没有一种可靠的方法来自动衡量真正的创造力。

现有的工具大多是在衡量表层事物，如词汇选择、句子长度或文本看起来有多“奇怪”。
它们无法衡量文本背后的实际想法或概念。
仅仅因为计算机基于这些数字判定某物是“有创造力的”，并不意味着人类也会认同。

作者本质上是在说：“我们需要停止依赖这些简单的数学技巧。在我们可以信任它们去评判人类（或机器）的创造力之前，我们需要构建更好的系统，这些系统要能理解思想，而不只是单词。”

技术摘要：重新思考创造力评估

问题陈述

尽管大语言模型（LLMs）在逻辑推理和问答等结构化任务中表现出了熟练程度，但它们生成创意内容的能力仍然有限且难以评估。创造力本质上是多维度的且具有领域特定性，然而目前仍缺乏可靠的自动化指标来有效地基准测试 LLM 在不同创意领域的表现。现有的评估方法往往无法与人类对创造力的感知保持一致，导致在如何识别和衡量“有创意”的输出方面存在不一致性。本文旨在探讨一个关键问题：我们如何选择能够准确反映不同领域中人类感知创造力的评估指标？

方法论

作者对四个具有代表性的创造力指标在三个不同创意领域进行了全面分析：

领域：
- 创意写作： 艺术性和审美性内容生成（例如：电影情节、诗歌）。
- 非常规问题解决： 涉及打破认知偏差的功能性思维（例如：麦盖弗任务/MacGyver task）。
- 研究构思： 对现有事实进行逻辑合成以产生新颖科学想法（例如：ICLR 论文提交）。
数据集：
针对每个领域，作者策划了包含“有创意”和“无创意”输出对的数据集，并根据人类判断进行标注。
- 创意写作： 150 个人类编写的叙事 vs. 150 个 LLM 生成的叙事。
- 问题解决： 573 个非常规解决方案 vs. LLM 生成的常规解决方案。
- 研究构思： 来自 ICLR 2024 的 513 篇已接收论文 vs. 513 篇被拒绝论文，通过对健全性和表达能力的评分进行过滤，以隔离出作为差异因素的创造力。
评估指标：
研究评估了四个处于不同粒度层级的指标：
- 创造力指数 (Creativity Index, CI)： 通过计算与大规模网络语料库的 n-gram 重叠度来衡量短语层级的原创性（使用 DJ SEARCH/Infini-Gram 算法）。
- 困惑度 (Perplexity, PPL)： 基于语言模型预测概率，衡量标记（token）层级的统计学上的“意外程度”。
- 句法模板 (Syntactic Templates)： 通过检测对常见词性（POS）模式的依赖（例如：CR-POS、模板率、每标记模板数）来评估结构多样性。
- LLM-as-a-Judge（LLM 作为评判者）： 使用 LLM（在最佳配置下特指 Claude 3.7 Sonnet）结合思维链（CoT）推理和基于规则的提示词，提供整体的、概念层级的评估。

关键结果

分析揭示了跨领域以及指标之间显著的不一致性：

创造力指数 (CI)：
- 领域敏感性： CI 在创意写作中能有效区分有创意与无创意的文本，但在问题解决和研究构达中失效。
- 局限性： CI 主要衡量词汇多样性而非概念新颖性。其得分对实现细节高度敏感，特别是 n-gram 长度 ( $L$ ) 的范围和参考语料库的选择。 $L$ 的微小变化（例如 5–7 与 5–11 之间）或语料库的变化会剧烈改变得分，有时甚至使人类与 LLM 输出之间的区别变得微不足道。
困惑度 (PPL)：
- 不一致性： PPL 在所有领域中，有创意集与无创意集的得分分布均存在重叠。在某些情况下（如创意写作），LLM 生成的内容具有更高的困惑度；而在其他情况下（如研究构思），被拒绝的论文具有较低的困惑度。
- 结论： PPL 反映的是流畅度和模型置信度，而非新颖性或创造力。
句法模板：
- 有效性： 该指标在通过程式化语言表达新颖想法的领域（如研究构思和问题解决）中表现挣扎。
- 观察： 在创意写作中，研究发现 LLM 过度依赖重复的句法结构（例如用于情节转折的特定 8-gram 模板），而人类写作则展现出更大的结构多样性。然而，该指标未能捕捉到其他领域中的概念创造力。
LLM-as-a-Judge：
- 表现： 虽然在孤立状态下表现出中等水平，但 LLM 评判者表现出显著的不稳定性及偏见。
- 偏见： 模型表现出向单侧预测倾斜的倾向（例如将大多数解决方案归类为“常规”，或将情节归类为“非原创”）。
- 不稳定性： 评估对微小的提示词变化高度敏感（例如，将提示词中的“常规”改为“非常规”会反转模型的偏好）。同一评判者对同一实例进行重复评估时，一致性仅约为 40%。
- 相关性： 在研究构思领域，LLM 得分与人类专家得分之间的相关性较弱（Pearson $r \approx 0.16$ ）。
探索性语义新颖性得分 (SNS)：
- 一种使用语义嵌入来衡量概念层级距离的实验性流水线，未能一致地区分创意与无创意的输出，这凸显了自动捕捉想法层级新颖性的难度。

核心贡献

对现有指标的批判性分析： 本文系统地证明了当前的自动化指标（CI、PPL、句法模板、LLM-as-a-Judge）缺乏跨创意领域的泛化能力和一致性。
明确具体局限性：
- CI 衡量的是词汇稀有度，而非概念新颖性。
- PPL 衡量的是流畅度，而非创造力。
- 句法模板忽略了程式化语境下的语义创新。
- LLM-as-a-Judge 容易受到偏见、提示词敏感性和低一致性的影响。
诊断框架： 本研究提供了诊断性的基础工作，阐明了现有指标在何处以及如何失效——特别是它们倾向于强调风格新颖性而忽略概念新颖性的倾向。
资源发布： 作者发布了策划的数据集和评估代码，以促进未来的研究。

重要性与主张

文章得出结论，目前的创造力评估领域是碎片化且不可靠的。研究结果强调，迫切需要更稳健、更具泛化性的评估框架，以更好地对齐人类对创造力的判断。

作者谦虚地声称，其工作并非提出一种新的、完美的指标，而是提供了必要的诊断性基础。通过揭示现有方法的具体差距，本研究旨在：

引导从业者以适当的谨慎态度解读现有指标。
告知研究人员必须解决的具体概念差距。
强调超越表面模式（词汇或句法）转向能够捕捉想法层级新颖性方法的必要性，并可能利用未来的进展，如大型概念模型 (LCM) 和连续思维链架构。

最终，本文认为，提升创造力评估水平对于缩小人类与机器创造力表现之间的差距至关重要。