💬 NLP

CreativityPrism: A Cross-Domain Evaluation Framework for Large Language Model Creativity

本文介绍了 CreativityPrism，这是一个可扩展的跨领域评估框架，通过三个维度（质量、新颖性和多样性）对大型语言模型在发散性思维、创意写作和逻辑推理方面的八项任务进行评估，结果表明，尽管前沿模型在写作和推理方面表现出色，但在发散性思维方面并未显示出显著优势，且其性能很少能在不同的创意维度之间进行泛化。

原作者： Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhaoyi Joey Hou, Bowei Alvin Zhang, Yining Lu, Bhiman Kumar Baghel, Anneliese Brei, Ximing Lu, Meng Jiang, Faeze Brahman, Snigdha Chaturvedi, Haw-Shiuan Chang, Daniel Khashabi, Xiang Lorraine Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、充满魔力的文本生成器（大语言模型，简称 LLM）图书馆。每个人都在问：“这些机器真的具有创造力吗？”

问题在于，“创造力”是一个难以捉摸的概念。有时它意味着写一个有趣的故事，有时意味着以一种奇特的方式解决数学问题，有时又意味着想到一个纸夹的新用途。在这篇论文发表之前，研究人员试图用不同的尺子来衡量不同领域的创造力，或者要求人类对每一个答案进行评分，但这既缓慢又昂贵。

“CreativityPrism”（创造力棱镜）登场了。

把 CreativityPrism 想象成一个高科技的棱镜，你将一束光（AI 的输出）投射进去。你看到的不再仅仅是一个白色的光团，而是通过棱镜将其分解成三种截然不同的颜色，从而揭示出机器创造力的真实本质。

创造力的三种颜色

作者认为，要真正理解一台机器是否具有创造力，必须从三个特定的维度进行衡量：

质量（“它管用吗？”这一色调）： 这是基础。如果一台机器写的文章逻辑不通，或者解出的数学题是错误的，那么无论它的想法多么“新颖”，都毫无意义。那只是噪音。质量衡量的是输出是否真正完成了任务。
新颖性（“它有多怪异？”这一色调）： 这衡量了答案偏离平凡程度的远近。这台机器是否提出了人类从未见过的解决方案？还是仅仅复制了其训练数据中的内容？
多样性（“有多少种选择？”这一色调）： 这衡量的是广度。如果你要求机器提供 10 个想法，它是提供了 10 个完全不同的想法，还是仅仅提供了 10 个略有差异的版本？

类比： 想象一位厨师。

质量： 食物味道好，没有烧焦。
新颖性： 厨师发明了一种从未有人尝试过的口味组合（例如巧克力配酸黄瓜）。
多样性： 厨师可以制作 10 种不同类型的甜点，而不只是 10 种不同版本的巧克力蛋糕。
CreativityPrism 会同时检查这三项。一个能做出 100 种不同版本的烧焦巧克力蛋糕的厨师，虽然多样性很高，但质量和新颖性都很低。

大考：17 位厨房里的主厨

作者选取了目前最智能的 17 个 AI 模型（来自 OpenAI、Google、Anthropic 和 DeepSeek 等公司），让他们接受 8 种不同挑战，涵盖三个领域：

发散性思维： 类似于“替代用途测试”（例如：“除了盖墙，砖块还能用来做什么？”）。
创意写作： 根据提示词编写故事或诗歌。
逻辑推理： 在严格且奇特的约束条件下解决数学问题或编写代码。

他们的发现（剧情反转）

1. “大模型 vs 小模型”的差距
那些规模巨大、造价昂贵的 AI 模型（“前沿”模型）通常在创意写作和逻辑推理方面表现更好。它们就像大师级的厨师，能够遵循复杂的食谱并编写精美的菜单。然而，在涉及发散性思维（提出天马行空、不相关想法）时，这些超级昂贵的模型与较小的开源模型之间的差距几乎消失了。大模型在“跳出框架思考”方面并不一定比小模型更擅长。

2. “专家”难题
这里是最令人惊讶的发现：擅长一种类型的创造力，并不意味着擅长另一种。

一个模型可能非常擅长写小说（高质量），但在提出勺子的奇特用途方面却表现糟糕（低新颖性）。
一个模型可能会生成 1,000 个不同的答案（高多样性），但其中没有一个是真正新颖或有用的（低新颖性）。

作者发现，“新颖性”是最具混沌性的维度。仅仅因为一个模型在数学问题中表现出“新颖”，并不意味着它在写故事时也会表现得“新颖”。它们是完全不同的技能。

3. “裁判”方案
由于人类评分速度太慢，无法完成所有测试，作者使用了一个聪明的技巧：他们利用其他的 AI 来对答案进行评分。但他们并没有盲目信任这些 AI。他们先让人类专家对一小部分样本进行评分，以确保“AI 裁判”确实与人类的判断一致。这就像是让主厨先品尝几道菜，以确保副厨们在对整个厨房进行评分时是准确无误的。

核心结论

CreativityPrism 是一个全新的工具，它让我们不再仅仅用“这个 AI 很有创造力”这样一个模糊且单一的说法来描述它。相反，它会告诉我们：“这个 AI 非常擅长写出高质量的故事，在创造性解决数学问题方面表现尚可，但在提出天马行空的无关想法方面表现不佳。”

它证明了创造力并不是一种单一的超能力；它是一系列并不总是同步出现的不同技能的集合。为了构建真正的创造性机器，我们需要针对这些不同的“颜色”进行专门训练，而不是仅仅寄希望于它们能偶然间把所有事情都做对。

技术摘要：CreativityPrism

问题陈述

尽管大型语言模型（LLMs）在生成创意文本方面取得了飞速进展，但目前仍缺乏一个统一、跨领域且可扩展的框架来评估 LLM 的创造力。现有的评估方法存在两个主要局限性：

碎片化： 当前的研究散布在特定的领域（例如：发散性思维、创意写作、编程、数学），其对创造力的定义较为狭隘。基准测试往往侧重于单一维度（例如：词汇多样性或非典型想法），并且在测试的模型上各不相同，导致难以进行跨对比。
可扩展性： 创造力本质上具有主观性，导致许多现有基准测试过度依赖人工评估。这种方法成本极高、速度缓慢且难以大规模复制，为现代 AI 研究所需的快速迭代制造了瓶颈。

方法论

作者提出了 CreativityPrism，这是一个旨在将创造力评估整合进一个可扩展、自动化流水线中的跨领域评估框架。

框架设计

任务选择： 该框架整合了涵盖三个不同领域的 八项任务：
- 发散性思维： 替代用途测试 (AUT)、发散联想任务 (DAT) 以及托伦斯创造性思维测试 (TTCT)。
- 创意写作： 托伦斯创意写作测试 (TTCW)、创意短篇小说以及创意指数。
- 逻辑推理： 创意数学和 NeoCoder（受约束下的编程）。
维度分类法： 除了简单的任务聚合外，作者根据托伦斯创造性思维测试 (TTCT) 的理论，将所有评估指标归类为三个创造力维度：
1. 质量 (Quality)： 产生连贯、结构良好且功能完备的响应的能力（例如：代码正确性、叙事流畅度）。
2. 新颖性 (Novelty)： 产生偏离常见或现有解决方案的输出的能力（例如：相对于训练语料库或参考解的独特性）。
3. 多样性 (Diversity)： 输出分布的广度，衡量模型在多次生成中改变响应的范围（例如：生成的名词之间的语义距离）。
可扩展评估 (LLM-as-a-Judge)： 为确保可扩展性，该框架采用了自动评估。对于需要主观判断的指标，作者采用了 LLM-as-a-Judge（大模型作为评委）范式。至关重要的是，他们通过 替代标注员测试 (Alternative Annotator Test, Calderon et al., 2025) 对这些评委进行了验证，确保所选的 LLM 评委在部署前与高质量的人类标注保持高度一致（Fleiss Kappa $\ge$ 0.4）。

实验设置

评估模型： 本研究对 17 个最先进的 (SoTA) LLM 进行了基准测试，包括前沿规模模型（GPT-4.1, Claude 3, Gemini 2.0, DeepSeek-V3/R1）以及可本地部署的开源模型（Mistral, Qwen, Llama, OLMo 系列）。
推理： 应用了标准化的推理设置（Temperature 0.75, max tokens 4096），并针对创意数学 (Temperature 0.0) 和创意指数 (Temperature 1.0) 等任务进行了特定调整。
评分： 原始指标经过 min-max 归一化处理，并聚合为三个维度（质量、新颖性、多样性）及一个总体的创造力得分。

关键结果

对 17 个 LLM 的评估得出了以下几项重要发现：

性能差距： 前沿规模模型显著优于可本地部署的开源模型。表现最好的前沿模型在创造力维度上领先于最好的开源模型约 0.10 (15%)。
- 该差距在 逻辑推理 和 创意写作 领域最为明显。
- 在 发散性思维 领域，该差距较小，这表明相比于推理和写作，该领域在当前的后训练阶段并未受到同等程度的重视。
- 质量维度显示出最大的性能差异，这可能是由于前沿模型的训练高度强调推理任务。
缺乏泛化性： 在某一创造性维度或领域的高表现并不保证在其他领域取得成功。
- 新颖性 指标与其他指标呈现弱相关甚至负相关。例如，一个模型可能会生成高度多样化 (high diversity) 的输出，但这些输出个体本身却缺乏原创性；或者产生单个新颖的输出但缺乏变化（高新颖性，低多样性）。
- 这种碎片化证实了创造力并非一种单一的能力；模型的“创造力”高度依赖于任务和维度。
模型排名： 在开源模型中，Qwen2.5-72B 脱颖而出，成为表现最佳的模型。在模型前沿模型中，DeepSeek-V3 和 GPT-4.1 展示了最高的综合创造能力。

意义与贡献

本文声称其贡献如下：

统一框架： 引入了 CreativityPrism，这是第一个系统地将三个领域的八项任务整合进单一、可扩展评估流水线的框架。
维度分类法： 提出了“质量、新颖性与多样性”的分类法，认为将“原创性”拆分为“新颖性”（深度/偏差）和“多样性”（广度/方差）对于细致的 LLM 评估至关重要。
可靠的自动化： 通过严格的人类对齐测试（替代标注员测试），验证了使用 LLM-as-a-Judge 进行创造力评估的可行性，为手动评分提供了一种可扩展的替代方案。
实证洞察： 该基准测试揭示了当前 LLM 表现出碎片化的创造能力，即前沿模型擅长由推理驱动的创造，但在发散性思维方面并未展现出显著优势。这凸显了使用跨领域框架的重要性，以避免得出关于模型能力的误导性结论。

局限性

作者承认存在以下局限性：

模态： 该框架目前仅限于文本；由于多模态自动评估方法尚不成熟，因此未涵盖多模态创造力。
领域覆盖： 由于缺乏可靠的自动评估指标，诸如科学发现和发明设计等高度创新的领域被排除在外。
人类验证： 虽然 LLM 评委得到了验证，但人类标注员主要是计算机科学研究人员而非创造力领域的专家，且受限于资源，样本量较小。
数据污染： 发布日期较晚的模型可能会在涉及新颖性的指标上获得优势，因为其训练数据可能与基准测试的参考语料库存在重叠。

总之，本文认为，像 CreativityPrism 这样的跨领域、多维度框架对于任何有意义的 LLM 创造力评估都是必不可少的，因为单一领域或单一指标的评估无法捕捉到机器创造力的复杂性。