💬 NLP

Automated Creativity Evaluation of Language Models Across Open-Ended Tasks

本文介绍了一个可扩展且领域无关的框架，该框架通过结合用于衡量发散性新颖性的语义熵与用于评估收敛性任务完成度的基于检索的多智能体评审，来量化大语言模型在开放式任务中的创造力。

原作者： Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Min Sen Tan, Zachary Kit Chun Choy, Syed Ali Redha Alsagoff, Nadya Yuki Wangsajaya, Mohor Banerjee, Swaagat Bikash Saikia, Alvin Chan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图评判一群新进 AI 作家、发明家和问题解决者是否具有“创造力”的天才星探。在过去，评判创造力就像是用尺子去测量一幅画：过程混乱，需要人类专家对每一件作品进行评估，且仅适用于特定类型的艺术。

这篇论文介绍了一种全新的、自动化的“创造力计分卡”，它可以适用于任何类型的开放式任务，无论是解谜还是写故事。作者将创造力分解为两种截然不同的“超能力”，并分别对它们进行衡量：发散性思维（Divergent Thinking，即构思出许多不同想法的能力）和聚合性思维（Convergent Thinking，即挑选出最佳想法并使其生效的能力）。

以下是他们的系统运作方式，使用了简单的类比：

1. 衡量“做梦”（发散性创造力）

问题： 如何知道一个 AI 只是在用不同的措辞重复同一个想法，还是真的在探索新的领域？
旧方法： 统计词数或检查句子在表面上是否不同。这就像是通过一个厨师使用了多少种不同的词来描述“汤”来评判他，即便这些词描述的都是同一种味道。
新方法（语义熵）： 作者使用了**语义熵（Semantic Entropy）**的概念。

类比： 假设你问一个 AI：“如何过河？”
- 低创造力的 AI 可能会说：“造一座桥”、“建一座桥”、“搭建一座桥”。这些看起来不同，但意思完全一样。其“熵”（多样性）很低。
- 高创造力的 AI 可能会说：“造一座桥”、“操控无人机飞过去”、“把藤蔓绑在一起”、“等待水面结冰”。这些是真正不同的路径。其“熵”很高。
结果： 这种方法充当了一个“多样性测量仪”。它忽略了表面的文字变化，转而衡量 AI 探索了多少个不同的概念方向。研究发现，这种测量方式比以往的方法更能匹配人类心目中认为的“创造力”。

2. 衡量“做事”（聚合性创造力）

问题： 产生天马行空的念头很容易；但确保这些想法能真正解决问题却很难。AI 可能会建议通过“飞龙”来过河，这虽然有创意，但毫无用处。
旧方法： 使用单个 AI 评审员或人类来阅读答案。这既缓慢、昂贵，又难以规模化。
新方法（基于检索的多智能体团队）： 作者构建了一个由专门的 AI “评审员”组成的团队，他们协同工作，但加入了一个巧妙的设计以节省成本和时间。

类比： 想象一个专家小组（包括一名安全官、一名可行性专家和一名故事评论家）正在评审一个项目。
- 旧方法： 每次他们发言时，都要从头开始阅读整个对话历史。这就像是在开会时，每个人在说话前都要重新读一遍前 100 页的笔记。这会让内容变得臃漫且昂贵。
- 新方法： 团队使用了一个“智能档案系统”。他们不再重读所有内容，而是只调取与当前讨论点相关的特定笔记。
结果： 这种“基于检索”的方法在保持与人类专家同样准确度的同时，将计算成本降低了 63%。它确保了 AI 不仅仅是在胡言乱语，而是真正完成了任务要求。

3. 重大发现：两种不同的技能

该论文最令人惊讶的发现是，这两种技能——“做梦”与“做事”——并不会自动同步增长。

类比： 想想看一辆汽车。你可以拥有一台非常强大的引擎（聚合性/任务达成能力），它能完美地把你送到目的地，但这并不意味着驾驶员擅长在越野路段进行探索（发散性/创造力）。
发现： 随着 AI 模型在遵循指令方面变得越来越大、越来越聪明（聚合性），它们并不一定会变得更擅长探索疯狂的新想法（发散性）。事实上，那些规模最大、最“正确”的模型，其探索性有时反而比小型模型更低。论文指出，目前的训练让 AI 变得更擅长于“正确”，但未必会让它们变得更有“创造力”。

4. 测试系统

作者在三个完全不同的“游乐场”中测试了这个框架：

MacGyver（马盖先）： 利用日常物品解决物理问题（例如：“如何用一只袜子修补漏水处？”）。
HypoGen： 提出新的科学研究构想。
BookMIA： 在特定的起点和终点之间创作创意故事。

在所有这三个案例中，他们的系统都成功测量了 AI 的想法有多“广”，以及最终解决方案有多“好”，证明了该系统可以跨越不同类型的创造力进行有效测量。

总结

这篇论文提供了一个通用的、自动化的创造力标尺。它将生成许多独特想法的能力与正确解决问题的能力分离开来。它表明，虽然 AI 在解决问题方面变得越来越强，但它并不一定会自动变得更有想象力，因此我们需要新的工具来衡量并鼓励那种特定的“创造力火花”。

技术摘要：针对开放式任务的语言模型自动化创造力评估

问题陈述

尽管大语言模型（LLMs）在推理和生成方面已取得显著进展，但其创造潜力的系统化量化仍然是一个难题。现有的创造力评估框架存在三个主要局限性：

任务耦合性： 大多数指标与特定领域（如编程、数学）紧密绑定，嵌入了强烈的领域假设，限制了泛化能力。
可扩展性问题： 依赖于精选的答案集、手工构建的评分标准以及大量的专家标注，使得评估具有主观性、资源密集型且难以规模化。
缺乏无参考指标： 当前的自动化方法往往无法区分真正的概念多样性与表层的表面变化（例如改写/释义）。

因此，该领域缺乏一种标准化的、自动化的、且与领域无关的方法来评估 LLM 在各类开放式任务中的创造力。

方法论

作者提出了一个完全自动化的、领域通用的框架，将测量机制与创造性任务本身解耦。该框架基于认知科学中关于发散性思维与聚合性思维的区别（Guilford, 1950）来使创造力操作化。

1. 发散性创造力：语义熵 (Semantic Entropy, SE)

为了衡量想法的广度与新颖性（发散性思维），作者借鉴了最初用于单答案问答中幻觉检测的语义熵（Farquhar et al., 2024）。

概念： 在开放式任务中，概率质量分布在语义不同的想法上，反映了模型对替代解决方案路径的探索，而非错误。
实现：
- 对于给定的查询，模型采样 $n=10$ 个候选解。
- 这些生成结果基于双向蕴含关系进行语义等价性聚类。
- 计算这些语义类别上的概率分布熵： $H(x) = -\sum P(C_i|x) \log P(C_i|x)$ 。
- 该指标在意义层面运行，避免了影响词级多样性指标（如 Distinct-n, Self-BLEU）的表层改写所带来的数值膨胀。

2. 聚合性创造力：基于检索的多智能体评判

为了衡量任务完成度、可行性及上下文适配性（聚合性思维），作者引入了一种新型的基于检索的多智能体评判框架。

动机： 传统的多智能体讨论框架（如 ChatEval）在每一轮都附加完整的讨论历史，这会导致在大规模基准测试中 Token 成本呈爆炸式增长。
机制：
- 专门的智能体（问题智能体、方案智能体、准则智能体）分析任务并将见解记录为“片段”。
- 智能体不再重放完整的历史记录，而是将片段嵌入向量数据库中。
- 在每一轮中，智能体通过余弦相似度仅检索 $k$ 个最相关的先前片段。
- 这种设计在保持多智能体审议的同时，将 Token 使用量较 ChatEval 降低了约 63%，从而实现了高效的规模化评估而无需牺牲准确性。

3. 实验设置

该框架在三个性质截然不同的领域进行了验证：

MacGyver（马盖先）： 非传统的物理问题解决（评估可行性、安全性、有效性）。
HypoGen（假设生成）： 科学研究构思（评估可行性、科学准确性、相关性）。
BookMIA（书籍创作）： 创意写作（评估连贯性、现实感、情节完整性）。

评估协议包含两个阶段：首先采样多个下一步续写以计算 SE（发散性），随后通过贪婪解码构建最终方案供多智能体评判（聚合性）。

关键结果

发散性创造力发现

有效性： 与余弦相似度、Self-BLEU 和 Distinct-n 指标相比，语义熵与人类对想法广度的判断表现出最高的一致性 ( $\kappa = 0.56$ )。
相关性： 步进级 SE 与唯一语义簇的数量呈正相关，与成对余弦相似度呈负相关，证实了它捕捉到了真正的概念多样性。
缩放行为： 与聚合性指标相反，发散性创造力并不随模型规模或时效性呈单调增长。 更大或更新的模型（如 LLaMA 3.3, GPT-4o）表现出的 SE 往往趋于稳定甚至比较小的模型有所下降。作者认为当前的训练范式可能更优先考虑解的正确性而非创造性探索。

聚合性创造力发现

性能： 基于检索的多智能体框架达到了与人类标注者相当的准确率（例如，在 MacGyver 任务上，GPT-4o 对比人类的准确率为 84.7% vs 82.7%），同时效率显著提高。
缩放行为： 聚合性创造力（任务完成度）确实随模型规模、时效性以及推理能力的加入而增长。像 GPT-4o 和 LLaMA 3.1 70B 这样的模型持续优于较小或较旧的模型。

维度间的关系

经验可分性： 语义熵（发散性）与聚合性创造力指标之间存在弱相关性。高多样性并不必然导致低任务完成度，高任务完成度也不保证高多样性。
解释： 这表明“创造性广度”与“任务正确性”是两个可以独立优化的不同维度。

意义与主张

本文声称建立了一个可复现且通用的 LLM 创造力自动化评估标准。其主要贡献包括：

一种无参考指标： 引入了语义熵作为一种鲁棒的、任务无关的度量方式，用于衡量发散性创造力，并与人类对新颖性和灵活性判断保持一致。
可扩展的评估： 开发了基于检索的多智能体框架，在保持高评估保真度的同时，将计算成本降低了 60% 以上，使大规模基准测试成为可能。
洞察模型行为： 提供了经验证据，表明当前的 LLM 训练范式优化了结构化推理和正确性（聚合性），但并未必然扩大创造性探索（发散性）。

作者总结道，通过将测量与创造性任务解耦，其框架为研究架构和训练选择如何塑造创造性行为提供了基础，为开发“创造性 AI”铺平了道路。

局限性

作者承认该框架依赖于基于 LLM 的判断，这本质上带有模型所编码的主观解释和先验知识。这可能导致非传统的解决方案被错误地判定为不可行。此外，为每个任务生成并聚类多个输出的计算开销对于极大规模的数据集仍是一个约束。