💻 computer science

AGC-Bench: Measuring Artificial General Creativity

本文介绍了 AGC-Bench，这是一个全面的基准测试与评估框架，它建立了一个统一的人工通用创造力衡量标准，揭示了与通用智能相区别的单一创造力因子，同时证明了顶尖人类创作者仍然优于当前的尖端大语言模型。

原作者： Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Roger Beaty, Vijeta Deshpande, Clin K. Y. Lai, Anna Attuch, Namrata Shivagunde, Swastik Roy, Rajkumar Pujari, Paul V. DiStefano, Sherin Muckatira, Claire E. Stevenson, Mikhail Gronas, Anna Rumshisky

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的测试库，旨在衡量不同人的“创造力”：有些测试让你想出砖块的新用途，有些让你写一个有趣的笑话，还有些让你解决科学难题。长期以来，研究人员一直在争论：创造力是一种能让你在所有这些领域都表现出色的“超级力量”（就像擅长数学可能有助于学习物理一样），还是由一系列独立的技能组成的（比如你可能是一位伟大的诗人，但在工程学方面却一窍不通）？

现在，我们有了能够写故事、解决问题和讲笑话的人工智能（AI）模型。但我们之前一直缺乏一种方法来衡量 AI 的创造力是一种通用的超级力量，还是仅仅是一套孤立的技巧。

这篇论文介绍了一个名为 AGC-Bench 的全新、庞大的“人工智能创造力健身房”。以下是他们所做的工作和发现，通过简单的解释呈现如下：

1. 构建终极创造力健身房

研究人员不仅仅是制作了一个新测试。相反，他们扮演了图书管理员和侦探的角色。他们扫描了超过 3,000 篇科学论文，以寻找 AI 领域出现过的每一个创造力测试。从这如山般的论文中，他们挑选了 78 个不同的测试（例如“头脑风暴”测试、“故事讲述”测试和“幽默”测试），并构建了一个统一的系统来同时运行它们。

这就像是建造了一个单一的健身房，里面有跑步机、举重架、攀岩墙和游泳池，并且所有的器材都经过校准，用以测量同一名运动员。他们在这座健身房里测试了 83 个不同的 AI 模型。

2. “裁判”问题与新裁判员

当你要求一个 AI 给另一个 AI 的笑话或故事打分时，AI 裁判可能会产生偏差——有时过于严苛，有时又过于宽松。这就像有一个偏袒某队或讨厌某队的裁判。

为了解决这个问题，研究人员使用了一种被称为**裁判响应理论（Judge Response Theory）**的巧妙技巧。他们让三个不同的“超级 AI”裁判对每一个答案进行评分。然后，他们利用数学方法来确定哪个裁判是“严厉的教练”，哪个是“宽容的教练”。他们调整了分数，使得每个人都能得到公平的评判。最后，他们训练了一个新的开源 AI（称为 AGC-Judge）来充当一个完美的裁判，它能模拟这个公正的专家小组，以便以后任何人都可以直接使用，而无需依赖三个昂贵的超级 AI。

3. 重大发现：创造力是一体还是多元？

这是本文的核心问题。他们问道：如果一个 AI 擅长写故事，它是否会自动擅长解决科学问题？

答案是： 基本是的。
通过分析得分，他们发现 AI 的创造力表现得像是一个单一且强大的引擎。他们称之为 “C 因子”（类似于人类的一般智力“g 因子”）。

比喻： 想象创造力是一把手电筒。如果一个 AI 拥有一把明亮的手电筒（高“C”值），它就能在所有不同的测试中都发出亮光，无论是写诗还是开玩笑。
数据： 这单一的“C 因子”解释了模型之间 81.5% 的差异。如果你知道一个 AI 在某项创意任务上的表现，你几乎就能预测它在几乎任何其他创意任务上的表现。

然而，就像人类可能更擅长写作而非数学一样，顶尖的 AI 模型仍然存在细微的偏好。有些模型在幽默方面稍强，而另一些在科学构思方面稍强，但整体的“创意引擎”是相同的。

4. AI 的创造力只是“推理”的伪装吗？

有些人认为：“也许 AI 并不是在进行创作；它只是非常擅长逻辑和事实。”
研究人员通过要求模型“展现创造力”与“运用逻辑”来进行测试。

结果： 告诉 AI “要具有创造力”对得分的提升，远比告诉它“使用你的推理大脑”要大。这证明了该测试实际测量的是创造力，而非仅仅是逻辑。

5. 人类 vs. AI：谁更具灵活性？

他们将 AI 的结果与参加相同测试的一组真实人类进行了对比。

发现： 人类的创造力是非常“专业化”的。一个擅长写诗的人可能并不擅长解决工程难题。人类的创造力是分属于不同的“桶”中的。
AI 的差异： AI 表现得非常“通用”。一个擅长一件事的 AI 通常也擅长所有事。它不像人类那样具有专业分化。
胜者： 尽管 AI 更有灵活性，但面对最难的任务时，最优秀的人类依然击败了最优秀的 AI。顶尖的人类比顶尖的 AI 稍微领先一点，但 AI 正在迅速追赶。

总结

这篇论文构建了一个巨大、公平且标准化的游乐场，用于衡量 AI 的创造力。他们发现，AI 的创造力是一个单一的、通用的能力（就像一个超级电池），它为各种类型的创意任务提供动力，而不是一系列零散的技能。虽然最优秀的 AI 已经非常接近最优秀的人类，但顶尖的人类仍然保持着领先地位，且人类的创造力比 AI 那种“全才型”的方法更具专业分化。

他们已经向公众发布了所有的工具、数据和那个“公平的裁判”AI，以便他人可以持续测试并改进这些模型。

技术摘要：AGC-Bench：衡量人工通用创造力

问题陈述

关于创造力究竟是一种通用能力（类似于斯皮尔曼的智力 $g$ 因子）还是一系列领域特定技能的争论，在创造力研究领域已久。虽然大语言模型（LLMs）越来越多地被要求进行创造性输出，但该领域仍缺乏统一的基础设施来评估模型的创造力是跨领域泛化的，还是保持在孤岛状态。现有的评估手段零散分布在数百个异构的基准测试中，且评分协议互不兼容，这使得在经验上难以确定一个在创意写作方面表现出色的模型是否也具备强大的科学构思、幽默感或问题解决能力。此外，对“LLM 作为评判者”（LLM-as-a-judge）的依赖引入了系统性的宽容或严苛偏差，从而掩盖了真实的性能差异。

方法论

1. AGC-Bench 构建

作者引入了 AGC-Bench，这是一个通过符合 PRISMA 标准的系统性文献综述构建的元基准测试。

文献综述： 从 3,101 篇候选论文（2018–2025）中，团队识别出了 497 个独特的基准测试。
入库流水线： 一个智能体工作流将其中 78 个基准测试转化为标准化的、可运行的 HELM 式场景。这包括 67 个纯文本数据集和 11 个多模态场景。
分类法： 纯文本数据集根据人类创造力研究被组织为六个领域：头脑风暴（Brainstorming）、问题解决（Problem Solving）、STEM、故事/叙事（Story/Narrative）、修辞语言（Figurative Language）以及幽默（Humor）。
评估规模： 对 83 个前沿 LLM（包括专有模型和开源权重模型）进行了这些数据集的评估。每个（模型，数据集）对在 $n=50$ 个条目上进行评分，并通过自助法（bootstrap）确认了排名稳定性。

2. 评分与校准（评判者反应理论）

为了解决自动化评分中的偏差，作者应用了评判者反应理论（Judge Response Theory, JRT）：

三评判者小组： 使用了计划缺失的“三选二”设计，即每个条目由三个前沿 LLM 评判者（Gemini-3-Flash, Grok-4.1-Fast, GPT-4.1-mini）中的两个进行评分。
贝叶斯校准： 拟合了一个贝叶斯等级响应模型（GRM），以恢复每个评判者的严苛度和区分度参数，从而纠正系统性的宽容或严苛倾向。
AGC-Judge： 一个在 48,299 条经过 JRT 校准的评分上进行微调的 Qwen3-30B-A3B-Instruct 模型，被用于创建 AGC-Judge。该模型能以高精度（ $\rho \ge 0.97$ ）复制三评判者集成模型的评分，并能以高保真度（ $\rho = 0.83$ ）预测未见基准测试的评分。

3. 心理测量分析

研究采用了针对 83 个模型 $\times$ 6 个领域的因子分析，以测试是否存在通用的创造力因子。

外部效度： 该基准测试的构念效度通过以下方式锚定：纯流体推理（ $G_f$ ）探针（Lewis-Mitchell 反事实字母串类比）、人类评分的创造力测试集（MuCE），以及模型内部干预（提示模型“具有创造力”与“具有效能”，以及切换推理模式）。
人类对比： 一个包含五个任务的子集（AGC-Human）允许在 224 名人类参与者与 125 次 LLM 评估之间进行直接比较。

关键结果

1. 通用创造力因子（ $c$ ）的存在性

对 83 个模型的因子分析显示，存在一个单一且占主导地位的创造力因子，记作 $c$ ，它解释了六个领域中 81.5% 的方差（Cronbach's $\alpha = 0.96$ ）。

可分离性： 虽然 $c$ 与流体推理（ $\rho = 0.55$ ）和通用知识（ $\rho = 0.62$ ）相关，但它在统计上与两者都是可分离的。它也与模型规模是可分离的，尽管总参数量呈中度相关（ $\rho = 0.69$ ）。
鲁棒性： 该因子在剔除流体推理后、在不同评分家族（基于公式 vs. LLM-judge）下以及在模型子采样下依然存在。

2. 领域特定的性能差异

虽然存在通用因子，但性能并非统一。

排行榜： 专有前沿模型（如 Claude Opus 4.7, GPT-5.4/5.5）在综合排名中领先，而开源权重模型（如 GLM-5.1）紧随其后。
解离现象： 特定模型表现出不同的优势。例如，kimi-k2.5 在问题解决领域排名第一，但在其他领域并未进入前 5 名；而 claude-opus-4.6-fast 在修辞语言领域显著领先。

3. 对创造性特定提示词的敏感性

干预实验表明，该基准测试追踪的是创造力本身，而非通用推理：

提示模型“具有创造力”导致了巨大的性能提升（ $d_z = +1.40$ ），而启用推理能力产生的偏移则小得多（ $d_z = +0.34$ ）。

4. 人类与 LLM 的创造力

在配对的人类子集上：

领域通用性： 创造力在 LLM 中比在人类中更具领域通用性（ $\alpha = 0.64$ vs. $\alpha = 0.42$ ）。
性能天花板： 最强的人类表现者仍领先于最强的 LLM 0.12 个标准差，尽管前沿模型在构思和创意写作任务上正在接近人类水平。

核心贡献

AGC-Bench： 一个大规模元基准测试，包含 78 个数据集（67 个纯文本，11 个多模态），并在统一的评估框架下进行整合，其规模比以往工作提升了一个数量级。
AGC-Judge： 一个开源权重的微调评分模型，能够以极低的成本复现三个前沿评判者组成的专家组共识，实现了可扩展且可重复的创造力评估。
心理测量基础设施： 一个结合了 PRISMA 系统性综述、智能体入库和 JRT 校准的可重复流水线，为“人工通用创造力”假设建立了正式测试。
经验证据： 首次大规模证明了 LLM 的创造力在很大程度上是单维度的（一个通用的 $c$ 因子），并且与通用智能和推理是相互独立的。

意义

本文提供了第一个实证测试，旨在探讨 AI 的创造力究竟是一种通用能力还是领域特定技能。通过恢复一个强大的通用创造力因子（ $c$ ），作者表明，AI 的创造力与智能类似，可能是一种可迁移的能力，会随着模型规模和训练而扩展，而非仅仅是特定任务的涌现属性。AGC-Bench、入库工具和 AGC-Judge 的发布，为社区提供了一个标准化的基础设施，使其能够超越碎片化的、单一领域的评估，向全面理解 AI 创造力迈进。作者指出，虽然目前的模型正在接近人类水平，但顶尖人类的表现仍然领先，且该基准测试目前尚缺乏理论上的上限，仅作为衡量当前前沿水平的相对指标。