💬 NLP

Evaluating LLMs' Divergent Thinking Capabilities for Scientific Idea Generation with Minimal Context

本文提出了名为 LiveIdeaBench 的新基准，通过单关键词提示评估大语言模型在五个维度上的科学发散性思维与创意生成能力，研究发现该能力与通用智能指标相关性较弱，表明科学创意生成需要专门的评估体系及差异化的训练策略。

原作者： Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Ruan, Xuan Wang, Jixiang Hong, Peng Wang, Yang Liu, Hao Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给大语言模型（LLM）举办一场特殊的"科学头脑风暴大赛"。

为了让你更容易理解，我们可以把这项研究想象成在测试一群“超级天才”的发散性思维能力，而不是他们做数学题或背单词的能力。

1. 核心问题：聪明不等于有创意

想象一下，你有一个非常聪明的学生（比如一个智商极高的 AI），他能解出世界上最难的微积分题，也能背诵整本百科全书。但是，如果你给他一个词，比如“苹果”，问他：“你能想到多少种关于苹果的全新科学点子？”

传统测试（收敛性思维）：问“苹果从树上掉下来是因为什么？”（答案唯一：万有引力）。这测的是逻辑和知识。
这篇论文测的（发散性思维）：问“关于苹果，你能提出什么以前没人想过的科学实验？”（比如：用苹果皮做生物电池？研究苹果腐烂时的声波？）。这测的是创意和想象力。

作者发现，一个模型在“做数学题”上很厉害，并不代表它在“想新点子”上也很厉害。就像有的画家画画很绝，但未必擅长修钟表。

2. 他们是怎么测试的？（LiveIdeaBench 大赛）

作者设计了一个叫 LiveIdeaBench 的评测系统，就像是一个不断更新的“创意竞技场”：

题目极简：不像以前的考试给一大段背景材料，这次只给一个关键词（比如“量子力学”、“细菌”、“交通”）。这就像给画家只给了一张白纸和一支笔，看他能画出什么。
评委阵容：他们找来了 40 多个最顶尖的 AI 模型（包括 GPT-4, Claude, DeepSeek, Qwen 等）来当“生成者”。
裁判团：为了公平，他们又选出了 10 个最强的 AI 模型当“裁判”。这些裁判会像《Nature》或《Science》杂志的审稿人一样，从五个维度打分：
1. 原创性：点子够不够新？（是不是陈词滥调？）
2. 可行性：这个点子真的能做成吗？（还是天方夜谭？）
3. 清晰度：说得清楚吗？（能不能让人听懂？）
4. 流畅度：能不能一口气想出很多不同的点子？（是不是只会重复一种？）
5. 灵活性：换个领域（比如从物理换到生物），它还能保持高水平吗？

3. 令人惊讶的发现

比赛结果揭示了一些反直觉的真相：

“偏科”现象严重：
- 有些模型（如 claude-3.7-sonnet:thinking）是“全能学霸”，既擅长解题，又擅长想点子。
- 但有些模型（如 QwQ-32B-preview）是“偏科天才”。它在通用智力测试（做数学、写代码）中排名靠后，但在科学创意方面却能和顶级学霸打得有来有回！
- 这说明：通用智商高 $\neq$ 科学创意强。就像一个数学奥林匹克冠军，不一定能写出最棒的科幻小说。
字数不是王道：
- 很多人以为 AI 想得越多、写的越长，点子就越好。但研究发现，想法的长度和它的质量几乎没有关系。有时候，简短的一句话反而比长篇大论更有创意。
不同模型有不同特长：
- 有的模型特别擅长“天马行空”（原创性高），但点子可能有点不切实际。
- 有的模型特别擅长“脚踏实地”（可行性高），但点子可能比较保守。
- 这就像组建一个科研团队，你需要一个“疯狂科学家”来提想法，也需要一个“严谨工程师”来落地执行。

4. 这对我们意味着什么？

这项研究告诉我们，未来的 AI 发展不能只盯着“让它更聪明（做更多题）”这一条路。

需要专门的训练：如果想让 AI 帮人类做科学发现，可能需要专门训练它的“发散思维”能力，而不是只让它刷题。
人机协作的新模式：未来的科学实验室里，可能会是这样分工的：
- 人类科学家负责提出大方向和伦理把关。
- 高创意 AI 负责像“喷气式飞机”一样，瞬间产生几百个疯狂的假设。
- 高可行性 AI 负责像“过滤器”一样，把这些假设筛选成可执行的实验方案。

总结

这篇论文就像是在告诉 AI 开发者：“别只盯着 AI 的智商分数看了，它的‘脑洞’大小才是科学创新的关键！” 他们开发了一个新的尺子（LiveIdeaBench），专门用来衡量 AI 能不能像人类科学家一样，从简单的线索中迸发出改变世界的火花。

这是一份关于论文《Evaluating LLMs' Divergent Thinking Capabilities for Scientific Idea Generation with Minimal Context》（评估大语言模型在最小上下文下的科学思想发散性思维能力）的详细技术总结。

1. 研究背景与问题 (Problem)

现有评估的局限性：当前的大语言模型（LLM）评估基准（如 LiveBench 等）主要侧重于收敛性思维（Convergent Thinking），即要求模型在丰富的上下文（如论文摘要、完整文章）中推导单一正确答案。这些基准无法有效评估模型在最小上下文（如单个关键词）下生成新颖科学假设的发散性思维（Divergent Thinking）能力。
科学发现的核心需求：科学进步往往依赖于从有限信息中产生新颖假设和概念飞跃的能力，而不仅仅是整合现有知识。
智力与创造力的关系未明：在人类心理学中，一般智力（IQ）与创造力之间的关系存在争议（如阈值理论）。在 LLM 领域，尚不清楚模型在通用智力基准上的高分是否必然转化为科学思想生成的创新能力。
缺乏专用基准：目前缺乏一个系统性的基准，专门用于评估 LLM 在缺乏详细背景提示的情况下，基于单一关键词生成多样化、可行且原创的科学思想的能力。

2. 方法论 (Methodology)

作者提出了 LiveIdeaBench，一个全面的评估基准，旨在量化 LLM 在科学领域的发散性思维能力。

核心设计：
- 输入：使用 1,180 个 覆盖 22 个 科学领域（如物理、生物、金融等）的高影响力科学关键词作为提示（Prompt）。
- 约束：要求模型仅基于单个关键词生成科学思想，限制回复长度（100 词以内），模拟“最小上下文”的头脑风暴场景。
- 评估对象：涵盖了 41 个 最先进的 LLM（包括 OpenAI, Anthropic, Google, DeepSeek, Qwen, Mistral 等系列的 40+ 个模型）。
评估维度（基于 Guilford 的创造力理论）：
1. 原创性 (Originality)：思想的新颖性和独特性。
2. 可行性 (Feasibility)：技术实现的可能性和科学原理的合理性。
3. 清晰度 (Clarity)：表达的连贯性、逻辑性和可理解性。
4. 流畅性 (Fluency)：针对同一关键词生成思想的多样性和非冗余性（通过字母等级 A-D 映射为 1-10 分）。
5. 灵活性 (Flexibility)：模型在不同科学领域间保持性能一致性的能力（定义为其他四项得分分布的第 30 百分位数，即“短板”指标）。
评估机制 (LLM-as-a-Judge)：
- 动态陪审团：从 LiveBench 中选取表现最好的 10 个 模型组成动态评估陪审团（Critic Panel）。
- 去偏与采样：每个生成的思想由 3 个 随机抽取的陪审团成员独立评分（原创性、可行性、清晰度），取平均值以减少单个模型的偏差。
- 防拒绝机制：针对安全策略导致模型拒绝回答敏感关键词的情况，设计了二次尝试的“回退提示”（Fallback Prompt），将任务重新框架为学术研究背景，以公平评估其潜在能力。
- 动态更新：基准每月更新关键词库和模型列表，防止数据污染和过拟合。

3. 关键贡献 (Key Contributions)

提出 LiveIdeaBench：首个专门针对“最小上下文”下科学思想生成（发散性思维）的综合性基准，填补了现有评估体系的空白。
揭示“智力”与“科学创造力”的解耦：通过实证数据证明，模型在通用智力基准（LiveBench）上的表现与在科学思想生成上的表现相关性极弱（ $r \approx 0.357$ $r \approx 0.357$ ）。
- 典型案例：QwQ-32B-preview 在通用智力排名靠后，但在科学思想生成能力上与顶级模型 Claude-3.7-sonnet:thinking 相当。
- 反例：o3-mini-high 通用智力极高，但在科学发散性思维上表现平平。
发现架构与训练策略的独立性：
- 模型参数量大小并非决定发散性思维能力的唯一因素（例如 Mistral-small 在创造力上优于参数量更大的 Mistral-large）。
- 同一模型家族的不同变体（如 QwQ-32b vs QwQ-32b-preview）在通用智力上差异巨大，但在创造力上表现相似，表明发散性思维可能依赖于特定的训练目标或数据分布，而非单纯的推理能力。
思想质量与长度的弱相关性：研究发现，生成思想的长度（包括思维链的长度）与思想质量（原创性、可行性等）之间几乎没有相关性（ $r^2 < 0.01$ ），表明有效的科学构思并不依赖于冗长的逻辑推演。

4. 主要结果 (Results)

模型性能差异：
- 综合表现优异：DeepSeek-R1 在所有维度（原创性、可行性、清晰度、流畅性、灵活性）上表现出极强的均衡性，是综合得分最高的模型之一。
- 领域特异性：不同模型在不同学科表现各异。例如，Gemini-2.0-flash-thinking-exp 在人类学表现突出，Claude-3.7-sonnet:thinking 在化学、医学和数据科学表现最佳，DeepSeek-R1 在物理学表现更强。
帕累托前沿分析：
- 在“原创性”与“可行性”之间存在明显的权衡（Trade-off）。Claude-3.7-sonnet:thinking 倾向于高原创性但中等可行性，而 Nova-pro-v1 则相反。
- DeepSeek-R1 和 QwQ-32b 等模型在两者之间取得了较好的平衡。
拒绝率分析：部分安全对齐严格的模型（如 Claude-3.5-Haiku）在面对敏感关键词时拒绝率较高，但通过回退提示机制，大部分模型仍能生成相关思想，说明安全限制可能低估了其创造力。
人类专家验证：针对“偏微分方程”领域的 22 个思想进行的人类专家盲测显示，LLM 评委在“原创性”和“清晰度”上与人类专家有显著正相关，但在“可行性”上相关性较弱（部分原因是人类专家间对可行性的判断本身存在较大分歧）。

5. 意义与启示 (Significance)

重新定义 AI 科学辅助角色：研究结果表明，LLM 在科学发现中的价值不仅在于解决已知问题（收敛性思维），更在于提出新假设（发散性思维）。现有的通用智力指标不足以预测模型在科学创新方面的潜力。
训练策略的启示：提升 LLM 的科学创造力可能需要与提升通用推理能力不同的训练策略（例如，奖励多样化的概念关联，而非仅仅追求逻辑准确性）。
人机协作的新范式：未来的科学 AI 系统应构建“混合智能”生态，利用不同模型的互补特性（例如，用高原创性模型生成假设，用高可行性模型进行验证），以加速科学发现。
评估标准的革新：呼吁建立更多针对特定认知过程（如发散性思维）的专用基准，而非仅依赖通用的综合智力测试。

总结：该论文通过 LiveIdeaBench 揭示了 LLM 在科学思想生成方面的独特能力图谱，证明了通用智力并非科学创造力的充分条件，并为未来开发专门用于科学创新的 AI 工具提供了重要的评估依据和理论指导。