🤖 AI

LLM Jaggedness Unlocks Scientific Creativity

本文引入 SciAidanBench 基准，旨在证明大语言模型在科学领域能力发展的不均衡、"锯齿状"特征，可通过集成方法被战略性地加以利用，从而在超越任何单一模型局限的同时，显著提升人工智能驱动的科学创造力。

原作者： Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图构建一台终极“创意机器”，以帮助科学家提出新的实验和发现。你可能会认为，随着这些机器（AI 模型）变得更大、更智能，它们在所有方面都会以平滑、可预测的方式变得更好。

但本文认为事实并非如此。相反，AI 的进步是“参差不齐”的。

不要把 AI 模型想象成一条平滑、平坦的道路，而要把它想象成一座“崎岖的山脉”。山脉的某些部分是高耸的巅峰，AI 在那里表现得像天才；而其他部分则是深邃的峡谷，AI 在那里跌跌撞撞、频频失败。有时，让山脉变得更高（增加模型规模）并不能帮助那些峡谷；它甚至可能让悬崖变得更加陡峭。

以下是研究人员发现的要点，使用了简单的类比：

1. “参差不齐”的景观

研究人员构建了一个名为SciAidanBench的测试。想象一个巨大的盒子，里面装着 155 个开放式科学问题，范围从“我们如何探测一种新的自然力？”到“我们如何将药物递送到特定细胞？”

他们让 30 个不同的 AI 模型回答这些问题。他们不仅仅想要一个正确的答案；他们希望模型能生成尽可能多独特且连贯的创意。

发现：

通用能力与科学能力： 一个在通用创意写作（如写故事）方面出色的 AI，并不一定在科学创意方面表现出色。这就像一位擅长烘焙蛋糕的厨师，却非常不擅长煎牛排。技能无法平滑地迁移。
“爆发”效应： 即使是最聪明的 AI 模型也不稳定。在某些问题上，它们会“爆发”出天才般的灵感，生成 50 个绝妙的创意；而在下一个问题上，它们可能只生成 2 个。更强的模型并不是在所有事情上都做得“更多”；它们只是在“尚可”和“惊人”之间有更大幅度的波动。
“尖峰”专家： 在单个模型内部，AI 可能在物理学方面是天才，却在生物学方面挣扎。它的知识不是一层平滑的毯子，而是一堆尖锐的尖刺。

2. 将“参差不齐”转化为超能力

通常，人们认为这些不均衡的技能是一个缺陷。研究人员说：不，这是一个特性。

如果你有一个团队，其中每个人擅长的领域都不同，你就可以组建一支超级团队。研究人员尝试了三种方法来组合这些“参差不齐”的 AI 模型，以创建一个元模型（一个协同工作的 AI 团队）：

延长思考时间（推理时计算）：
- 类比： 想象你让学生解一道数学题。如果你让他们脱口而出第一个答案，他们可能会出错。如果你告诉他们：“花 5 分钟思考，写下步骤，并检查你的工作”，他们的表现会好得多。
- 结果： 当允许 AI“思考”更长时间（在回答前生成更多的内部推理步骤）时，它产生的创造性科学创意显著增加。
汇聚知识（路由器）：
- 类比： 想象一家医院。你不会让心脏外科医生去治疗断腿。你会将病人转诊给专科医生。
- 结果： 研究人员构建了一个系统，该系统会审视问题。如果问题涉及物理学，它就将问题发送给最擅长物理学的 AI；如果涉及生物学，就发送给生物学专家。这个“路由器”团队击败了任何单个 AI 模型，因为它总是为任务选用最合适的专家。
共同头脑风暴：
- 类比： 想象一群艺术家在一个房间里。艺术家 A 画了一条线。艺术家 B 看到那条线后添加了一个形状。艺术家 C 看到这个形状后添加了颜色。他们彼此依托对方的工作进行创作。
- 结果： 研究人员让五个不同的 AI 模型轮流向同一个列表中添加创意。一个模型提出一个想法，下一个模型阅读它并尝试改进或扩展它。这种想法的“连锁反应”创造出了一套比任何单个模型独自所能提供的更丰富的解决方案。

3. 终极团队（Top-5-Parallel）

研究人员结合了上述三种方法。他们选取了排名前五的 AI 模型，让它们深入思考，并让它们在一个头脑风暴会议中协同工作，彼此可以看到对方的想法。

结果： 这支“超级团队”的表现超过了任何单个 AI 模型。它不仅仅是稍微好一点；它抚平了参差不齐的边缘。当一个模型处于“峡谷”（弱点）时，另一个模型处于“巅峰”，它们共同覆盖了整座山脉。

核心结论

本文得出结论，我们不应该只试图构建一个在所有方面都完美的“单一”AI。相反，我们应该接受 AI 发展不均衡的事实。通过认识它们的具体优势和劣势，并让它们以团队形式协同工作，我们可以释放出一种单台机器永远无法独自实现的科学创造力水平。

简而言之： AI 不是一台平滑、完美的机器。它是一个参差不齐、崎岖不平的景观。但如果你知道如何穿越这些岩石，并将合适的攀登者聚集在一起，你就能抵达最高的巅峰。

技术摘要：大语言模型的“锯齿性”解锁科学创造力

问题陈述

随着人工智能的进步，模型能力并未在任务、领域或规模上均匀提升。相反，进展遵循一条“锯齿状前沿”，其中能力分布不均且不规则。尽管先前的文献已识别出跨任务、模型规模、推理深度和问题复杂性的锯齿性，但针对科学创意生成这一具体背景，对该现象的系统性表征仍属探索不足。作者提出，科学创造力因其开放性和生成性，为揭示这些能力差异提供了理想的视角。此外，虽然以往提升大语言模型（LLM）多样性的努力往往依赖于计算密集型的训练干预或结构化的多模型工作流，从而限制了开放式的生成，但我们需要理解如何驾驭而非仅仅平滑这些锯齿边缘，以增强人工智能驱动的科学发现。

方法论

为了研究这一问题，作者引入了SciAidanBench，这是一个由布鲁克海文国家实验室的研究人员策划的基准数据集，包含 155 个开放式科学问题。这些问题涵盖六个科学领域：物理学（细分为基础物理、天体物理、同步辐射和凝聚态物理）、化学、生物学、神经科学、纳米科学和环境科学。问题的措辞旨在鼓励概念生成（例如，“提出一种……的方法”），而非事实检索。

该研究评估了来自 8 个提供商（包括 OpenAI、Anthropic、Google 以及 LLaMA 3.3 和 Mistral 等本地模型）的19 个基础模型的 30 个变体。评估协议遵循AidanBench方法论：

迭代生成：对于每个问题，提示模型生成初始想法（ $r_1$ ），然后迭代地重新提示以生成后续想法（ $r_2, r_3, \dots$ ），同时保持对先前输出的上下文记忆。
双重约束评估：每个新想法必须同时具备连贯性（逻辑一致且回答提示）和新颖性（与所有先前回答不同）。
评分指标：
- 基于嵌入的新颖性：使用预训练嵌入模型计算新回答与先前回答之间的余弦距离。
- 基于 LLM 的新颖性：裁判 LLM（o1-mini）评估与先前回答的相似度得分。
- 连贯性：裁判 LLM 在 0–100 的尺度上对逻辑一致性进行评分。
- 当回答的新颖性（<0.15）或连贯性（<15）低于阈值时，生成停止。有效回答的总数作为创造潜力的代理指标。

主要贡献

SciAidanBench：首个专门设计用于通过跨不同科学子领域的持续开放式想法生成来衡量大语言模型科学创造力的基准。
锯齿性的表征：系统性地证明了锯齿性在三个不同层面显现：
- 跨任务层面：通用创造力的提升并不能均匀地转化为科学创造力。
- 提示层面：更强的模型表现出高度变异性，在特定问题上显示出创造力的“爆发”，而在其他问题上则表现挣扎。
- 领域层面：单个模型呈现出碎片化的内部特征，在不同科学子领域中的优势分布不均。
元模型集成：提出并评估了将锯齿性视为资源的集成策略。作者引入了组合模型的机制：
- 推理时计算：利用推理令牌来扩展解空间。
- 知识池化：将问题路由到具有特定领域优势的模型。
- 头脑风暴：实现跨模型想法细化，使模型能够基于彼此输出进行构建。
- Top-5-Parallel：整合上述三种机制的配置。

结果

跨任务分歧：虽然通用创造力与科学创造力呈正相关（ $r=0.76$ ），但这种关系并不均匀。在通用创造力中排名靠前的模型，在科学创造力中未必排名靠前。例如，OpenAI 模型显示出强大的通用创造力，但在科学任务中趋于停滞；而 Anthropic 模型相对于其通用表现，在科学创造力方面表现更优。
提示层面的变异性：更强的模型（如 o3-high、Gemini-2.5-Pro）表现出更广泛的回答数量分布，表明其较高的平均得分是由特定提示上的高创造力“爆发”所驱动，而非均匀的提升。较弱的模型则显示出持续偏低且狭窄的分布。
领域碎片化：表现最佳的模型在各个子领域显示出明显的性能峰值。例如，Gemini-2.5-Pro 在凝聚态物理方面表现出色，但在纳米科学方面较弱；而 Claude-3.7-Sonnet-Thinking-16k 在神经科学方面最强，但在基础物理方面较弱。
集成的优越性：
- 推理时计算：推理模型（如 Claude-3.7-Sonnet-Thinking）的表现显著优于非推理变体，其性能与实际消耗的令牌数量相关，而非分配的预算。
- 知识池化：一个“路由器”集成（将问题路由到每个特定领域表现最佳的模型）在所有领域中都超越了最强的单个模型。
- 头脑风暴：一个“Top-5"集成（从五个最佳单个模型中采样）的表现优于所有单个模型。然而，一个"Top-5 提供商”集成（按提供商多样化，但不一定按能力多样化）未能超越最强的单个模型，这表明能力水平比单纯的提供商多样性更为关键。
- Top-5-Parallel：结合推理时计算、知识池化和头脑风暴的集成在通用和科学创造力基准测试中均取得了最高分，超越了任何单个模型或单一机制的集成。

意义与主张

该论文认为，锯齿性不仅仅是限制，而是 AI 进步的一种结构性资源。作者证明，不应将不均匀的能力分布视为需要通过扩展或对齐来平滑掉的缺陷，而是可以利用这些不规则性。通过元模型集成来协调异构模型，可以将碎片化转化为协同效应，从而将科学想法的生成放大到任何单个模型的极限之外。

作者得出结论，未来开放式科学想法生成的增益将越来越多地源于那些明确识别、衡量和协调锯齿性智能的系统。他们建议未来的研究应探索故意的提示扰动（例如跨领域种子生成），以访问未充分利用的创造性模式，并调查协作集成的最佳团队结构（层级式与水平式）。这项工作将 SciAidanBench 定位为科学构思的基准，同时也是揭示和利用模型能力结构性异质性的框架。