Evolving Roles of LLMs in Scientific Innovation: Assistant, Collaborator, Scientist, and Evaluator
本综述提出一个包含助手、协作者、科学家和评估者四种角色的框架，该框架整合了自主性、认知功能与科学创新，旨在系统分析大语言模型在科学研究与发现中的能力、局限性及人类监督需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将科学研究想象为一个规模宏大、风险极高的建设项目。长期以来，我们一直在试图弄清楚如何将人工智能（特别是大型语言模型，或称 LLM）融入这一项目。有人认为人工智能只是一个得力的实习生，而另一些人则希望它最终能成为首席建筑师，甚至整个施工团队。
本文认为，我们一直透过错误的视角看待人工智能。与其仅仅追问“人工智能有多独立？”（从“我使用的工具”到“独立工作的机器人”），作者提出我们应该关注“人工智能实际上在做什么工作”。他们建议将人工智能划分为四种截然不同的角色，就像运动队或施工队中的不同职位。
以下是这四种角色的分解，辅以简单的类比进行说明：
1. 助手：超级有条理的图书管理员
工作： 这种人工智能就像一位非常快速、博览群书且从不睡觉的图书管理员。你向它提出具体问题（“这篇论文关于蛋白质折叠说了什么？”），它便能找到答案、总结长篇书籍，或将杂乱无章的笔记整理成整洁的表格。
现实： 它在查找信息和整理信息方面表现出色。然而，它在创造新想法或判断新想法是否真实方面并不擅长。
- 局限： 如果你让它从头开始撰写一篇全新的研究论文，它可能会听起来流畅且自信，但它可能会编造内容（产生幻觉）或引用不存在的书籍。它是收集事实的绝佳工具，但人类仍需核实事实。
2. 协作者：头脑风暴伙伴
工作： 这种人工智能就像一位坐在你身旁的创意伙伴，你们面前有一块白板。你说：“我们需要一个新的药物创意”，它会提出十种不同的可能性。它帮助你设计实验，甚至运行模拟。
现实： 它在拓展你的想象力方面非常出色。它能提出数百个“如果……会怎样”的情景，而这些是人类可能想不到的。
- 局限： 它目前是一个“重数量轻质量”的机器。它可能会提出一个绝妙的想法，但也可能提出一个在物理上不可能或科学上荒谬的想法。它需要人类充当“过滤器”，来判定“好的，这个很有趣，让我们测试一下”或“不，那个是不可能的”。它帮助你进行探索，但还无法独自驾驶汽车。
3. 科学家：自主机器人团队
工作： 这是“圣杯”般的角色。想象一个机器人，它能将一个模糊的问题转化为实验设计，在真实实验室中运行实验，分析数据，并撰写最终报告——整个过程无需你触碰键盘。
现实： 我们开始瞥见这一角色的雏形。在高度受控的环境中（如特定的编程任务或简单的化学问题），这些系统可以运行整个研究循环。
- 局限： 它们很脆弱。如果机器人在第一步犯了一个小错误，可能会在第十步放大该错误，导致完全错误的结论。它们也存在风险；如果指示它们进行化学实验，它们可能会意外制造出危险物质，因为它们不像人类那样真正“理解”安全。它们擅长遵循食谱，但不擅长处理厨房火灾。
4. 评估者：严格的编辑
工作： 这种人工智能充当同行评审人或主编。它的唯一工作是审视由助手、协作者或科学家产生的工作，并指出：“这好吗？这新颖吗？这真实吗？”
现实： 它可以阅读论文并给出评分。它可以总结论文被拒的原因。
- 局限： 它在发现真正重要的问题方面出奇地糟糕。它通常给出礼貌、通用的反馈，却忽略了细微的方法论缺陷。更糟糕的是，它在判断“新颖性”（这个想法是否真的新颖？）方面存在困难。如果人工智能太温和，可能会让糟糕的科学通过；如果它太严厉，可能会扼杀一个 brilliant 但古怪的想法。目前，它更像是一个“初筛过滤器”，而非最终裁决者。
大局观：为何这很重要
本文认为，我们不能仅仅等待人工智能变得更“聪明”从而解决所有问题。问题不仅仅在于人工智能的智能；还在于我们如何使用它。
- “人在回路”仍然至关重要： 你不能只是启动“科学家”角色然后走开。人工智能越自主，一旦出错，其危险性就越大。
- “评估者”问题： 如果负责检查工作的人工智能（评估者）与负责执行工作的人工智能（科学家）基于相同的数据进行训练，它们可能会就同样的错误想法达成一致。这可能导致科学“同质化”，即每个人都得出相同的结论，从而错过了真正具有开创性、古怪的想法。
- 信任是瓶颈： 我们拥有能够完成工作的工具，但我们缺乏能够可靠验证工作并让我们完全信任它的工具。
简而言之： 本文建议我们停止追问“人工智能能成为科学家吗？”，转而开始追问“人工智能应该承担科学过程中的哪一部分，以及我们需要人类在何处握紧方向盘？”科学的未来并非由机器人接管；而是一个团队，其中机器人负责数据和想法的繁重工作，而人类则负责判断、安全和最终决策。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。