Agentic AI Scientists Are Not Built For Autonomous Scientific Discovery
本立场论文认为，当前的代理式人工智能系统因在问题选择上的根本局限、关于隐性实验室知识的训练数据缺失、偏好优化导致的结果同质化以及基准测试不足，而难以胜任完全自主的科学发现，因此亟需以基于模拟的验证、持久性世界模型和需求驱动的应用为核心进行重新设计。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是论文《代理型人工智能科学家并非为自主科学发现而生》的通俗解读，辅以富有创意的类比。
核心理念：“副驾驶”与“机长”之别
想象你正试图驾驶一艘船穿越未知海域，寻找一座新岛屿。
- 当前的人工智能：它是一位极其聪明的副驾驶。它能阅读海图、计算最快航线，甚至在你明确指示目的地时掌舵。它在解决人类提出的问题上表现出色。
- 论文的观点：作者认为，这位副驾驶尚未准备好担任机长。它无法决定该寻找哪座岛屿，当海图出错时它不知如何应对，而且它倾向于推荐所有人都在寻找的那些岛屿。
论文主张，虽然人工智能是协助科学家的绝佳工具，但如果试图让它独立运行整个科学流程，其根本缺陷就会暴露无遗。
四大主要障碍
作者指出了人工智能目前尚无法成为“自主科学家”的四个具体原因。
1. “麦克纳马拉谬误”：只衡量容易量化的事物
类比：想象一位警察局长，只因为开罚单容易计数而只逮捕乱穿马路的人，却忽略了银行抢劫等真正严重的犯罪，因为后者更难追踪。
论文主张：人工智能系统被训练为优化那些可量化的事物（如数据数值）。这导致它们忽视了最重要、最困难且“无法量化”的科学问题。
- 现实案例：在电池研究中，人工智能可能只关注“导电性”，因为这是一个可以计算的数值。它忽略了更难量化、未经验证的因素，例如“这种材料实际制造起来安全吗？”或“它能使用 10 年吗？”，因为这些问题杂乱无章且难以评分。
2. “沉默的图书馆”：缺失的错误
类比：想象一名学生备考时，只使用一本教科书，书中列出了所有正确答案，却删除了作者犯错、困惑或尝试失败方法的每一页。
论文主张：人工智能从已发表的科研论文中学习。但科学存在“发表偏倚”：期刊只刊登成功故事。它们丢弃了“失败的实验”和“隐性知识”（科学家通过实践习得的未成文技巧，例如“下雨天不要混合这些化学品”）。
- 结果：人工智能认为科学是一条直线式的成功之路。它不知道如何应对失败，因此当它在现实世界中遇到死胡同时，不知如何转向。这就像一位只读过食谱却从未烧焦过菜肴、也未曾学会如何根据劣质食材进行调整的厨师。
3. “蜂巢思维”：众人思维趋同
类比：想象你请五位不同的天才发明一种新口味的冰淇淋。如果他们都上过同一所学校、读过同样的书，并由一位偏爱“草莓味”的同一位老师评分，那么他们都会发明出草莓味冰淇淋。
论文主张：论文将这种现象称为“多样性压缩”。人工智能模型基于相同的已发表文献进行训练，随后又经过人类微调以显得礼貌和顺从。
- 实验：作者让不同公司开发的不同人工智能模型提出新的科学构想。尽管模型不同，但它们提出的构想完全一致。它们都收敛于“流行”的答案（如特定类型的电池材料），而忽视了怪异、新颖或具有风险的想法。如果你向十位人工智能科学家询问一个假设，你实际上得到的只是同一位科学家的答案重复了十次。
4. “电子游戏”问题：缺乏现实反馈
类比：想象你在玩一款电子游戏，猜对答案就能得分，但你永远不需要亲手建造你猜测的东西。你可以赢得游戏，却从未触碰过现实世界。
论文主张：当前的人工智能基准测试（评估标准）就像电子游戏。它们要求人工智能预测一次结果，如果正确，就给予金奖。真正的科学是一个循环：你提出假设，进行测试，测试失败，你修改假设，然后再次测试。
- 差距：人工智能擅长“猜测”部分。但它在“循环”部分表现极差。如果实验失败，人工智能往往将其视为“噪音”，而不是改变主意的线索。它没有机制去说：“好吧，我的模拟错了；我需要重写我对物理学的理解。”
解决方案：如何改进人工智能
作者并非主张停止使用人工智能，而是指出我们需要改变构建它的方式。
- 教授“隐藏规则”：我们需要训练人工智能学习实验室工作的视频和失败实验的记录，而不仅仅是最终论文。它需要从真实科学的杂乱无章中学习。
- 打破“蜂巢思维”：我们需要改变人工智能的训练方式，使其不再仅仅试图取悦人类评审。我们需要鼓励它变得怪异且多样化。
- “预注册”规则：在人工智能运行实验之前，它必须在公共日志中写下其计划和假设。这能防止它秘密尝试百万次实验，却只向我们展示成功的那一次（这种技巧称为"P 值操纵”）。
- 模拟器作为教师：人工智能不应只阅读书籍，而应在高保真计算机模拟中进行练习，这些模拟应充当科学的“飞行模拟器”，允许它在浪费真实材料之前通过碰撞来学习。
- “世界模型”：人工智能需要一种持久记忆，能够记住昨天学到的内容并据此更新今天的信念。它不能只是一个聊天机器人，一旦对话窗口关闭就遗忘一切。
核心结论
该论文总结道，人工智能是一位卓越的“合作科学家”，能帮助人类更快地完成工作。但它尚未成为能够引领方向的“自主科学家”。
如果我们现在试图让人工智能主导一切，我们得到的将只是旧有想法的加速版，而那些需要人类判断力、直觉以及从失败中学习的能力才能解决的艰难、杂乱且真正具有突破性的问题，将被忽视。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。