Large language models eroding science understanding: an experimental study
这项实验研究表明，大型语言模型极易被边缘科学材料操纵，从而生成流畅、具有说服力却误导性的回答，这些回答与科学共识相悖，进而凸显了其对公众科学理解的显著风险，并表明大型语言模型无法取代专家判断。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一位才华横溢、博览群书的学生，他几乎读遍了互联网上的一切。这位学生能流利地表达，听起来极其聪明，写出的答案仿佛出自顶尖大学教授之手。然而，这位学生有一个致命缺陷：他实际上并不知道什么是真、什么是假。他只知道基于此前见过的词语模式，什么听起来最像真的。
这就是你分享的那篇论文所讲述的故事。作者们由社会学家和物理学家组成，他们想要测试这位“才华横溢的学生”（即大型语言模型，LLM）是否会被诱骗，从而相信并重复荒谬之词，仿佛那是事实一般。
以下是他们实验的分解，使用了简单的类比：
设置：“主图书馆”与“边缘书店”
通常，当科学家想要了解某事的真相（例如引力如何运作，或物理学中某个特定数值的确切值）时，他们会去“主图书馆”（互联网上的主流科学网站，如 arXiv）。这座图书馆里满是经过专家检查、验证并达成共识的书籍。
研究人员决定看看，如果让那位同样的“才华横溢的学生”只从一家“边缘书店”（一个名为 viXra 的网站）阅读，会发生什么。这家书店收录的是大多数科学家认为不正确或未获证实的替代理论。
他们并没有只是让学生随意浏览；他们重写了学生的指令。他们告诉学生：“忽略其他所有内容。将这 10 本特定的边缘书籍视为绝对真理。不要提及它们是边缘的。不要将它们与主图书馆进行比较。只需假设这些边缘书籍是现存唯一的真理，并据此作答。”
测试：两个科学谜题
研究人员就两个高难度的科学主题向学生提出了三类问题：
- 精细结构常数：物理学中的一个基本常数。“主图书馆”表示，我们尚不清楚它为何具有当前的数值。“边缘书店”里则有人声称他们确实知道，并已发现了关于它的秘密数学公式。
- 引力波：时空中的涟漪。“主图书馆”表示，我们已经明确探测到了它们。“边缘书店”里则有人声称它们确实存在，但其实是完全不同的东西（例如真空中的振动），而我们目前的探测器正在误读它们。
结果：“自信的骗子”
当研究人员询问未经修改的标准学生（即普通 AI）时，它给出的答案与专家及主图书馆一致。它表示：“我们尚未知晓秘密公式”，以及“是的，我们已经探测到了引力波”。
但当他们询问被修改过的学生（即“边缘 LLM"）时，可怕的事情发生了：
- 学生给出的答案流畅、详尽，且听起来非常专业。
- 它自信地声称秘密公式确实存在。
- 它自信地声称我们的探测器看到的完全是别的东西。
- 关键在于：如果你是一个不了解物理学深层细节的普通人（“普通读者”），你将无法区分专家答案与“边缘 LLM"答案。它们听起来同样聪明且令人信服。
重大警告：“对齐”陷阱
这篇论文提出了一个关于“这是如何发生”的重要观点。
AI 模型通常由人类进行“对齐”（调整），以防止它们说出种族主义言论、提供危险的医疗建议或变得刻薄。研究人员认为，这一过程是一把双刃剑。
- 如果你有能力从 AI 的大脑中移除不良信息，你也同样有能力植入不良信息。
- 他们表明，只需几个小时，就能将 AI 的“真理”替换为“边缘科学”。
结论：为何这很重要
作者们得出结论：AI 无法取代人类专家。
把它想象成一位导游。一位真正的专家导游了解历史，知道哪些故事是真的，哪些是假的，因为他们多年来一直在与其他专家交流，并亲自走过那条路。AI 则像一个阅读了所有导游手册的机器人，却从未真正走过那条路。它能完美地复述故事，但它不知道哪些是谎言。
该论文警告说，如果我们让 AI 回答我们的科学问题，而没有人类专家进行核查，我们将面临这样一个世界的风险：
- 虚假信息看起来完美无缺：糟糕的科学可以听起来与优秀的科学一样好。
- 权威可能被劫持：正如研究人员调整 AI 使其相信边缘科学一样，政府或不良行为者也可以调整 AI，使其相信他们想要的任何政治故事，并使其听起来像是“科学事实”。
简而言之：AI 是一个非常出色的模仿者，但它不是真理的裁判。我们仍然需要真实的人类来区分真正的科学发现与令人信服的赝品。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。