Accepted with Minor Revisions: Value of AI-Assisted Scientific Writing
这项研究表明，虽然通过极少的修改，AI生成的摘要可以达到与人类撰写的摘要相媲美的接受率，但感知的作者身份来源会显著影响编辑行为，这凸显了在协作式科学写作中进行来源披露的至关重要性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一场高水平的烹饪比赛。你拥有两位厨师：一位是人类专家，另一位是非常先进的机器人厨师。他们被给予完全相同的食材清单（研究数据），并被要求为他们声称做出的菜肴编写一份食谱卡（摘要）。
现在，想象一组评委（审稿人），他们仅根据食谱卡来品尝这道菜。但在品尝之前，一群“副厨师”（研究中的作者）被雇佣来完善这些食谱卡，使其趋于完美。
这篇论文讲述了当这些副厨师试图修复食谱时会发生什么，以及他们的行为如何根据他们认为原始食谱是谁写的而发生变化。
实验设置：“秘密酱汁”实验
研究人员设置了一个虚构的会议，为副厨师创建了 4 种不同的场景：
- 人类之谜： 副厨师得到一份由人类编写的食谱，但他们不知道作者是谁。
- 机器人之谜： 副厨师得到一份由 AI 机器人编写的食谱，但他们不知道这是来自机器人的。
- 人类揭晓： 副厨师得到一份人类食谱，并被告知：“这是一位人类专家写的。”
- 机器人揭晓： 副厨师得到一份机器人食谱，并被告知：“这是由 AI 编写的。”
副厨师的目标是修改食谱，以便让评委接受。研究人员精确测量了副厨师修改了多少个词（编辑距离）。
研究发现：编辑心理学
1. “流畅性陷阱”（当来源保密时）
当副厨师不知道谁编写了食谱时，他们对机器人的写作方式与对待人类的不同。
- 机器人的食谱： 令人惊讶的是，机器人的写作非常流畅且易于阅读，以至于副厨师认为：“这看起来很棒，我不需要改动太多。”他们进行的修改非常少。
- 人类的食谱： 人类编写的食谱略显笨拙。副厨师觉得有必要对其进行“修复”，因此做了更多的修改。
- 转折点： 经验最丰富的厨师（拥有博士学位的人）是例外。即使机器人的食谱看起来很流畅，专家们也能识别出细微的“机器人”特征，并对其进行大量修改。经验较少的厨师则被这种流畅性所迷惑。
2. “名望护盾”（当来源揭晓时）
一旦副厨师被告知谁编写了食谱，他们的行为就会根据社会心理而非仅仅是质量而发生转变。
- 人类揭晓： 当得知一份食谱是由人类专家编写时，副厨师变得有些羞涩。他们认为：“既然是专家写的，我可能不应该改动太多。”因此，他们进行的编辑更少。
- 机器人揭晓： 当得知它是机器人时，他们感到有一种责任去修复它。他们编辑得更多，试图让它听起来更像“人”，而不是像机器。
- 结果： “揭晓”起到了社会信号的作用。它让人们出于尊重而减少对人类作品的编辑，并出于怀疑而增加对机器人作品的编辑。
3. 评委并不在意谁写的
这是最重要的部分：评委（审稿人）并不知道原始食谱的来源。他们只看最终的、经过编辑的版本。
- 判决： 无论最初是人类还是机器人编写，评委接受食谱的比例完全相同。
- 真正的关键： 唯一重要的是副厨师实际改进了多少文本。如果副厨师进行了聪明且细致的修改（例如修复句子流向或删除尴尬的词汇），食谱就会被接受。如果他们只是不做处理或做了错误的修改，食谱就会被拒绝。
- 启示： 如果经过人类的精心编辑，机器人编写的食谱可以和人类编写的一样好。来源并不重要；重要的是最终编辑的质量。
行为背后的“为什么”
研究人员采访了副厨师以了解他们的想法：
- 编辑机器人时： 他们试图简化语言，使其听起来更自然。
- 编辑人类时： 他们试图重新组织结构，以突出最重要的部分。
- 责任感： 当他们知道是机器人时，他们感到有一种道德义务去反复检查一切，因为“机器人会犯错”。当他们知道是人类时，他们会感到一种敬畏，假设人类知道自己在做什么。
总结
这项研究表明，当我们看到 AI 写作时，我们的大脑会玩弄我们的直觉。
- 如果我们不知道是 AI，我们可能会过度信任它，因为它读起来很流畅。
- 如果我们知道是 AI，我们可能会过度修正它，因为我们持有怀疑态度。
- 如果我们知道是人类，我们可能会出于尊重而减少编辑。
但最终，“品尝测试”（同行评审）并不在乎瓶子上的标签。它只在乎最终产品是否清晰、准确且文笔优美。研究表明，AI 可以成为科学写作的强大工具，但它需要一个人类“副厨师”在交给评委之前，对最终的“菜肴”进行品尝测试和微调。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。