AI evaluation may bias perceptions: The importance of context in interpreting academic writing
本文表明，在学术写作中利用汇总基准检测人工智能生成文本会在不同国家和学科间引入显著偏差，并主张特定情境的基准对于实现准确且公平的评估至关重要。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位才艺秀的评委，你的任务是找出哪些歌手使用了“魔法发声盒”（人工智能）来让自己听起来完美无缺。尚武和兰多尔·姚的论文指出，我们目前试图识别这些“魔法发声盒”的方法存在缺陷，因为它忽视了歌手们自然的背景。
以下是他们研究发现的拆解，使用了简单的类比：
问题：一刀切并不适用
研究人员发现，大多数现有方法使用单一的“黄金标准”清单来评判所有人。这份清单是通过观察人工智能如何改变文本而建立的，它假设所有人的写作都始于同一个起点。
类比：
想象你正在评判一场烹饪比赛。你有一份“可疑食材”清单，列出了人工智能厨师可能会使用的食材。
- 缺陷： 你将这份相同的清单应用于法国厨师、日本厨师和墨西哥厨师。
- 现实： 法国厨师自然地使用“黄油”和“青葱”等食材。日本厨师自然地使用“酱油”和“味噌”。
- 错误： 如果你的清单规定“如果你使用黄油，就是在作弊”，你会不公平地指控法国厨师使用了人工智能，尽管他们几个世纪以来一直在使用黄油。与此同时，你可能会漏掉那位使用了你清单未标记的不同食材组合的墨西哥厨师。
在论文中，“食材”是特定的词汇（如"notably"、"utilizing"或"fostering"）。研究表明，某些国家和学术领域在人工智能出现之前，就一直在始终使用这些词汇。
实验：“时间旅行”测试
为了证明这一点，研究人员查看了2021 年（人工智能写作工具尚未普及之前）的科学论文。
- 预期： 由于当时还没有人使用人工智能，“人工智能检测器”应该发现零人工智能使用情况。
- 旧方法的结果（合并基准）： 检测器陷入了混乱。它声称美国和英国的研究人员大量使用人工智能，而俄罗斯或巴西的研究人员几乎完全没有使用。
- 现实： 这是一个误报。检测器只是被这样一个事实搞糊涂了：英美科学家的自然写作风格看起来很像人工智能。它把“英国口音”误认为是“机器人声音”。
解决方案：定制清单
研究人员创造了一种新方法：国家和领域特定的基准。
他们不再为所有人使用一份巨大的清单，而是制作了 234 份微小的、定制的清单。
- 一份清单针对“美国的数学”。
- 一份清单针对“中国的经济学”。
- 一份清单针对“德国的心理学”。
类比：
现在，评委不再问法国厨师“你用了黄油吗？”（这对他们来说是正常的），而是问：“与你通常使用的量相比，你是否使用了额外的黄油？”
- 如果法国厨师使用正常量的黄油，评委会说：“清白”。
- 如果法国厨师突然使用了双倍的黄油，评委会说：“可疑”。
结果：谁受到了不公正的指责？
当他们将这些定制清单应用于2025 年（人工智能实际上已被使用）的论文时，他们发现旧方法正在制造一张扭曲的世界地图：
- 高估（虚假指控）： 旧方法使得英语国家（如美国和英国）以及经济学和人文学科领域的研究人员看起来使用人工智能最多。
- 原因？ 因为他们的自然写作风格在通用检测器看来已经很像“人工智能风格”了。
- 低估（漏报）： 旧方法使得俄罗斯、巴西、日本和东欧的研究人员，以及数学和物理科学领域的研究人员看起来很少使用人工智能。
- 原因？ 因为他们的自然写作风格与“人工智能风格”截然不同，以至于即使人工智能就在那里，检测器也无法识别出来。
为什么这很重要
该论文得出结论，如果我们继续使用“一刀切”的方法，我们将：
- 不公正地惩罚来自英语国家或社会科学领域的科学家，使他们看起来像是在作弊。
- 放过那些可能实际上在使用人工智能的人，仅仅因为他们的写作风格不同。
- 制造不平等： 它强化了某些群体“缺乏原创性”的观念，并非因为他们真的如此，而是因为测量尺是坏的。
底线：
要公正地判断一位科学家是否在使用人工智能，你不能只看他们使用的词汇。你必须了解他们是谁以及他们通常写什么。在你指控他们使用“魔法发声盒”之前，你需要知道他们是否天生就是“黄油厨师”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。