Algorithmic Penalty for Non-Native Voices: A Three-Arm Diagnostic Accuracy Audit of Five Commercial AI Text Detectors Against Pre-LLM Scientific Literature — Protocol for the AUDIT-AI Study
AUDIT-AI 研究是一项预注册的三臂诊断准确性审计，旨在量化商业 AI 文本检测器是否系统性地将来自非英语母语机构的长篇科学文献误分类为 AI 生成，并将其与母语作者的作品及经证实的 AI 改写作品进行对比。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一群科学家正试图弄清楚一个写作领域的“测谎仪”是否真的公平，或者它是否仅仅是对英语为第二语言的人群存在偏见。
这篇题为 AUDIT-AI 的论文是一个详细的配方（实验方案），旨在测试五种声称能够识别 AI 生成文本的流行商业工具。研究人员想要看看这些工具是否会因为作者来自非英语国家，就将人类撰写的科学论文错误地标记为“伪造”。
以下是使用简单类比对该研究进行的拆解：
1. 问题所在：“口音”偏见
把 AI 检测器想象成夜店里的保安。这个保安受过训练，专门拦截“外籍人士”（非母语者），并放行“本地人”（英语母语者）。
- 现实情况： 2023 年一项著名的研究发现，这个保安在识别母语者方面表现出色，但却总是拦截非母语者，即便对方说的是真话。保安将“简单的英语”（非母语者常用的英语）与“机器英语”混淆了。
- 疑问： 这种不公平现象是否也会发生在长篇、严肃的医学研究论文上，还是说这只是短篇学生论文才有的问题？
2. 实验设计：一场三方竞赛
为了测试这一点，研究人员正在组织一场由三组“选手”（即实验组/Arms）参加的比赛：
- 选手 A（母语团队）： 50 篇由英语国家（如美国、英国或澳大利亚）作者撰写的真实、高质量医学论文。
- 选手 B（非母语团队）： 50 篇由非英语国家（如中东、亚洲或拉丁美洲）作者撰写的真实、高质量医学论文。
- 选手 C（机器人团队）： 100 篇并非由人类撰写的论文。这些论文是由 AI（Claude Sonnet）生成的，该 AI 被喂入了选手 A 和选手 B 的数据，并被指令对其进行重写。这一组代表了检测器原本应该找出的“真实 AI”。
转折点： 研究人员并不是在测试整篇论文。他们只测试**引言（Introduction）和讨论（Discussion）**部分。
- 为什么？ 把论文的“方法（Methods）”部分想象成一份枯燥的技术手册。它非常乏味且具有预测性，所以检测器在那里容易产生混乱。而“引言”和“讨论”是作者讲述故事的地方，也是检测器通常尝试寻找作者“语调”的地方。
3. 裁判：五种检测器
五种不同的“裁判”（如 Turnitin、GPTZero 等商业 AI 检测器）将审查每一个章节。
- 它们会给每个部分打分，范围从 0% 到 100%。
- 0% 意味着“确定是人类”。
- 100% 意味着“确定是 AI”。
研究人员会对每篇论文进行两次测试，以确保裁判的一致性。总共将收集 4,000 个评分。
4. 游戏规则
为了确保结果值得信赖，研究人员制定了严格的规则：
- 禁止作弊： 他们使用了一个“解耦”系统。用于编写假论文的 AI（选手 C）与提取文本的工具是完全独立的。这防止了 AI 在无意中从其记忆中复制旧论文。
- 盲测： 检测器不知道论文属于哪一组。
- 锁定计划： 在开始之前，他们就已经写好了要寻找的内容。他们不能在中途更改规则来让结果看起来更好看。
5. 他们的预期发现（假设）
研究人员正在测试五个具体的预测：
- 主要预测： 检测器给“非母语团队”（选手 B）打出的“AI 分数”会高于“母语团队”（选手 A），尽管两者都是真实的人类。他们预计这种差异至少为 15 分。
- 没有完美的裁判： 他们不认为任何单一的检测器能在不误判人类的情况下，完美地识别出 AI。
- 分歧： 五个检测器之间可能会产生大量的意见分歧。
- 故事 vs. 事实： 这种偏见在“讨论”（讲故事的部分）中会比在“引言”中更严重。
- 关乎作者： 即使你根据期刊的知名度或论文长度进行了调整，检测器仍然会根据作者所在的大学位置来标记论文。
6. 为什么这很重要
如果这项研究证明了这些检测器存在偏见，这意味着来自非英语国家的科学家可能会仅仅因为其写作风格的不同，就被不公平地指控使用 AI。
- 目标： 提供确凿的证据，以便期刊和拨款委员会停止将这些工具作为判定学术不端行为的“最终判决依据”，特别是针对国际作者。
重要提示： 这篇论文是一个实验方案（Protocol）。它是研究的计划书，是在收集数据之前编写的。它解释了他们将如何进行测试以及他们希望发现什么，但目前还不包含最终结果。研究人员承诺会公开分享所有的代码和数据，以便任何人都可以核查他们的工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。