Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

想象一下，人工智能（AI）的世界就像一个巨大且繁忙的建筑工地。每天，工程师团队都在建造各种了不起的新机器——有些能写诗，有些能诊断疾病，还有些能瞬间翻译语言。但就像任何建筑项目一样，也是有规则的。你肯定不希望建筑师忽视安全规范、使用不稳定的材料，或者建造一座在第一辆车驶过时就坍塌的大桥。在 AI 研究领域，这些“安全规范”被称为负责任的自然语言处理实践（Responsible NLP Practices）。这是一套指南，要求研究人员透明地说明他们是如何构建模型的，要思考谁可能会受到其工作的伤害，并确保其数据采集符合伦理道德。

为了确保每个人都遵守这些规则，大型 AI 会议（例如发表这篇论文的会议）引入了一个清单（Checklist）。你可以把这个清单想象成建筑师在建筑获批前必须填写的一份最终检查表。它会提出类似这样的问题：“你检查过安全风险了吗？”“你为创造工具的人提供了署名吗？”以及“你获得研究对象的许可了吗？”其目标是将这些宏大且令人畏惧的伦理概念转化为简单的“是”或“否”选项，供研究人员勾选，从而确保他们的工作对每个人都是安全且诚实的。

但这里有一个大问题：这些研究人员是真的在深入思考答案，还是仅仅为了能发表论文而匆忙勾选空格？这正是这篇论文所调查的内容。作者们——来自阿伯丁大学的一个研究团队——决定扮演侦探。他们收集了提交给 EMNLP 2025 会议的 3,000 多篇论文的清单，并像法医检查犯罪现场一样对它们进行了分析。他们不仅查看了“是”或“否”的标记，还查看了作者用来解释其选择的微小注释（理由）。他们想看看这份清单是否真的让研究人员变得更加负责，还是仅仅变成了一场枯燥、机械的“勾选游戏”。

伟大的“勾选空格”劫案

这项研究的作者将 EMNLP 2025 的清单视为一个巨大的拼图。他们构建了一个特殊的计算机流水线（一套自动化工具）来读取数千份 PDF 论文及其对应的清单，并将答案链接回作者声称进行相关工作的特定论文章节。他们分析了庞大的 73,922 个独立答案和理由。他们的发现表明，对于许多研究人员来说，这份清单已不再是一项严肃的安全检查，而更像是一种“勾选练习”——一种为了完成任务而做的任务。

“事后补救”问题
最显著的发现之一是，研究人员经常将伦理视为一种“事后补救”，就像在离开家之后才想起锁门一样。研究发现，对于会议的“主赛道（Main Track）”，作者倾向于将伦理问题与论文的其他部分隔离。他们没有将安全和伦理编织进研究的故事中，而是将其作为结尾强行添加。这就像一位厨师写了一份美味蛋糕的食谱，却只在最底部的微小脚注里提到了烤箱的安全问题，而不是解释他在烘焙过程中是如何检查温度的。

“否”之理由的灾难
当研究人员对一个问题回答“否”（意味着“不，我没有做这项特定的伦理工作”）时，他们应该解释原因。这是清单中最关键的部分，因为它迫使你承认你没有做的事情。然而，作者发现，这些“否”的理由中有 44.9% 要么是空白的，要么极其简短（仅有一两个词，如“不适用”）。

想象一下，一名司机因为车灯损坏被交警拦下。当警察问：“你为什么不修它？”时，司机只是耸耸肩说“随便”，或者什么都不说。这正是近一半的研究人员所做的。他们没有解释为什么跳过了安全步骤；他们只是勾选了空格然后继续前进。这是一个重大问题，因为如果没有良好的解释，没人知道风险是真的低，还是研究人员根本不在乎。

“风险”盲点
或许最令人担忧的发现涉及关于潜在风险的问题。在这一部分，研究人员被要求思考：“我的 AI 是否会被用来伤害人类？它是否会传播偏见？”研究发现，53% 的作者完全忽略了这些风险，声称他们的工作“没有风险”或“没有社会影响”。

作者认为，这就像汽车制造商说：“我们的新车没有撞车风险，”却从未测试过刹车。论文指出，通过简单地勾选“无风险”而没有进行深刻、诚实的反思，研究人员正在忽视其创造物的现实世界危险。清单的设计并没有迫使他们进行深度思考；它让他们太容易脱身了。

逻辑漏洞
研究还发现，清单中充满了逻辑矛盾。清单的结构类似于一棵树：如果你对一个大问题（父问题）回答“否”，那么下面所有的子问题（子问题）也应该是“否”或“不适用”。但作者发现，6% 的清单存在逻辑错误。

例如，研究人员可能对“你是否使用了任何数据？”这个问题回答“否”，但随后对子问题“你是否描述了所使用的数据？”回答“是”。这就像是在说，“我没做蛋糕，”然后紧接着说，“是的，我用了巧克力豆。”这些矛盾表明，许多作者在填写表格时非常粗心，甚至没有意识到他们的答案并不合逻辑。这种混乱使得评审员很难信任这份清单。

主赛道 vs. 发现赛道
研究人员对比了“主赛道”（最顶尖的论文）与“发现赛道（Findings Track）”（贡献虽扎实但较窄的论文）。他们原以为主赛道会更加谨慎。虽然主赛道确实表现出稍高的合规性，但坏习惯在两者中都普遍存在。即使是在顶级论文中，研究人员也在跳过伦理反思并编写空洞的理由。这表明问题不仅仅在于论文的质量，而在于清单本身是如何被所有人使用（或误用）的。

结论：一份失效的检查表？

论文得出结论，目前的清单设计未能实现其职责。它并没有成功促使研究人员去思考其工作的伦理和风险。相反，它已经变成了一个官僚主义的障碍，人们只是匆忙应付。作者指出，清单鼓励了“表面合规”——即研究人员看起来在遵守规则，实际上并未进行深入的反思。

研究建议，清单需要一次彻底的改造。他们建议：

1. 强制执行最低字数限制： 如果你回答“否”，你必须写出真正的解释，而不是仅仅耸耸肩。
2. 更好的设计： 表单应通过自动隐藏不适用的问题，来防止逻辑矛盾（如“没做蛋糕，但用了巧克力豆”的问题）。
3. 更多的审查： 评审员应该更仔细地查看“无风险”类的回答，因为声称一项新技术“零风险”通常是一个危险信号。

简而言之，论文认为我们不能依赖一份简单的清单来确保 AI 的安全。如果构建未来技术的人只是在不经思考的情况下勾选空格，那么“安全检查”就是虚假的。作者希望通过揭露这些缺陷，能让整个社区建立一个更好的系统——一个真正能让研究人员在发布之前停下来自问“这安全吗？”的系统。