What Limits Us? Analyzing Self-Reported Limitations in NLP Research
本文通过一种新颖的人机混合编码框架，对 2020 年至 2025 年间 ACL 和 EMNLP 论文中自我报告的局限性进行了大规模分析，旨在揭示研究人员在披露内容中的趋势、相关性及写作模式。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，特别是在教导计算机理解人类语言的分支中，一种全新的诚实文化已经扎根。几十年来，科学家们发表突破性成果时，往往侧重于展示有效之处，经常将实验中的缺陷、失败和边界隐藏在细则中或完全省略。然而，从2022年底开始，承办这些研究的主要会议做出了一项重大改变：它们要求每篇被接收的论文都必须包含一个专门的部分，明确列出该研究无法实现的内容。这一指令将“局限性”部分从可选的脚注转变为科学记录的标准组成部分。其目标简单而深刻：确保任何阅读研究的人都能准确知道其结论可能在何处失效，从而促进透明度并防止他人建立在不稳固的基础之上。现在，随着每年有数千个这样的章节不断积累，一个庞大且尚未被开发的、关于研究者自我反思的档案库已经浮现，等待着被阅读。
来自朱拉隆功大学和谷歌研究团队的一组研究人员决定打开这个档案库。他们并没有选择逐一阅读成千上万篇论文——这对人力来说是不可能完成的任务——而是构建了一个新系统，让人类专家与人工智能协同工作来阅读并对文本进行分类。他们分析了2020年至2025年间发表的超过16,000篇论文中的“局限性”部分。他们的目标不仅是了解研究人员在说什么，还要了解这些承认的内容性质是如何随时间变化的，不同的研究小组是否承认了不同类型的问题，以及在这些局限性的写法中是否存在隐藏的模式。
结果揭示了该领域景观的剧烈转变。在强制性规则引入之前，只有不到百分之十的论文包含专门的局限性部分。一旦该规则生效，合规率便飙升，到2025年已接近完美水平。然而，这些章节的内容发生了令人惊讶的变化。在强制令实施前，研究人员最常承认的是“方法论约束”，本质上是说他们的实验设置存在特定的技术障碍。在强制令实施后，最常见的承认变成了“范围局限”。这是一个更广泛、更通用的类别，作者在其中声明其发现可能不适用于更大的模型、不同的语言或现实世界的场景。研究人员指出，这种转变几乎是在政策变化时同步发生的，这表明该要求本身可能鼓励了科学家对工作的普遍适用性保持更加谨慎的态度，而不仅仅是列出技术上的漏洞。
通过深入挖掘这些“范围局限”，团队发现增长最快的一个担忧是测试模型的规模。随着人工智能模型变得日益庞大且运行成本高昂，研究人员越来越多地承认，他们只能在这些系统的较小版本上测试其想法。他们写道，其结果可能并不适用于大型科技公司使用的巨型闭源模型。这反映了该领域日益加剧的分歧：即那些能够负担得起训练和测试最大规模系统的人，与那些无法负担的人之间的分歧。另一个显著趋势是对语言覆盖范围的承认大幅上升。研究人员开始明确表示其工作仅限于英语，承认了该领域长期存在的偏见，即非英语语言经常被忽视。
该研究还观察了是谁在撰写这些局限性。研究人员对比了来自大型科技公司的论文与来自大学及较小型机构的论文。他们发现，来自大型公司的论文承认“范围局限”的可能性略低于其他机构的论文。虽然差异很小，但它表明大公司所拥有的资源和规模可能会影响它们界定自身工作边界的方式。相反，来自其他机构的研究人员则更有可能提到数据稀缺性，这或许反映了获取大型公司所拥有的海量数据集方面的挑战。尽管存在这些差异，研究发现该领域呈现出惊人的统一性；无论具体主题或作者所属机构如何，报告局限性的方式基本保持一致，这表明一种共同的谨慎文化已经形成。
最后，研究人员检查了这些章节的写作风格，寻找作者在陈述承认内容时如何构建结构的重复模式。他们发现了一种被称为“软着陆”的常见修辞策略。通常，在陈述一个局限性之后，作者会立即紧跟一个对未来工作的建议，或者为一个局限性为何不可避免提供辩解。这种模式似乎减轻了承认带来的冲击，将负面内容转化为通往下一步的路线图。另一种常见的模式是“预判缓冲”，即作者在列出其缺陷之前，会先强调其工作的优势或成功之处。这种技术似乎起到了缓冲批评影响的作用，确保读者在被提醒其边界之前，先看到这项工作的价值。
研究得出结论，虽然强制性政策成功地迫使研究人员变得更加透明，但也改变了这种透明度的性质。该领域已从列出具体的技术故障转向广泛承认其工作的边界。研究人员提醒，由于这些章节是自我报告的，它们反映的是作者选择表达的内容，而非发生错误的全部真相。然而，通过绘制出这些趋势，这项研究为处于转型中的社区提供了一个清晰的图景，这个社区正在学习如何更公开地谈论其自身创造物的局限性。这种显性的自我披露习惯，为观察人工智能社区不断演进的良知提供了一个罕见的视角，展示了一个日益意识到自身边界的领域。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。