UNMASK: Discovering and Causally Verifying Spurious Shortcuts in Text Classifiers
该论文介绍了 UNMASK，这是一个全自动流水线，能够在不需要额外人工标注的情况下，发现、因果验证并缓解文本分类器中的伪相关性，从而提高其在分布外基准测试上的鲁棒性，并实现无标注的分组重加权。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何分辨真实新闻和虚假新闻。你给它看了成千上上的个例子，它在测试中表现得非常出色。但随后你意识到，机器人其实并没有在“阅读”故事，它只是在寻找某种特定的“窍门”。也许它学会了如果标题里含有“令人震惊”（shocking）这个词，它很可能就是假的；或者如果两个句子共享三个单词，它们的意思就一定相同。在人工智能领域，这被称为“学习捷径”（learning shortcuts）。机器人并没有去做理解语言这种苦差事，而是找到了数据中一些简单的、容易的模式，而这些模式恰好在大多数情况下都能匹配正确答案。这是一个大问题，因为虽然这些捷径让机器人在标准测试中看起来很聪明，但当它遇到全新的、棘手的或略有不同的情况时，它会表现得一败涂地。科学家们将这些误导性的模式称为“伪相关”（spurious correlations）。一直以来的大问题是：我们如何在不需要人类坐下来逐一手动指出这些问题的情况下，发现机器人使用的这些隐形窍门呢？
这就是名为 UNMASK 的新工具发挥作用的地方。把 UNMASK 想象成一个超级聪明的侦探，它不仅是在猜测机器人在想什么，它实际上是在抓获机器人并证明它确实在依赖捷径。研究人员构建了一个全自动化的流程，就像一个三阶段的魔术表演。首先，它使用一个大型语言模型（一种非常先进的 AI）来构思出一份机器人可能正在使用的潜在“捷径”清单，并将它们写成严格的、计算机可读的规则（例如“如果出现‘从不’这个词，就标记它”）。第二，它将这些规则通过严格的统计测试，以查看它们在数据中是否真的普遍存在，从而过滤掉那些仅仅是随机噪声的规则。但最关键的部分是第三阶段。仅仅因为数据中存在某种模式，并不意味着机器人就在使用它。因此，UNMASK 进行了一场“如果……会怎样”的实验。它拿走一个句子，手术式地移除被怀疑的捷径，然后询问机器人再次进行预测。如果机器人的答案因为捷径的消失而发生了改变，那么 UNMASK 就证明了机器人确实在依赖那个捷径。
一旦 UNMASK 识别并证明了这些捷径，它并不会止步于此；它还会帮助修复机器人。它利用发现的这些规则将训练数据分为“公平”和“不公平”两类，从而让机器人能够在没有简单捷径的情况下重新学习任务。研究人员在两个主要挑战上对其进行了测试：一个涉及逻辑谜题（自然语言推理），另一个涉及检测网络上的毒性评论。在逻辑谜题的任务中，UNMASK 成功地重新发现了著名的“套路”，比如机器人过度依赖听起来相似的词汇，或者否定词（如“不”）的存在。它证实了虽然一种类型的机器人（BERT）正落入这些陷型的圈套，但另一种稍有不同的机器人（RoBERTa）实际上对其中一些套路具有免疫力——这种差异只有通过这种细致、分步骤的验证才能揭示出来。在毒性评论任务中，UNMASK 成功地修复了机器人对特定人口统计群体的偏见，而无需人类去标注这些人是谁。它的表现达到了那些手动标注数据的专家的水平，证明了你可以自动发现并修复这些根深蒂固的偏见。
论文还表明，这种侦探工作同样适用于其他类型的 AI，比如那些决定哪个答案更“好”的聊天机器人。它发现这些聊天机器人偏向于较长的回答或特定的格式风格，即使这些风格与答案的质量毫无关系。然而，研究人员也谨慎地指出，UNMASK 并不是解决一切问题的万能药。它只能发现那些可以被写成清晰、逻辑规则的捷径。它无法捕捉那些隐藏在文本“氛围”或风格深处，或是过于复杂而无法用简单句子描述的模式。但对于它能够发现的那些捷径，它提供了一种方法来捕捉它们、证明它们是问题所在，并修复它们，且无需人类进行繁重的体力劳动。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。