Evidence Absence Is Not Evidence Insufficiency: Diagnosing NEI Construction Artifacts in Fact Verification
本文介绍了 NEI-CAP，这是一种诊断协议，它揭示出事实核查模型往往难以将“信息不足”的判别能力泛化到不同的证据构建方法中，因为聚合分数可能会掩盖模型对捷径线索和特定构建方法的伪影的潜在依赖。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在聘请一名侦探来解决谜团。你的目标是看他们能否区分以下三种情况：
- 案件已破（证据支持该主张）。
- 案件已揭穿（证据反驳该主张）。
- 我们目前信息不足（即"NEI"标签）。
本文认为，虽然我们一直在测试侦探解决案件的能力，但我们却在“信息不足”这一测试上欺骗了他们。我们给出的线索缺失得如此明显，以至于侦探无需聪明就能发现问题；他们只需识别出缺失线索的格式即可。
以下是利用简单类比对该论文发现的详细解析。
1. 问题所在：“空盒子”诡计
在事实核查中，当计算机模型说“信息不足”（NEI）时，意味着所提供的证据不足以证明或反驳某个陈述。
该论文发现，许多数据集（这些模型的训练测试）以懒惰的方式创建"NEI"示例。
- “简单”诡计：它们给模型一个主张，例如“长城位于巴西”，然后完全不提供任何证据（一个空盒子），或者提供一段关于披萨的文本（完全无关）。
- 结果：模型学会了一个捷径。它会想：“哦，如果没有文本，或者文本是关于披萨的，我就应该说‘信息不足’。”它实际上并没有检查证据是否不足；它只是在检查证据是否缺失或奇怪。
2. 真正的测试：“半满盒子”
该论文引入了一种名为NEI-CAP的新测试方法。它们不再仅仅给模型一个空盒子，而是给它一个半满的盒子。
- 场景：主张是“长城位于巴西”。提供的证据是一段关于长城的长篇详细段落，但它只谈论了长城的长度以及它位于中国的何处。它没有提到巴西，但它显然与主题相关。
- 挑战：聪明的侦探应该意识到：“这段文字是关于长城的，但它没有告诉我它是否在巴西。我需要更多信息。”
- 失败：论文发现，在“空盒子”诡计（简单的 NEI）上训练的模型在“半满盒子”测试中完全失败。它们看着相关的文本，看到它看起来具有支持性（因为它是关于长城的），然后自信地说：“这支持该主张！”或者“这反驳了它！”它们忽略了它们需要的具体细节缺失这一事实。
3. “建筑”隐喻
作者将这些测试的构建方式称为“构建家族”。
- 简易构建：就像用纸板建造一堵墙。它看起来像一堵墙，但很脆弱。如果你用纸板墙训练模型，它学会的是识别纸板，而不是真正的砖块。
- 困难构建：就像用真正的砖块建造一堵墙，但在中间留了一个洞。模型需要理解墙的结构，才能知道它是不完整的。
论文表明，如果你用“纸板”（简单的、无关的或空的证据）训练模型，它在测试中会获得满分。但一旦你切换到“带洞的实心砖块”（语义相关但证据不足），模型就会崩溃。它的得分为零。
4. “魔法分数”的幻觉
目前，当我们查看模型的成绩单时，我们会看到一个大数字："NEI 分数”。
- 论文的警告：这个数字是个谎言。这就像一名学生在数学考试中得了"A"，因为老师只让他们做加零的题。如果你让他们做分数加法，他们就会不及格。
- 论文证明，一个模型在简单测试中可能拥有完美的"NEI 分数”，但在证据相关但不完整的现实世界场景中却完全无用。“平均分数”掩盖了这样一个事实：模型只是在记忆测试的格式，而不是在学习技能。
5. 解决方案：NEI-CAP
作者提出了一种名为NEI-CAP的新协议。把这看作是一种给侦探打分的新方法：
- 不要只给分数：相反，要报告测试是如何构建的。我们使用的是“空盒子”还是“半满盒子”？
- 审计诡计：检查模型是否只是在寻找捷径（例如“无文本=NEI”），还是它实际上理解了内容。
- 人工核查：对于最难的测试，由人工验证证据是否确实不足，确保模型没有被模棱两可的数据所欺骗。
总结
论文得出结论：我们创建“信息不足”测试的方式决定了 AI 学习的内容。
- 如果我们让测试太容易（空盒子），AI 学会的是识别空虚，而不是不足。
- 如果我们让测试很难（相关但不完整的信息），AI 就必须真正去思考。
- 目前，大多数 AI 模型都在简单测试上“作弊”。它们看起来很聪明，但当证据变得棘手时，它们就会失败。论文敦促我们停止躲在平均分数后面，开始准确报告模型是在什么样的“证据构建”下接受测试的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。