Selective Prediction Under Distribution Shift: The Failure of Threshold Transfer
本研究表明，由于在干净数据上确定的最佳阈值无法迁移至受损或真实世界的数据，基于标准阈值的选择性预测在分布偏移下会失效，因此有必要使用新的标注数据来建立统计有效的停止规则。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个被训练用来识别照片中物体的计算机程序。在一个完美的世界里，这个程序应该总是正确的。但现实世界是混乱的。相机可能会沾上雨滴，照片可能是在昏暗的光线下拍摄的，或者物体可能从一个奇怪的角度被观察。当计算机看到的图片开始变得与其在训练期间学习到的图片不同时，程序往往会感到困惑。它可能仍然会给出答案，但那个答案很可能是错误的。为了处理这种情况，研究人员开发了一个安全阀：他们允许计算机说，“我不知道。”如果程序不够自信，它就会保持沉默而不是进行猜测。这被称为选择性预测（selective prediction）。目标很简单：制定一条规则，告诉计算机何时该说话，何时该保持沉默，从而确保它每次开口说话时，大多数时候都是正确的。
多年来，设定这条规则的标准方法是在干净、完美的图片上进行测试。研究人员选择一个适用于这些干净图片的置信水平，例如一个能保证计算机在说话时错误率仅为 5% 的设置。然后，他们将同样的设置应用到现实世界中，假设即使在图片变得模糊或扭曲时，它也能保持有效。C.V. Raman 全球大学的 Shayam Ahmad 的一项新研究挑战了这一假设。这项研究提出了一个直接的问题：一个在干净数据上有效的规则，在数据发生变化时是否仍然有效？答案是坚定的“不”。研究发现，该规则在现实世界的条件下会完全失效，通常会导致错误率远高于承诺的水平，同时计算机仍会在那些本该拒绝的图片上自信地发言。
研究人员使用一组标准的图像和两种不同类型的计算机视觉模型测试了这个想法。他们首先在干净的图片上训练模型，然后使模型遭受各种类型的破坏，例如添加噪声、模糊图像或改变颜色。他们还将模型应用于一组新的现实世界照片，这些照片看起来与训练数据略有不同，模拟了系统在使用数月后发生的缓慢漂移。在每种情况下，他们都应用了在干净数据上选定的相同规则。结果是触目惊心的。当研究人员设定 5% 的错误目标时，在受损图像上的实际错误率在最坏的情况下跳升到了 42% 到 45% 之间。换句话说，尽管规则承诺计算机出错的概率仅为 5%，但它在近一半的情况下都是错误的。当他们试图更加严格时，问题变得更加严重。如果他们的目标是 1% 的错误率，实际错误率几乎是承诺值的 20 倍。
人们可能会想，是否仅仅是因为计算机变得不擅长评估自身的置信度了。也许它只是对图片的排序出了问题，把容易的图片排在了前面，把难的排在了后面，但没能在正确的地方划定界限。为了测试这一点，研究人员将问题分成了两个部分。第一部分是排序：计算机将图片从“最确定”到“最不确定”进行排序的能力有多好。第二部分是停止规则：在哪里画线以决定何时停止回答。他们发现排序其实做得很好。四种不同的衡量置信度的方法都产生了几乎相同的顺序。计算机知道哪些图片比其他图片更难。失败完全在于第二部分。在干净数据上画出的那条线，对于混乱的数据来说显然位置不对。它让入过多的困难图片，将它们当作容易的图片接受，从而导致错误率爆炸。
研究还探讨了现有的技巧是否可以在不需要新信息的情况下修复这个问题。一些方法试图在不看到正确答案的情况下，猜测新数据的错误率，希望以此自动调整规则。研究人员测试了其中两种已发表的方法。两者都没有奏效。它们虽然稍微降低了错误率，但并未解决问题，而且两者的表现都比一种仅仅基于平均置信度进行猜测的简单规则要差。解决问题的唯一方法是使用来自混乱环境的一小部分带有标签的新数据。通过向计算机展示几百或几千张带有正确答案的新图片，研究人员可以找到一个新的停止规则，从而真正达到安全目标。然而，这种修复方法付出了沉重的代价。在数据发生轻微变化时，他们需要大约 800 个带标签的样本才能获得可靠的规则；而在受到强烈破坏时，他们则需要超过 4,000 个。这造成了一个困难的局面：数据的变化越大，就需要越多的带标签样本来保持安全，而当数据变化最大时，获取带标签样本却最为困难。
这些发现的意义是务实且直接的。它表明，仅仅将为完美条件设计的规则应用于现实世界是危险的。如果数据发生了偏移，那么安全的承诺就是一个幻觉。研究人员得出结论，如果系统操作员无法承担对来自现场的新数据进行标注的费用，那么就不应该提出任何具体的错误率承诺。陈述一个无法实现的指标比不陈述任何指标更糟糕，因为它给了人一种虚假的安全感。这项研究并没有提供一个无需成本就能解决问题的“灵丹妙药”，但它澄清了一个主要的误解。它表明，失败并非在于计算机判断难度的能力，而在于用于决定何时说话的那条僵化的规则。前进的道路要求我们承认，当环境发生变化时，游戏的规则也会随之改变，并且要在变化的世界中保持安全的承诺，必须为获取新信息支付代价。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。