PWLR: Pairwise Witness Local Rejection for Boundary-Aware Out-of-Distribution Detection
本文引入了成对见证局部拒绝（Pairwise Witness Local Rejection, PWLR）方法，该方法利用多模态大语言模型（MLLM）生成并筛选可靠的局部视觉线索，将其作为竞争性分布内类别之间的显式边界证据，从而通过将成对局部验证与全局类别得分相结合，显著提升了近分布外（near-OOD）检测性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，有一台计算机可以观察一张照片并准确地告诉你它看到了什么。这种被称为图像识别的能力已经变得非常出色，能够识别出它经过训练的对象，比如某种特定的狗品种或一种花卉。然而，当这些系统遇到从未见过的事物时，它们会面临一个棘手的问题。在人工智能领域，这被称为“分布外样本”（out-of-distribution sample）。如果一个系统仅在狗和猫的照片上进行训练，而它看到了一张烤面包机的照片，它可能仍会试图强行赋予一个标签，自信地宣称这是一只“非常奇怪的猫”。这在现实世界的应用中是危险的，例如在自动驾驶汽车或医疗诊断中，一个自信的错误可能会导致严重的后果。研究人员的目标是教会这些系统在看到陌生事物时说“我不知道”，而不是进行猜测。
当未知物体看起来与已知物体非常相似时，挑战会变得更加艰巨。如果一个系统被训练用来区分两种相似的鸟，它可能会难以分辨它们与第三种它从未见过的鸟之间的区别，因为它们都具有相似的形状和颜色。传统方法通常将整个图像视为一个整体，试图将其匹配到一个通用的类别。但当差异细微且隐藏在微小的细节中时，仅仅观察整体图像是不够的。系统需要一种能够观察得更仔细的方法，去寻找那些能证明一个东西不是另一个东西的特定、微小的线索。
来自中山大学的一个研究小组开发了一种解决此问题的新方法，他们称之为“成对证人局部拒绝法”（Pairwise Witness Local Rejection）。该方法不再要求计算机猜测未知物体可能是什么，而是教它像一个仔细的观察者一样，去比较两个特定的候选对象。该方法的工作原理是：首先确定图像最可能的候选对象；然后，系统并不仅仅接受最佳匹配，而是会提出一个具体的问题：“这张图像是否具有证明它是这只特定鸟类、而不是那只长得很像的竞争对手鸟类的微小局部特征？”
为了实现这一点，研究人员使用了一种功能强大的新型人工智能，即多模态大语言模型。这种模型可以同时理解文本和图像。在系统接触真实的测试图像之前，研究人员利用该模型离线生成一系列具体的、描述性的短语。这些短语充当了“证人”。例如，如果系统试图区分两种不同类型的鸟，模型可能会生成像“金色的酥皮”或“独特的尾部图案”这样的短语，这些短语描述了属于其中一种鸟但并不属于另一种鸟的独特视觉细节。这些短语并非随机的描述；它们是经过精心挑选的，旨在突出将一个类别与其最接近的竞争对手区分开来的确切差异。
一旦创建了这些证人短语，系统就会针对数千张已知图像对其进行测试，以确保其可靠性。它会检查该短语是否一致地出现在目标鸟类的照片中，并且很少出现在竞争对手鸟类的照片中。如果一个短语过于模糊或可能适用于许多不同的事物，它就会被丢弃。这个过程创建了一个值得信赖的视觉线索库。当一张新图像到达时，系统首先会挑选出几个可能的候选对象。然后，对于每个候选对象，它会检查该图像是否包含支持该候选对象而非其最易混淆的竞争对手的特定局部证据。它会观察图像的小块区域，寻找“证人”特征。
最终的决策是通过结合两种类型的信息做出的。第一种是关于图像外观的宏观、全局的感觉；第二种是从证人短语中收集到的详细、局部证据。只有当图像在全局上是合理的，并且有强有力的局部证据来反对其最接近的竞争对手时，系统才会接受该分类。如果图像未能显示出将自己与相似竞争对手区分开来的特定线索，系统就会将其作为“未知”予以拒绝。
在测试中，研究人员将此方法应用于各种图像数据集，包括标准基准测试以及更困难、更真实的场景（即未知物体与已知类别非常相似的情况）。他们发现，这种方法一致地提高了现有系统检测未知输入的能力。在标准测试中，这种新方法显著降低了误报率，比以往的技术能更准确地识别未知图像。这种改进在未知物体在视觉上接近已知类别的场景中尤为明显，证明了寻找特定的局部差异比依赖整体印象更为有效。
研究人员还将该方法应用于不同类型的计算机视觉模型，以确保其具有广泛的适用性，而不仅仅局限于某一种特定的设置。结果表明，该方法具有鲁棒性，可以添加到各种现有系统中，使它们变得更安全、更可靠。通过将“这是否是未知的？”这一抽象问题转化为“这张图像是否具有证明它是这个而不是那个的具体特征？”这一具体任务，研究人员为人工智能识别自身极限提供了一条更清晰的路径。这项工作表明，提高人工智能安全性的关键不仅在于了解更多知识，还在于知道如何寻找那些将熟悉事物与陌生事物区分开来的精确细节。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。