Neutral-Reference Prompting for Vision-Language Models
本文提出了一种名为 NeRP 的即插即用式提示修正策略，该策略利用中性文本提示和参考图像来识别并纠正未见类别上由先验主导的不对称误分类，而无需修改模型参数，从而缓解视觉 - 语言模型中的基类 - 新类权衡问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位非常聪明、见多识广的图书管理员（即视觉 - 语言模型），他读过数百万本书，看过数百万张图片。这位管理员非常擅长识别他曾经见过的东西，比如“苹果”或“汽车”。但是，当你向他展示一些略有新意或来自不同角度的事物时，他有时会感到困惑。
这篇论文指出了一个具体问题：“基础类 - 新类权衡”。
可以这样理解：如果你试图教这位管理员一些新技巧（比如识别某种稀有花卉），他往往会过于专注于这些新技巧，以至于开始忘记那些他原本已经完美掌握的常见类别的识别能力。这是一种“双输”的局面。
隐藏的问题：单向混淆
作者们注意到了一种奇怪的现象。通常，当模型在两个事物之间产生混淆（比如“狗”和“狼”）时，这种混淆是相互的。但很多时候，这种混淆是单向的。
- 对称混淆：模型有 50% 的概率将狗误认为狼，也有 50% 的概率将狼误认为狗。仅仅是因为很难区分它们。
- 非对称混淆（论文的发现）：模型总是将“狼”误认为“狗”，但几乎从不会将“狗”误认为“狼”。
为什么？因为在图书管理员的初始训练（预训练）期间，他看到的狗的图片远多于狼，或者关于狗的文字描述更为常见。这在他的大脑中形成了一种隐藏的“偏见”或默认设置。当他看到一只狼时，他的大脑会大喊：“那很可能是一只狗！”因为那是阻力最小的路径。
解决方案：NeRP（中性参考提示）
作者们创造了一种名为NeRP的修复方案。它就像是一个“即插即用”的工具，你可以将其连接到图书管理员的大脑中，而无需真正重写他的记忆或重新训练他。
以下是 NeRP 的工作原理，使用一个简单的类比：
1. “中性参考”（空白画布）
想象你有一张通用“物体”的照片，以及一句仅仅写着“一张某物的照片”的句子。这并没有描述任何特定的动物或物品。
- 作者利用这张“空白”图像和这段文字询问图书管理员：“如果我向你展示没有任何特定内容，你自然倾向于哪个类别？”
- 这揭示了图书管理员的隐藏偏见。如果图书管理员在没有具体证据的情况下强烈倾向于“狗”，那么 NeRP 就会知道：“啊，这位图书管理员对狗有很强的偏见。”
2. “证据核查”
现在，你向图书管理员展示一张狼的照片。
- 证据：这张照片看起来有点像狼，但也许不是 100% 清晰。
- 偏见：由于那种隐藏偏见，图书管理员的大脑在尖叫“狗！”。
- 冲突：证据（照片）很微弱，但偏见（默认设置）很强。
3. “局部翻转”
NeRP 充当了一位聪明的裁判。它看到图书管理员主要是基于偏见而非实际图片做出决定。
- 如果图书管理员说是“狗”，但证据很微弱，且 NeRP 知道图书管理员对“狗”有偏见，NeRP 就会介入并说：“等等，你过于自信了。让我们将其翻转到另一个可能的选项（狼）。”
- 只有当图书管理员明显表现出“懒惰”，依赖旧习惯而不是查看新证据时，它才会这样做。
为什么这很重要
- 无需重新训练：你不必教图书管理员新课程。你只需在他们不确定时，给他们一个新的“检查清单”（NeRP）使用。
- 保留旧技能：与其他试图教授新事物却意外导致图书管理员忘记旧技能的方法不同，NeRP 在修正新错误的同时，不会损害旧的、完美的成绩。
- 普适性强：论文在 15 种不同类型的任务（从识别花卉到汽车再到卫星图像）上测试了这种方法，每次都能完美奏效。
总结
论文指出：“视觉 - 语言模型通常存在一种单向偏见，即它们会将 A 类误认为 B 类，但反之则不然。这是由于它们最初的训练方式造成的。我们构建了一个名为NeRP的工具，它充当‘偏见检测器’。它会检查模型是基于微弱的猜测还是强烈的习惯做出决定。如果仅仅是习惯使然，NeRP 就会温和地纠正答案。这使得模型在识别新事物方面更加出色，同时不会让它忘记旧事物。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。