DETR-ViP: Detection Transformer with Robust Discriminative Visual Prompts
为了解决因缺乏全局判别力而导致的视觉提示目标检测性能次优问题，作者提出了DETR-ViP，这是一个集成了全局提示融合、视觉 - 文本关系蒸馏和选择性融合的鲁棒框架，旨在在多个基准测试中实现最先进的结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人在杂乱的房间里寻找特定物体。传统上，你必须给机器人一个固定的查找清单（例如“椅子”、“杯子”、“狗”）。如果你想让它寻找新东西，比如“紫色的独角兽”，你就必须停下来，重新编程，并从头开始教它。
开放词汇检测就是机器人能够说：“好的，给我看一张紫色独角兽的图片，我就能在这个房间里找到它。”
有两种主要方式可以向机器人展示它需要寻找什么：
- 文本提示：你输入“紫色独角兽”。
- 视觉提示：你向机器人展示一张紫色独角兽的图片。
这篇论文认为，视觉提示实际上在寻找罕见或奇特物体方面更有效，因为机器人可以直接“看到”确切的形状和颜色，而不是试图猜测词语的含义。然而，直到目前为止，使用视觉提示的机器人相比使用文本提示的机器人，表现得笨拙且不准确。
这篇论文的作者，DETR-ViP，弄清楚了机器人为什么笨拙，并构建了一个新系统来解决这个问题。以下是他们解决方案的分解，使用了简单的类比：
问题：困惑的图书管理员
研究人员发现，当机器人使用视觉提示时，它会感到困惑，因为关于某个类别外观的“记忆”是混乱的。
- 类比：想象一位图书管理员正在整理书籍。如果你要“汽车”，管理员可能会拿出一张红色法拉利、一辆蓝色卡车和一辆生锈轿车的图片。但如果你要“卡车”，他们可能会拿出一张红色法拉利的图片，因为它们在照片中看起来很相似。图书管理员无法区分“汽车”和“卡车”，因为所有的图片都杂乱地堆在一起。
- 科学原理：“视觉提示”（机器人用作参考的图片）变化太大。从某个角度拍摄的狗的图片看起来与从另一个角度拍摄的狗完全不同，而且它们看起来太像猫了。机器人无法区分不同的类别。
解决方案：DETR-ViP
作者构建了一个名为DETR-ViP的新框架来整理那堆混乱的图片。他们使用了三个主要技巧：
1. “群体拥抱”（全局提示整合）
- 旧方法：机器人只查看它正在分析的当前照片中的图片。如果那张照片里有一只狗和一只猫，它只从这两者中学习。
- 新方法：机器人现在会查看它在单次训练会话中见过的所有照片中的每一张狗和猫的图片。
- 类比：与其让课堂上的一个学生来定义什么是“狗”，不如让老师让全班同学聚在一起，共同创建一个完美、平均的“狗”的定义。这使得“狗”的定义更加强大和清晰，同时也让“猫”的定义与“狗”的区别更加明显。
2. “翻译指南”（视觉 - 文本提示关系蒸馏）
- 问题：视觉图片是混乱的。文本词汇（如“狗”）非常有条理，因为人类已经就它们的含义达成了共识。
- 解决方案：机器人利用有条理的“文本”定义作为老师，来重新组织混乱的“视觉”图片。
- 类比：想象机器人有一堆杂乱的照片，但有一本非常清晰、有条理的字典。机器人查看字典中“狗”和“猫”的条目。然后，它重新排列照片堆，使所有“狗”的照片紧密地聚在一起，而所有“猫”的照片则被推到很远的地方。它利用字典来教导照片如何表现。这使得机器人更能区分外观相似的事物。
3. “智能守门人”（选择性融合）
- 问题：有时，你给机器人一个包含 80 个查找项的列表（如“猫、狗、车、船……"），但照片里只有一只“狗”。如果机器人试图将“猫”和“船”的指令混合到它的大脑中，它就会感到困惑，甚至可能漏掉那只狗。
- 解决方案：机器人现在会先检查照片。它会问：“这张照片里有猫吗？”如果答案是否定的，它就会把“猫”的指令锁起来并忽略它们。它只混合那些实际存在的物体的指令。
- 类比：想象你在做饭。如果你在做沙拉，你就不希望脑子里有“煎牛排”的指令；这可能会让你往沙拉里加肉。“守门人”确保你只保留与当前实际制作的菜肴相关的食谱步骤。
结果
这篇论文在几个标准的“测试房间”（如 COCO 和 LVIS 数据集）上测试了这个新机器人。
- 结果：新机器人（DETR-ViP）在寻找物体方面明显优于之前的机器人，尤其是在使用视觉提示时。
- 证据：他们展示了机器人“大脑”的图片（t-SNE 可视化）。在修复之前，不同物体的图片是一团模糊、混杂的云。修复之后，“狗”的图片形成了一个紧密、整齐的簇，“猫”形成了自己独立的簇，两者之间有清晰的间隙。
总结
这篇论文指出：“视觉提示对于寻找罕见事物非常棒，但它们很混乱。我们通过将所有示例分组在一起、利用文本来组织图片，并且只听取实际存在的事物的指令，解决了这个混乱问题。这使得机器人变得更聪明、更准确。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。