Would you still call this Dax? Novel Visual References in VLMs and Humans

要点

想象一下，你正在教一个机器人一个关于一个全新物体的全新单词。你给它看一张奇怪、发光的生物照片，并对它说：“这是一个 Dax。”接着，你开始给机器人看一些看起来略有不同的 Dax 照片：一个是模糊的，一个是倒过来的，一个是颜色不同的，还有一个多了一条手臂。

这个问题是这篇论文所探讨的：机器人在什么时候会说，“那不再是一个 Dax 了”？ 更重要的是，机器人的判断是否与人类一致？

以下是研究人员发现的简单分解：

1. “Dax”测试（实验设置）

研究人员创建了一个庞大的数据集，称为 NVRD（新颖视觉参考数据集）。你可以把它想象成一个拥有 90 个独特、虚构物体的巨大艺术画廊。

• 有些物体看起来像真实的东西（比如一把椅子），但被赋予了假名字（比如“blomwich”）。
• 有些是混合体（比如长着野猪头的烤面包机）。
• 有些则完全是外星产物，在现实世界中并不存在。

针对每个物体，他们创建了 20 个版本，这些版本变得越来越“糟糕”或更加扭曲。他们测试了五种不同的 AI 模型（即“机器人”）和 2,400 名人类，以观察当物体发生变化时，他们的反应是如何的。

2. “旧知识”问题

第一个重大发现是：如果 AI 已经知道某个东西是什么，它就会表现得有些挣扎。

• 人类类比： 如果你给一个人看一张真实的狗的照片并称其为“Dax”，他们很可能会说：“不，那是只狗。”他们对狗拥有特定的名称有着强烈的记忆。
• AI 结果： AI 模型表现得类似。当物体是某种熟悉的东西（如椅子）时，AI 会拒绝学习这个新名字“Dax”，并坚持称其为“椅子”。然而，当物体是完全陌生且古怪的东西时，AI 则会乐于接受这个新名字。

3. “形状 vs 纹理”偏好

研究人员随后开始扭曲这些物体。他们改变了颜色，增加了噪声，或者完全重塑了物体的形状。

• 人类类比： 人类就像雕塑家。如果你拿走一个 Dax 的黏土雕像并挤压它的脸，或者折断它的手臂，我们会说：“这不再是同一个 Dax 了！”我们非常在意形状。如果你只是把它涂成蓝色，或者让它看起来像一幅画，我们仍然会说：“没错，这仍然是一个 Dax。”
• AI 结果： AI 模型在这一点上与人类达成了一致！它们也同样最在意形状。如果形状改变了，AI 就不再称其为 Dax。如果仅仅是颜色或纹理发生了变化，AI 则觉得没问题。

4. “过于宽容”的机器人

这是最关键的发现。虽然 AI 和人类在“什么才是重要的”（形状）这一点上达成了一致，但他们在“变化到什么程度算过度”这一点上产生了分歧。

• 人类类比： 人类是很严格的。如果我们将一个 Dax 的脖子拉长直到它看起来像一只长颈鹿，我们会说：“不，那不是一个 Dax 了。”
• AI 结果： AI 模型过于宽容了。即使物体被拉伸、变形或增加了额外的部分，它们仍然坚持称该物体为“Dax”。它们愿意接受比人类更广泛的怪异程度。

类比： 想象一下，人类和机器人正在玩一个游戏，你需要通过猜图来判断两张图片是否是同一种动物。

• 人类： “那是一只猫。而那个……是一个长了长尾巴的猫。还是猫。但那个？那是一个长着狗头的猫。不，那不是猫。”
• 机器人： “那是一只猫。那是长了长尾巴的猫。那是长了狗头的猫。那是长了一棵树的猫。是的，这仍然是一只猫。”

5. 为什么这很重要（根据论文所述）

论文总结道，虽然 AI 在学习新事物方面做得越来越好，但它并不具备人类那样的“常识”边界。

如果人类和 AI 在现实世界中试图就一个新物体进行交流，人类可能会认为：“这东西坏得太厉害了，不再是同一个东西了”，而 AI 则坚持认为：“不，它仍然是同一个东西。”这种不匹配可能会导致未来他们在协作时难以有效沟通。

简而言之： AI 可以学习新词汇，但它太容易放宽这些词汇的定义了，尤其是当物体看起来与原型非常不同时。

技术摘要

论文技术摘要：视觉语言模型（VLMs）与人类中的新颖视觉参考

问题陈述

视觉语言模型（VLMs）与人类学习者一样，在初始训练之后经常会接触到新的视觉概念。然而，这些模型如何将新颖的视觉参考映射到语言上的机制——特别是当这些参考与预训练中的先验知识相冲突时——仍有待深入探索。虽然现有研究已经检查了熟悉概念的视觉增强，但对于“真正新颖”的概念（从头构建的开放式刺激物）仍缺乏基准测试。作者提出了以下问题：模型在接触后如何对新颖刺激进行分类？它们在多大程度上能将其映射到虚构名称（nonce names）上？它们是否能超越完全相同的实例进行泛化？这种行为与人类学习者相比如何？

研究方法

为了回答这些问题，作者引入了新颖视觉参考数据集（N、『NVRD』），并进行了 VLM 与人类判断的对比评估。

1. 新颖视觉参考数据集 (NVRD)

• 组成： 该数据集包含涵盖 90 个视觉概念的 19,176 张图像。这些概念分为三类：
  • 已知实体： 给熟悉的物体（如灯）赋予虚构名称，以测试当其与先验知识冲突时的映射情况。
  • 组合实体： 现有物体的混合体（例如形状-形状或形状-纹理的组合）。
  • 完全新颖的实体： 不存在或不类似于现实世界物品的物体。
• 扰动： 每个基础图像都经历了跨越 11 个维度的最多 20 个层级的受控视觉扰动。这些维度包括：
  • 低级编辑： 高斯噪声、缩放、像素化、JPEG 压缩和色彩偏移。
  • 高级编辑： 纹理偏移、背景变化、艺术风格退化、形状变形、部件添加和部件移除。
• 生成： 图像使用 Gemini-3 Pro Image 和 Gemini-2.5 Flash 生成，随后通过两阶段自动化质量控制流程和人工验证。

2. 实验设置
该研究评估了三个开源模型（Qwen-2 VL 7B, Idefics-3 8B, Molmo-2 8B）和两个闭源模型（GPT-4o Mini, Gemini-2.5 Flash），并在上下文学习（ICL）设置下使用三种提示范式：

• 名称生成： 模型被展示一张带有虚构词的基准图像和一张带有填空式标题的扰动图像，以观察其是否能生成该虚构词。
• 标记概率（Token Probabilities）： 查询模型分配给虚构词相对于“常规”（熟悉）标签的对数概率，以衡量真正的习得效果与近因效应。
• 双图李克特量表评分： 模型（及人类）被展示一张带有虚构词的基准图像和一张扰动图像，然后被要求对两张图像是否共享同一标签的认同度进行评分（1–7 分量表）。

3. 人类研究
为了建立基准，作者通过 Prolific 从 30 名英语母语者中收集了 2,400 个判断。参与者在 NVRD 的一个子集上执行相同的双图李克特量表任务，重点关注高级扰动。

关键结果

• 习得 vs. 先验知识： 模型可以在上下文中习得新颖的视觉参考，但当新刺激与先验概念知识发生冲突（例如，已知物体被赋予新名称）时，这种能力会显著降低。这反映了在人类词汇学习中观察到的“相互排斥”（mutual exclusivity）偏差，即学习者会抵制将新标签应用于已有名称的物体。
• 对扰动的敏感性： 模型表现出与人类相似的形状偏差。它们对结构性扰动（形状变形、部件添加/移除）最为敏感，随着这些失真程度的增加，认同度急剧下降。相反，低级编辑（色彩偏移、噪声、缩放）对模型判断的影响微乎其微，其评分保持在高位（强认同）。
• 过度泛化： 虽然模型和人类在对扰动类型的敏感性上具有相关性（两者都认为结构性变化比纹理或颜色变化更具身份威胁性），但模型的过度泛化现象非常显著。模型倾向于将习得的标签扩展到人类拒绝的高度扰动刺激物上。例如，在适度的扰动水平下，人类将形状变形的物体评为“不同意”（得分 <3），而模型通常保持在“中立”到“同意”的范围（得分 4–6）。
• 对抗性分歧： 在一项消融实验中，当要求模型为完全不同的物体分配相同的标签时，模型经常表示同意（给出 3 或更高的分数），而人类则始终表示不同意。这表明模型在特定语境下可能存在一种更广泛的“对所有事物都表示同意”的模式，这与它们在主要任务中的细微敏感性不同。

贡献与意义

本文贡献了 NVRD 作为一个用于研究人类和机器视觉概念学习的语料库和基准。其意义在于：

1. 弥合差距： 它将视觉偏差（形状 vs. 纹理）的研究从熟悉物体扩展到了真正新颖、开放式的概念。
2. 人机对比： 它提供了关于 VLM 和人类如何泛化新颖概念的直接、定量的比较，揭示了尽管模型拥有类人的敏感性等级，但它们缺乏拒绝高度失真刺激物的判别严谨性。
3. 对交互的影响： 研究结果强调了可靠的人机交互中存在的关键失配。如果智能体在过度泛化新颖标签，而人类则不会，那么它们在不断变化的环境中可能难以维持共享的指称对象。

作者总结道，NVRD 是探测这些认知差距并推动开发能够像人类学习者那样具备接地性（grounding）和敏感性的视觉语言系统的工具。