Characterizing Universal Object Representations Across Vision Models
本文在 162 种多样化的视觉模型中识别出了通用的、可语义解释的物体表征，这些表征独立于架构或训练差异，但与猕猴和人类的生物视觉均表现出强相关性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下，你拥有一个由 162 种不同“视觉大脑”构成的巨型图书馆。有些像经典相机（CNN），有些像现代 Transformer；有些被训练用来识别猫，有些则用于理解词语与图像之间的关系。它们拥有不同的蓝图、不同的导师和不同的目标。
研究人员提出的核心问题是：当所有这些不同的大脑观察同一个物体（比如一只狗）时，它们是否以相同的方式“看”到它？
实验：解构“视觉”
为了回答这个问题，研究人员并没有仅仅询问计算机“这是一只狗吗？”，而是深入探究计算机在内部是如何表征这只狗的。
可以将每台计算机对图像的内在视图想象成一份由 50 种不同成分（维度）组成的复杂食谱。
- 成分 A 可能是“毛茸茸的程度”。
- 成分 B 可能是“像交通工具的程度”。
- 成分 C 可能是“特定的棕色色调”。
研究人员提取了所有 162 个视觉模型的“食谱”，并试图找出哪些成分是通用的（几乎出现在每一份食谱中），哪些是模型特有的（仅出现在一份或少数几份食谱中）。
发现：“通用”成分
他们发现，尽管这些模型的构建方式各不相同，但它们都收敛于特定的一组通用维度。
以下是这些通用维度的独特之处，通过简单的类比来说明：
它们关乎“概念”，而不仅仅是“像素”：
- 通用维度就像“动物”或“交通工具”这样的概念。如果你查看构成这些维度的图像，你会看到清晰的狗群，或清晰的车群。它们捕捉的是物体的意义。
- 模型特有维度则像是注意到某只特定的狗耳朵有点歪，或者某辆车有特定的锈迹纹理。这些捕捉的是低层视觉细节（颜色、纹理、边缘），而这些细节在不同模型间差异巨大。
它们更易于人类理解：
- 当研究人员让人类观察按这些维度分组的图像时，人类可以轻松地说出：“哦，这一组全是关于‘食物’的。”
- 而模型特有维度对人类来说往往是一团混乱。人类很难解释自己看到了什么。
“为什么”和“怎么做”
研究人员想知道这些通用维度为何存在。他们测试了以下可能性：
- 是因为模型构建方式相同吗？不是。（CNN 和 Transformer 都具备这些维度）。
- 是因为它们在同一数据上训练吗？不是。（在不同数据集上训练的模型仍然共享这些维度）。
- 是因为它们更大或更聪明吗？不是。（性能和规模并不重要）。
结论： 这种普遍性并非代码或数据的技巧。它似乎是学习“看”世界的一种自然结果。由于所有这些模型都在试图理解同一个物理世界，它们自然地发现了相同的“概念捷径”（如“狗性”或“椅子性”），这些捷径对于理解物体非常有用。
“生物学”联系
最令人兴奋的部分是，这些通用维度与真实生物大脑的运作方式相吻合。
- 当研究人员将这些模型与猕猴（拥有与人类相似的视觉系统）进行比较时，模型的“通用维度”比“模型特有维度”更能预测猕猴的大脑活动。
- 它们也能更好地预测人类如何判断物体之间的相似性。
核心启示
想象两个人试图描述日落。
- 人物 A（模型特有） 说：“它是从十六进制代码 #FF5733 渐变为 #C70039，并带有特定像素噪声图案的渐变。”
- 人物 B（通用） 说：“那是一片美丽、温暖、橙色的天空。”
这篇论文表明，当深度学习模型在“看”方面变得擅长时，它们不再像人物 A 那样说话，而是开始像人物 B 那样说话。它们都独立地发现，理解世界最有效的方式是通过概念（如“橙色的天空”或“狗”），而不仅仅是原始像素。由于我们自己的大脑也利用这些概念来观察世界，这些“通用维度”便成为了人工智能与生物视觉之间的桥梁。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。