Grounded Concreteness: Human-Like Concreteness Sensitivity in Vision-Language Models
本文表明，视觉-语言模型在输出行为、嵌入几何结构和注意力动态方面，表现出比纯文本模型更接近人类的语言具体性敏感度，这暗示了多模态预训练即使在仅使用文本提示进行评估时，也能增强感知接地性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你有两位正在学习理解世界的学生。
学生 A（纯文本模型） 像是一位博学多才的学者，读遍了图书馆里的每一本书，但从未离开过房间。他知道“苹果”这个词，是因为他读过成千上万关于它的描述：红色的、圆圆的、甜甜的、水果、长在树上。他可以写一首关于苹果的诗，但他从未真正见过、摸过或尝过一个苹果。
学生 B（视觉-语言模型） 是同一位学者，但他同时也有一扇窗户。他读过同样的书，但也花时间看了苹果的照片，观看过人们吃苹果的视频，并观察了光线是如何照在果皮上的。他拥有相同的词汇量，但他的理解是“落地”于现实世界的经验。
这篇论文提出了一个简单的问题：拥有那扇窗户（视觉训练）是否让学生 B 在理解“具体”事物（如苹果、跑步或点）方面比学生 A 更出色？
研究人员称之为“具身具体性”（Gressed Concreteness）。以下是他们通过三种不同的测试方式得出的发现：
1. 测试：回答问题
研究人员给两名学生出了一堆问题。其中一些关于抽象概念（如“正义”或“更强”），另一些关于具体事物（如“一个红色的球”或“一只奔跑的狗”）。
- 结果： 学生 B（有窗户的那位）整体上答对了更多问题。但当问题涉及具体事物时，这种差距变得巨大。
- 隐喻： 当问题是关于“红色的球”时，学生 B 几乎能在脑海中“看到”那个球，因为他以前见过球的照片。而学生 A 则必须根据词语模式进行猜测。当问题是关于“正义”时，两名学生都有些吃力，且差距缩小了。视觉训练赋予了学生 B 一种专门针对那些可以指认之物的“超能力”。
2. 地图：他们如何组织想法
研究人员观察了这些模型在“大脑”内部（其内部数学逻辑）是如何“思考”的。他们试图绘制出不同词汇在模型思维空间中的位置。
- 结果： 在学生 A 的脑海中，像“苹果”、“汽车”和“狗”这样的词是散乱分布的，与其他词汇混杂在一起。而在学生 B 的脑海中，所有具体的词汇都紧密地聚集成一个紧凑、整齐的群体。
- 隐喻： 想象一个凌乱的衣柜（学生 A），鞋子、衬衫和帽子都堆在一起。现在想象一个完美组织的衣柜（学生 B），所有的鞋都在一个特定的盒子里，所有的衬衫都在另一个盒子里。因为学生 B 看过真实的鞋子，所以他确切知道“鞋子”应该属于哪里。这种“紧密聚类”意味着模型在处理现实世界物体时更加自信且一致。
3. 焦点：他们如何分配注意力
在阅读句子时，模型必须决定哪些词是重要的。研究人员测量了模型的注意力是“分散”还是“集中”。
- 结果： 在阅读抽象事物（如“自由”）时，两名学生都必须观察整个句子来理解它。他们的注意力像一张宽大的网一样展开。但在阅读具体事物（如“一只猫”）时，学生 B 的注意力会像激光笔一样迅速收拢。他们会高度集中于仅仅几个关键词上。
- 隐喻： 想象一把手电筒。在黑暗的房间里寻找特定物体（一个具体的词）时，你会用一道明亮、紧凑的光束直接照射它。当寻找一种模糊的感觉（一个抽象的词）时，你必须在整个房间里扫射光线以获得整体感觉。学生 B 学会了在处理具体事物时更好地使用这种紧凑的光束。
最终结论
论文得出结论：视觉训练并不仅仅让模型在所有方面都变得“更聪明”；它特别让模型在处理物理、具体事物时表现得更像人类。
通过在训练期间给模型一扇观察视觉世界的“窗户”，模型学会了：
- 更好地回答关于真实物体的问题。
- 在记忆中将这些物体整齐地分组。
- 对这些物体保持高度集中的注意力。
研究人员还让模型对词汇的“具体感”进行评分（例如，“‘苹果’与‘正义’相比，哪个感觉更真实？”）。学生 B 的评分与人类的观点更为接近，尤其是在处理具体词汇时。
简而言之： 给语言模型一双眼睛（视觉训练），能帮助它以一种更接近人类的方式去理解物理世界，而不一定会改变它处理抽象概念的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。