💬 NLP

Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

该论文通过考察人类量化认知中量词等级排序、使用范围与原型性及近似数系统偏差等三个关键特征，揭示了尽管“思考型”大模型在数量估计和量词排序上表现优异，但在量化使用范围和原型性方面仍与人类存在显著差异，从而为理解多模态大模型的语义语用能力及跨语言鲁棒性提供了新视角。

原作者： Raquel Montero, Natalia Moskvina, Paolo Morosi, Tamara Serrano, Elena Pagliarini, Evelina Leivada

发布于 2026-03-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Raquel Montero, Natalia Moskvina, Paolo Morosi, Tamara Serrano, Elena Pagliarini, Evelina Leivada

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一场**“人类大脑”与“人工智能大脑”关于“数数”和“描述数量”的趣味大比拼**。

想象一下，你给一个人和一台超级电脑看一张画满黑方块和白圆圈的图，然后问他们：“图里有多少个黑方块？用‘几个’、‘一些’、‘很多’还是‘大多数’来形容最合适？”

人类觉得这很简单，但研究发现，AI 虽然很聪明，但在处理这种“模糊的数量感”时，却经常犯一些让人类觉得奇怪的错误。

以下是这篇论文的通俗解读：

1. 核心问题：AI 真的懂“多少”吗？

人类在描述数量时，脑子里有一套复杂的“标尺”。

标尺排序：我们知道“几个” < “一些” < “很多” < “大多数”。
模糊的界限：比如，多少算“很多”？是 60% 还是 80%？这取决于语境，而且每个人心里的标准略有不同，但大体一致。
直觉估算：我们看一堆东西，不需要一个个数，就能凭直觉猜出大概比例。

论文发现：目前的 AI（特别是多模态大模型，既能看图又能读文字的模型）虽然能认出图里有方块，但在如何给这些方块“贴标签”（选哪个词）时，和人类的想法不太一样。它们要么把界限划得太死，要么完全乱了套。

2. 实验设计：给 AI 和人类出同样的题

研究人员给 240 个真人和 5 种不同的 AI 模型（包括像 GPT-4o 这样的通用模型，和像 o4-mini 这样擅长“深度思考”的模型）看了很多张图。

任务：看图，然后选一个词（几个/一些/很多/大多数）来描述黑方块的比例，并估算具体百分比。
多语言测试：不仅用英语，还用了希腊语、俄语、西班牙语、意大利语和加泰罗尼亚语，看看 AI 是不是只懂英语，或者在不同语言里表现是否一致。

3. 主要发现：AI 的“数量感”哪里出了问题？

A. “数数”能力：聪明的 AI 更准，但仍有偏差

人类：看图估算比例时，非常准。
普通 AI（Instruct 模型）：经常低估黑方块的数量。比如图里明明有 70% 的黑方块，它们可能觉得只有 50%。
思考型 AI（Thinking 模型）：这些经过特殊训练、会“一步步推理”的模型，在数数和估算比例上比人类还准，或者至少非常接近人类。
- 比喻：普通 AI 像是一个凭感觉猜数的孩子，容易猜少；思考型 AI 像是一个拿着计算器认真数的学霸，数得很准。

B. “用词”能力：AI 的“标尺”是歪的

这是论文最有趣的部分。即使 AI 数对了，它们在选词上还是和人类不一样。

标尺排序混乱：
- 人类心里：几个 < 一些 < 很多 < 大多数。
- 思考型 AI：大体上也是这样，但偶尔会乱。
- 普通 AI：经常乱套。比如，它们可能觉得“大多数”和“很多”用的比例差不多，甚至觉得“很多”比“大多数”用的比例还高。
- 比喻：人类的标尺刻度是均匀的（10cm, 20cm, 30cm...），而普通 AI 的标尺刻度是乱画的，有时候 20cm 和 30cm 挤在一起，有时候 10cm 和 20cm 隔得太远。
“典型值”不同：
- 人类觉得“大多数”通常指 90% 以上。
- AI 觉得“大多数”只要 50%-60% 就够了。
- 比喻：人类觉得“大多数”是“几乎全满”，AI 觉得“大多数”是“刚过半”。
语言差异：
- 令人惊讶的是，英语并不是 AI 表现最好的语言。在希腊语、俄语等其他语言中，AI 的表现并没有因为语言不同而变得像人类。
- 这说明 AI 并没有像人类那样，在不同语言里共享一套统一的“数量概念”，它们更像是为每种语言单独建了一套歪歪扭扭的标尺。

4. 为什么 AI 会这样？（深度解析）

论文认为，AI 的问题出在**“学习方式”**上：

统计 vs. 逻辑：人类学语言是靠理解逻辑和现实世界（比如知道“大多数”意味着超过一半）。AI 学语言是靠统计概率（比如看到“大多数”这个词，后面常跟着什么数字）。
缺乏“常识”：AI 可能背下了很多句子，但它没有真正理解“数量”背后的数学逻辑和人类的社会共识。
思考型 AI 的进步：那些会“深度思考”的模型，因为经过了专门的数学和逻辑训练，所以在数数和逻辑排序上更像人。但它们依然缺乏人类那种灵活的、模糊的语用直觉（比如什么时候该用“一些”，什么时候该用“很多”的微妙差别）。

5. 总结：这对我们意味着什么？

AI 不是全知全能的：虽然它们能写诗、画画、写代码，但在处理像“数量”这样看似简单、实则充满人类认知细节的问题时，它们还是像个“死记硬背”的学生，而不是“融会贯通”的智者。
未来的方向：要让 AI 更像人，不能只让它背更多的数据，还得让它真正理解逻辑、数学和人类的社会常识。
多语言视角：AI 在不同语言里的表现差异，提醒我们它们可能并没有一个统一的“大脑”，而是有很多个针对特定语言的“小模块”，这限制了它们真正的通用智能。

一句话总结：
这篇论文告诉我们，AI 虽然能数清东西，但还不懂人类如何描述东西。它们心里的“数量标尺”是歪的，而且在不同语言里，这种歪法还不一样。要真正像人一样思考，AI 还有很长的路要走。

这是一份关于《多模态大语言模型与人类语言认知中的量化与物体感知》（Quantification and Object Perception in Multimodal Large Language Models and Human Linguistic Cognition）论文的详细技术总结。

1. 研究背景与问题 (Problem)

量化（Quantification）是人类认知中处理数量关系和比例的核心能力，涉及逻辑、语用和数值认知等多个领域。尽管多模态大语言模型（MLLMs）在视觉和文本任务上取得了进展，但它们在量化任务上的表现仍存在显著缺陷。

核心研究问题：

RQ1：为什么 MLLMs 难以像人类一样使用量化词？ 具体关注三个尚未在 MLLM 文献中深入探索的人类量化特征：
- 量化词在标尺上的排序（如：一些 < 许多 < 所有）。
- 量化词的使用范围和原型值（Prototypicality，即某个词最典型的使用场景）。
- 人类近似数量系统（Approximate Number System, ANS）中的认知偏差。
RQ2：不同数值能力的模型之间是否存在性能差异？ 比较了“思维模型”（Thinking/Reasoning models，如 o4-mini, GLM-4.6V）与“指令模型”（Instruct/General-purpose models，如 GPT-4o, Gemma 3）。前者经过强化学习训练以生成思维链，后者则未经历此步骤。
RQ3：不同语言间是否存在性能差异？ 考察模型在跨语言（英语、希腊语、俄语）及同语系语言（西班牙语、意大利语、加泰罗尼亚语）中的表现，以探究模型是否拥有跨语言的中心化概念表征。

2. 方法论 (Methodology)

实验设计：

刺激材料： 使用由黑色方块和白色圆形组成的图像（共 512x512 像素），方块数量 $N$ 变化，圆形数量为 $100-N$ 。
任务流程：
1. 量化词选择： 参与者（人类和模型）需选择最能描述图像中方块比例的量化词（如：a few, some, many, most）。
2. 比例估算： 参与者需估算图像中黑色方块的大致比例（如：11%-20%）。
- 目的： 区分模型与人类的差异是源于“数量估算能力”（将图像映射为数字），还是“量化词内部映射”（将数字映射为语言）。
参与者与模型：
- 人类： 6 种语言，每种语言 40 人，共 240 人。
- 模型： 5 种 MLLM，包括闭源和开源模型：
  - 指令型 (Instruct): GPT-4o, Gemma 3 (24B), Molmo 2 (8B)。
  - 思维型 (Thinking): o4-mini, GLM-4.6V (106B)。
- 所有模型在低温度（Temperature=0）下运行，思维模型保持中等推理强度。
数据量： 最终分析包含约 4560 条人类响应和数千条模型响应。

3. 关键贡献 (Key Contributions)

多维度的量化分析框架： 首次将量化研究细分为三个关键维度进行系统性评估：(i) 标尺排序（Entailment scales），(ii) 使用范围与原型值（Ranges & Prototypicality），(iii) 近似数量系统的认知偏差。
模型类型的对比研究： 系统性地比较了经过思维链强化训练的“思维模型”与常规“指令模型”在量化任务上的差异，揭示了数值推理能力对语义理解的影响。
跨语言实证扩展： 突破了以往仅关注英语的研究局限，涵盖了 6 种语言（包括斯拉夫、希腊、罗曼语族），探讨了语言距离对模型内部表征的影响。
揭示分布语义学的局限性： 通过实验数据论证了基于统计分布的模型在捕捉独立于上下文的逻辑词（如量化词）含义时的根本性困难。

4. 主要结果 (Results)

4.1 近似数量系统 (Approximate Number System)

人类表现： 人类在估算方块比例时准确率很高。
模型表现：
- 思维模型（o4-mini, GLM-4.6V）在数值估算任务上显著优于指令模型，表现更接近人类。
- 指令模型倾向于低估超过 50% 比例的黑色方块。
- 结论： 思维模型通过强化学习提升了数值感知能力，但这并不完全等同于掌握了量化的语义。

4.2 量化词的生产与映射 (Production of Quantifiers)

标尺排序 (Ordering)：
- 人类： 普遍遵循 <a few, some, many, most> 的标尺顺序。
- 思维模型： 大体遵循人类顺序，但存在跨语言变异（例如在希腊语中 many 的使用频率极低，被 some 取代），且未能复现人类语言内部的细微差异（如加泰罗尼亚语中 uns quants 和 alguns 的竞争关系）。
- 指令模型： 未能遵循人类标尺顺序。例如，Gemma 3 中 most 的使用比例并未高于 many；GPT-4o 在西班牙语中 many 和 some 的分布重叠严重，甚至违反了集合论定义（most 应指 >50%）。
使用范围与原型值 (Ranges & Prototypicality)：
- 人类： most 的原型值（Mode）集中在 91%-100%。
- 模型： 无论是思维模型还是指令模型，most 的原型值均显著偏低（集中在 51%-70%）。
- 分布差异： 模型的量化词使用范围（IQR）要么过宽要么过窄，与人类分布不匹配。特别是 many 和 some 这两个词，在所有模型和语言中都表现出显著的编码困难。

4.3 统计显著性

多分类回归分析显示，响应者类型（人类/思维/指令）与报告比例之间存在显著的交互作用。
指令模型在低量级词（a few）上表现相对接近人类，但在高量级词上偏差巨大。
思维模型在 most 上表现更接近人类，但在 many 和 some 的区分上仍与人类有显著差异。
语言效应： 英语并非表现最好的语言；不同语言间的模型行为模式不一致，且罗曼语族内部也未表现出共同模式，暗示模型缺乏跨语言的中心化概念表征。

5. 意义与讨论 (Significance & Discussion)

认知可塑性与局限性： 研究结果表明，MLLMs 虽然能通过强化学习提升数值估算能力（RQ2），但这不足以使其完全掌握人类复杂的量化语义（如语用充实、标尺竞争和原型效应）。
分布语义学的挑战： 模型基于统计分布的学习方式难以捕捉独立于上下文的逻辑词（如量化词、否定词）的精确含义。在纯文本任务中，模型可能通过表面相关性“欺骗”过测试，但在需要结合视觉感知和深层语义的多模态任务中，缺陷暴露无遗。
语义代理的地位： 尽管模型在某些方面表现出类似人类的排序，但在原型值和范围上存在本质差异。这表明 MLLMs 目前仍主要是“统计模式识别者”，而非真正的“语义和语用代理”。
跨语言视角： 模型在不同语言中表现出不同的内部表征，且未能复现人类语言间的细微差异，暗示其可能缺乏像人类那样的通用概念系统，而是依赖语言特定的神经元映射。

总结： 该论文通过严谨的跨语言、跨模型类型的实验，揭示了当前 MLLMs 在量化任务上的深层缺陷。研究指出，单纯的数值能力提升（思维链训练）不足以解决语义理解的根本问题，未来的模型需要在捕捉语用推理、原型效应及跨语言概念一致性方面进行改进。