💻 computer science

Getting to the Point: Why Pointing Improves LVLMs

该研究通过零样本计数任务表明，让大型视觉语言模型先预测物体坐标再进行计数的“先指后数”方法，相比直接计数能显著提升泛化能力，其增益源于坐标所编码的空间信息，尽管模型生成的指代点在绝大多数情况下准确，但仍存在空间偏差。

原作者： Simone Alghisi, Massimo Rizzoli, Seyed Mahed Mousavi, Giuseppe Riccardi

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Simone Alghisi, Massimo Rizzoli, Seyed Mahed Mousavi, Giuseppe Riccardi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么让大型人工智能（AI）在回答问题前先“指”一下图片里的东西，会让它变得更聪明、更靠谱？

想象一下，你正在教一个刚上学的小学生做数学题。

1. 核心问题：AI 的“数数”难题

现在的 AI（被称为大视觉语言模型，LVLM）很厉害，能看图说话。但是，当被问到“图里有几只猫？”或者“有多少个红色的星星？”这种需要数数的问题时，它们经常犯糊涂。

这就好比让小学生直接心算"100 加 100 等于多少”，如果没学过进位，他可能会瞎猜一个数字。以前的 AI 也是，直接看图片猜数字，很容易因为图片太乱或者物体太多而数错。

2. 两种解题方法：直接猜 vs. 先指后数

作者设计了两种方法来训练 AI，就像教学生两种不同的解题策略：

方法 A：直接数数 (Direct Counting)
- 做法：老师问“有几个苹果？”，AI 直接回答"5 个”。
- 比喻：这就像让小学生直接报答案，没有中间步骤。如果题目稍微变难一点（比如苹果变多了），学生就容易懵，直接瞎猜。
方法 B：先指后数 (Point-then-Count)
- 做法：老师问“有几个苹果？”，AI 必须先说：“第一个苹果在左上角，第二个在中间……"（把每个苹果的位置都指出来），最后再总结：“一共 5 个”。
- 比喻：这就像教学生**“数手指”**。先一个一个点着数（建立坐标），最后再报总数。

3. 实验发现：为什么“指”一下更好？

作者用很多种不同的 AI 模型做了实验，结果发现“先指后数”的方法大获全胜，原因有三点：

A. 学会了“真本事”，而不是死记硬背

现象：当图片里的苹果数量超过了训练时见过的数量（比如训练时最多见过 9 个，测试时给了 15 个），“直接数数”的 AI 就彻底崩了，准确率暴跌。但“先指后数”的 AI 依然能数得很准。
比喻：
- 直接数数的 AI 像是在背乘法表，只背到了"9 乘 9"，一旦遇到"10 乘 10"就不知道了。
- 先指后数的 AI 像是学会了加法的逻辑。它学会了“一个一个数”的方法，所以不管有多少个，它都能数清楚。它学到的是一种通用的技能，而不是死记硬背的答案。

B. 指的位置很准，可以作为“证据”

现象：有人可能会怀疑：AI 指的位置准吗？会不会乱指？
结果：实验显示，在 89% 以上的情况下，AI 指的位置都是对的！
比喻：这就像老师批改作业。如果学生只写答案"5"，你没法知道他是蒙的还是算的。但如果他先在图上圈出了 5 个苹果，你就知道他是真的数了，而且过程是透明的、可解释的。这让 AI 的回答更让人放心。

C. 关键秘密：AI 其实是在“读坐标”而不是“看图片”

最有趣的发现：作者做了一个“破坏性实验”。他们把 AI 生成的坐标（比如“苹果在 (1,1)"）换成一个毫无意义的符号"X"，或者把图片变黑，只给坐标。
结果：
- 如果只给坐标（哪怕是黑图），AI 依然能数对。
- 如果把坐标换成"X"，AI 就彻底不会数了。
比喻：这揭示了 AI 的一个小秘密。在“先指后数”的模式下，AI 其实不再依赖眼睛看图片了，它变成了**“文字游戏高手”**。它把“指位置”这个过程转化成了文字（坐标），然后像做数学题一样，通过数这些文字坐标的个数来得出答案。
- 这就好比：它不再盯着满桌子的苹果看，而是把苹果都变成了“苹果 1、苹果 2、苹果 3"的清单，然后数清单上有几个名字。这种结构化的思考方式比直接看图片更不容易出错。

4. 总结与启示

这篇论文告诉我们，让 AI 在回答复杂问题前，先**“指”出关键信息（比如位置、物体），就像给 AI 装了一个“思维脚手架”**。

对 AI 的好处：它不再死记硬背，而是学会了如何一步步推理，面对新情况（比如更多的物体、更乱的背景）也能应对自如。
对人类的好处：我们可以清楚地看到 AI 是“怎么想的”（通过它指的位置），如果它指错了，我们就能立刻发现，而不是盲目相信它的最终答案。

一句话总结：
教 AI 数数，不要让它直接猜答案，要让它先**“点兵点将”**（指位置）。一旦它学会了这个“点兵”的步骤，它就能数清任何数量的东西，而且我们还能看到它是怎么数的，既聪明又透明！

1. 研究背景与问题 (Problem)

大型视觉 - 语言模型（LVLMs）虽然在图像描述、视觉问答等任务上表现优异，但在涉及空间推理、计数等复杂认知任务时，性能往往显著下降。现有的 LVLM 存在以下痛点：

缺乏可解释性：模型直接输出答案，缺乏中间推理步骤，人类难以验证其答案是否基于图像中的真实证据。
泛化能力弱：模型容易在训练分布内过拟合，难以处理训练集中未见过的高数量物体或复杂干扰场景（Out-of-Distribution, OOD）。
机制不明：虽然已有研究表明“指向”（Pointing，即先预测物体坐标再回答问题）能提升计数准确率，但具体是哪种机制带来了提升，以及坐标是否真正起到了“视觉 grounding（定位）”的作用，尚不清楚。

核心研究问题：

指向（Pointing）是否能促进模型学习通用的“计数技能”，而不仅仅是记忆特定任务？
预测的坐标是否真正在图像中得到了定位（Grounded），能否作为可靠的视觉解释？
指向提升性能的根本机制是什么？

2. 方法论 (Methodology)

作者通过**零样本计数（Zero-Shot Counting）**任务作为案例研究，对比了两种微调策略，并设计了严格的实验环境。

2.1 实验设置与数据

合成数据集 (CIVET 框架)：为了消除真实数据中的偏差（如物体位置集中在中心、类别不平衡）和防止数据污染，作者使用 CIVET 框架生成了合成数据集。
- 图像结构：将图像划分为 $9 \times 9$ 的网格，物体放置在网格单元中，确保位置均匀分布。
- 训练数据：包含 1-9 个目标物体的图像，分为“基础集”（仅目标物体）和“噪声训练集”（加入最多 3 个干扰物）。
- 评估数据：
  - ID (In-Distribution)：1-9 个物体，测试分布内性能。
  - OOD (Out-of-Distribution)：10-18 个物体，测试泛化能力。
  - NoisyTS：加入大量干扰物（最多 9 个），测试鲁棒性。
模型：微调了 4 种最先进的开源 LVLM（Qwen2.5-VL 3B/7B, LLaVA-OneVision 8B, InternVL3.5 8B）。

2.2 两种对比方法

直接计数 (Direct Counting, DC)：模型直接根据图像和查询生成最终的数量答案。
- 输入：(图像, 查询) $\rightarrow$ 输出：数量。
先指后数 (Point-then-Count, PtC)：模型首先生成目标物体的坐标序列，再基于这些坐标生成数量答案。
- 输入：(图像, 查询) $\rightarrow$ 输出：Coordinates: (x1, y1), ..., (xn, yn). Answer: n。
- 坐标按固定顺序（从左到右，从上到下）排列。

2.3 评估指标

准确率 (Accuracy)：最终计数答案的正确性。
定位可靠性：使用 F1 分数、精确匹配 (Exact Match) 和一致性 (Consistency，即坐标数量是否与最终答案一致) 来评估坐标是否真正定位到了物体。
消融实验：
- X Fine-Tuning：将坐标替换为无关 Token "X"，测试空间信息的作用。
- 图像/坐标移除：分别移除图像输入或坐标输入，观察模型依赖程度。

3. 关键贡献与发现 (Key Contributions & Results)

3.1 指向促进了“技能学习”而非“任务记忆” (Skill Learning vs. Task Memorization)

OOD 泛化优势：在物体数量超出训练范围（10-18 个）的 OOD 测试中，PtC 方法显著优于 DC 方法。
- 例如，InternVL3.5 在 PtC 下 OOD 准确率达到 97.33%，而 DC 仅为 45.38%。
- 这表明通过生成坐标，模型学会了“如何计数”的通用技能，而不是死记硬背特定数量的模式。
抗干扰能力：在存在大量干扰物（Distractors）的场景下，PtC 模型（特别是 InternVL3.5 和 Qwen2.5-VL 7B）保持了接近完美的准确率，而 DC 模型性能下降较快。

3.2 坐标作为视觉解释的可靠性 (Reliability of Coordinates)

高定位率：在超过 89% 的情况下，预测的坐标成功定位到了图像中的目标物体（F1 分数 > 0.89）。
空间偏差 (Spatial Biases)：尽管整体表现良好，但不同模型存在显著的空间偏差。
- LLaVA-OneVision 表现出从左到右性能递减的趋势。
- Qwen2.5-VL 系列在图像底部和右侧边缘表现较差。
- InternVL3.5 在整个图像区域表现最均匀。
不一致性：在 OOD 设置下，模型预测的坐标数量与最终输出的数字答案有时不一致，说明模型可能未能正确将坐标映射到数值。

3.3 性能提升的机制分析 (Mechanistic Analysis)

通过消融实验揭示了 PtC 提升性能的深层原因：

空间信息是关键：当用无关 Token "X" 替换坐标时，模型的 OOD 泛化能力急剧下降（例如 Qwen2.5-VL 7B 从 97% 跌至 3.36%）。这证明显式的空间信息是模型泛化到更多物体的核心。
依赖文本坐标而非视觉特征：
- 当移除图像输入（仅保留 Ground Truth 坐标）时，模型性能几乎不受影响（下降 < 2%）。
- 当移除坐标输入时，性能大幅下降（下降 > 80%）。
- 结论：PtC 模型主要依赖生成的文本坐标序列来进行计数推理，几乎忽略了原始的视觉模态。这意味着将视觉感知转化为结构化的文本表示（坐标），比直接让模型在原始视觉特征上进行推理更容易。

4. 结论与意义 (Significance)

理论意义：
- 证明了将复杂认知任务分解为“感知（定位）+ 推理（计数）”的显式步骤，能有效提升 LVLM 的泛化能力和鲁棒性。
- 揭示了 LVLM 在计数任务中更擅长处理结构化的文本中间表示，而非直接处理视觉特征。
实践意义：
- 可解释性：生成的坐标可以作为可视化的中间证据，帮助人类验证模型是否“看”对了地方。
- 训练策略：在需要高精度和强泛化能力的场景（如医疗细胞计数、工业缺陷检测）中，采用 PtC 策略比直接端到端训练更有效。
局限性：
- PtC 增加了推理的计算开销（需生成坐标序列）。
- 目前实验主要在合成数据上进行，未来需在更复杂的真实场景（遮挡、背景杂乱）中验证。

总结：该论文通过严谨的对照实验和消融分析，不仅证实了“指向”能显著提升 LVLM 的计数能力，更重要的是阐明了其背后的机制——即通过显式的空间 grounding将视觉任务转化为更易处理的序列推理任务，从而实现了从“死记硬背”到“技能习得”的跨越。