💻 computer science

Do Vision Language Models Need to Process Image Tokens?

该研究通过系统分析发现，视觉语言模型中的图像表征在深层网络中会迅速收敛至稳定状态，表明持续深度的视觉处理并非在所有任务中都是必需的，从而挑战了当前多模态大模型架构中必须深层处理图像 token 的固有假设。

原作者： Sambit Ghosh, R. Venkatesh Babu, Chirag Agarwal

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Sambit Ghosh, R. Venkatesh Babu, Chirag Agarwal

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：现在的“看图说话”人工智能（视觉语言模型，VLM），是不是真的需要把图片里的每一个细节都反复“咀嚼”很多遍，才能理解并回答我们的问题？

为了让你轻松理解，我们可以把整个 AI 模型想象成一个正在读图写文章的“超级实习生”，而图片里的每一个小方块（Token）就是实习生手里的一张照片碎片。

以下是这篇论文的核心发现，用大白话和比喻来解释：

1. 核心发现：图片信息“早早就定型了”

比喻： 想象实习生刚拿到照片碎片时，会先花几秒钟快速扫一眼，心里大概有了个底（比如：“哦，这是一只猫在沙发上”）。
论文发现： 研究发现，这个“心里有底”的过程发生得非常快。在 AI 模型的“大脑”（神经网络）的前几层，图片信息就已经被整理得差不多了。

图片碎片（Image Tokens）： 就像刚冲好的咖啡，前几层就已经把味道（信息）提取出来了，后面再反复加热（深层处理），味道也不会怎么变。
文字碎片（Text Tokens）： 就像正在写的文章，每写一句话（每一层），逻辑都在不断调整、深化，直到最后才定稿。

结论： 图片信息在模型的前半段就“稳定”了，后面的层其实只是在重复确认，并没有产生太多新的“视觉灵感”。

2. 关键问题：后面的层真的需要看图片吗？

比喻： 既然实习生前面已经看清了是“猫”，那后面写文章的时候，还需要一直盯着那张照片看吗？
论文发现： 这取决于你要他干什么活（任务类型）：

如果是“选择题”或“简单问答”（单 Token 预测）：
- 场景： 问“图里有猫吗？”
- 结果： 即使把照片在中间层就收走，只让实习生靠记忆写答案，他也能答对。因为只要有个大概印象就够了。
如果是“写长文章”或“详细描述”（多 Token 生成）：
- 场景： 让实习生“描述这只猫在做什么，毛色如何，表情怎样”。
- 结果： 如果中途把照片收走，实习生就会开始胡编乱造，或者描述得很模糊。因为写长文需要持续地对照图片细节，不能只靠开头的那一眼。

结论： 图片信息不是完全没用，而是**“看任务而定”**。简单任务可以“浅尝辄止”，复杂任务必须“全程盯着”。

3. 如果强行“偷懒”（截断图片处理），能补救吗？

比喻： 假设老板为了省钱，强制要求实习生只看前 5 层就停止看照片，直接开始写。结果写得一塌糊涂。这时候，能不能通过**“特训”（微调/Fine-tuning）**让实习生适应这种“只看一眼”的模式？
论文发现：

写描述（Captioning）： 可以救回来一部分。通过特训，实习生学会了如何把有限的记忆发挥到极致，写出来的文章虽然不如原版完美，但能凑合用。
做精准问答（如读图表）： 很难救回来。如果任务需要精确的数字或逻辑（比如“图表里 2023 年的销售额是多少”），一旦前期没看清，后面怎么特训都补不回来，因为关键信息已经丢了。

结论： 简单的“偷懒”可以通过训练适应，但高精度的任务如果前期没看清，后面怎么练都没用。

4. 让 AI“多思考一步”（推理链）有用吗？

比喻： 我们告诉实习生：“别急着给答案，先写个摘要，再写个推理过程，最后给结论。”（这就是所谓的推理链/Chain of Thought）。我们以为这样能帮他在没看清图的情况下也能答对。
论文发现： 完全没用，甚至更糟！

如果图片信息在早期就被切断了，让 AI 去写“摘要”和“推理过程”，它反而会因为缺乏持续的视觉支持，把中间步骤写得更离谱，导致最后的结论也错了。
这就好比让一个没看清题目的人，强行让他写出解题步骤，他只会编造更多的错误逻辑。

结论： 即使让 AI“多思考”，如果缺乏持续的视觉输入，它也无法弥补信息的缺失。“想得多”救不了“看得少”。

5. 这对我们意味着什么？（省钱的秘密）

比喻： 以前大家觉得，为了把 AI 训练好，必须让它把整张图从头到尾、每一层都“过”一遍，这就像让实习生把照片看了 30 遍，非常浪费时间（计算成本高）。
论文建议：

不用那么卷： 对于简单的看图说话，我们可以让 AI 只看前几层，后面的层直接跳过图片信息，只处理文字。
省大钱： 这样做可以大幅减少 AI 的“脑力消耗”（计算量），特别是处理图片最耗时的“预填充”阶段。
按需分配： 如果是写长文、做复杂推理，那就必须保留全程的视觉关注；如果是简单问答，就可以大胆“截断”。

总结

这篇论文告诉我们：AI 看图的“深度”并不是越深越好，也不是越深越必要。

图片信息在早期就定型了。
简单任务可以“浅看”，复杂任务必须“深看”。
强行让 AI“少看”图片，可以通过训练适应一部分，但不能指望靠“多思考”来弥补。

这项研究就像给 AI 工程师提供了一张**“节能地图”**：告诉我们什么时候可以关掉图片处理的“大灯”省电，什么时候必须开着，从而设计出更快、更便宜、更聪明的 AI 模型。

论文标题：Do Vision Language Models Need to Process Image Tokens?

作者：Sambit Ghosh, R. Venkatesh Babu, Chirag Agarwal
机构：IBM, 印度科学研究所 (IISc), 弗吉尼亚大学

1. 研究背景与问题 (Problem)

背景：
视觉语言模型（VLMs）通过将视觉编码器与大型语言模型（LLM）结合，在多模态推理任务中取得了显著成功。在标准的 VLM 流水线中，输入图像被分割为固定大小的块，经过视觉编码器生成密集的图像 Token 序列，随后投影到 LLM 的嵌入空间中进行联合处理。

核心问题：
尽管 VLMs 在深层 Transformer 堆栈中处理大量的图像 Token，但这带来了巨大的计算开销。然而，目前尚不清楚：

持续性是否必要：是否需要在整个深层网络中持续处理图像 Token 才能维持性能？
表征演化：视觉表征从早期层到晚期层是否发生了有意义的演变？
冗余性：视觉信号是否在深层处理中被过度利用，或者在早期就已经稳定？

研究目标：
本文旨在从**表征中心（representation-centric）**的视角，系统性地调查图像 Token 在 VLM 中的功能角色，探究视觉表征何时变得冗余，以及这种冗余是否取决于具体任务。

2. 方法论 (Methodology)

作者采用了表征分析而非单纯的任务级性能评估，通过以下五个研究问题（RQ）展开系统性研究：

A. 表征演化分析 (RQ1)

指标：为了追踪 Token 表征在层间的结构演化，作者使用了三个互补的度量指标：
1. 矩阵熵 (Matrix Entropy)：量化谱集中度，反映表征的压缩程度或多样性。
2. 内在维度 (Intrinsic Dimensionality, ID)：估计表征局部流形的有效自由度，反映复杂度。
3. 轨迹曲率 (Trajectory Curvature, TC)：量化嵌入空间中连续层间更新向量的方向变化，反映表征演化的平滑度。
对象：对比图像 Token 和文本 Token 在 LLaVA-1.5, Qwen2.5-VL, InternVL 等模型中的演化。

B. 层间功能互换性 (RQ2)

实验协议：层替换（Layer Substitution）。构建混合状态，将早期层的图像 Token 替换到深层，或将深层 Token 替换到早期层，观察输出语义是否保持一致。
目的：验证视觉表征的几何稳定性是否意味着功能上的冗余（即深层是否不再改变视觉信息的语义贡献）。

C. 任务依赖性 (RQ3)

实验协议：深度截断（Depth Truncation）。在特定层 $l_c$ 之后完全移除图像 Token 的激活，仅保留文本 Token 继续推理。
任务对比：
- 单 Token 生成：如 VQA 中的选择题（MCQ）。
- 多 Token 生成：如图像描述（Captioning）和开放式 VQA。
目的：探究不同输出结构对视觉处理深度的敏感度。

D. 微调恢复能力 (RQ4)

实验协议：对截断后的模型进行基于蒸馏的微调（Distillation-based Fine-tuning）。使用完整模型（Base Model）的输出作为目标，微调截断模型，观察其能否恢复原始行为。
评估：不仅看性能恢复，还评估在不同解码策略（贪婪、束搜索、采样等）下的稳定性（变异系数 CV）。
效率分析：计算截断后的 GFLOPs（浮点运算量）与性能的关系。

E. 推理链的影响 (RQ5)

实验协议：在 M3CoT 数据集上，对比“直接生成答案”与“生成显式推理链（Summary -> Caption -> Reasoning -> Conclusion）”两种模式在视觉截断下的表现。
目的：探究结构化推理是否能补偿视觉深度的减少。

3. 关键发现与结果 (Key Results)

RQ1: 表征的早期稳定化

图像 Token：在网络的早期（约前 10-15 层），图像表征迅速进入稳定几何状态。矩阵熵稳定，内在维度压缩，轨迹曲率趋于常数。这意味着后续层主要是在保留和微调视觉信息，而非进行根本性的重构。
文本 Token：在整个网络深度中持续进行动态重组，熵波动大，曲率高，表明文本信息在深层持续发生语义转换。
结论：视觉表征在早期即达到“有界复杂度”状态，而文本表征则持续演化。

RQ2: 功能互换性

图像 Token：一旦表征稳定，不同层的图像 Token 在功能上具有高度互换性。将早期层的图像 Token 替换到深层，输出语义几乎不变（相似度接近 1.0）。
文本 Token：层间替换导致语义显著下降，文本表征对深度高度敏感。
结论：视觉表征的几何稳定对应着层间功能互换性，深层处理并未引入显著的额外语义变化。

RQ3: 任务依赖性

单 Token 预测（如选择题）：对视觉截断鲁棒。即使较早截断图像 Token，模型仍能保持较高的准确率，因为粗粒度的视觉决策在早期即可形成。
多 Token 生成（如图像描述）：对视觉截断极度敏感。早期截断会导致语义相似度和 BLEU/ROUGE 分数急剧下降。
结论：视觉处理的必要性取决于输出复杂度。单 Token 任务容忍早期截断，而多 Token 生成需要深层的视觉 grounding。

RQ4: 微调恢复与效率

恢复能力：微调可以部分恢复截断模型的性能，尤其是对于描述性任务（Captioning）。但对于需要精确视觉对齐的任务（如 ChartQA），早期截断造成的信息丢失往往是不可逆的。
稳定性：微调后的模型在不同解码策略下的输出变异系数（CV）显著降低，表明微调不仅恢复了性能，还正则化了生成行为。
计算效率：
- 截断主要减少了 Prefill（预填充） 阶段的计算量（处理图像 Token 的部分），Decode 阶段变化不大。
- 微调后的截断模型在相同的计算预算下，性能显著优于未微调的截断模型，甚至接近完整模型。
- 结论：通过蒸馏微调，可以在大幅降低计算成本（主要是 Prefill）的同时，保持较高的功能性能。

RQ5: 推理链的敏感性

层级敏感性：在推理链中，Caption（描述） > Reasoning（推理） > Summary（摘要）。摘要最稳定，描述最脆弱。
推理链的代价：生成显式推理链（Chain-of-Thought）实际上加剧了对视觉深度的依赖。相比于直接生成答案，推理链需要多次跨模态 grounding，导致在视觉截断下性能下降更严重。
结论：结构化推理不能补偿视觉深度的减少；相反，它增加了对持续视觉 grounding 的需求。

4. 主要贡献 (Contributions)

揭示了 VLM 的表征动力学：首次系统性地证明图像 Token 在 VLM 深层中会迅速稳定并进入功能互换状态，而文本 Token 则持续演化。
任务依赖性的量化：明确了视觉处理深度的必要性取决于任务类型（单 Token vs 多 Token 生成），挑战了“所有 VLM 都需要深层视觉处理”的假设。
提出了基于蒸馏的恢复策略：证明了通过微调，截断模型可以在保留较少视觉深度的情况下，重新分配表征容量并恢复大部分性能，特别是在描述性任务中。
计算效率的新视角：指出视觉计算主要集中在 Prefill 阶段，通过截断和微调可以显著降低推理成本，为设计更高效的 VLM 架构提供了理论依据。
推理链的洞察：发现显式推理链实际上增加了对视觉深度的依赖，而非缓解它。

5. 意义与启示 (Significance)

架构设计指导：研究结果表明，并非所有 VLM 层都需要处理图像 Token。未来的架构可以设计为早期视觉编码 + 后期纯文本推理，或者动态调整视觉 Token 的处理深度，从而大幅降低计算开销。
任务感知优化：对于简单的问答任务，可以安全地减少视觉处理层；而对于复杂的图像描述或推理任务，则必须保留深层视觉 grounding。
部署策略：在延迟或算力受限的场景下，利用截断和微调技术，可以在不显著牺牲性能的前提下，实现高效的 VLM 部署。
评估标准：呼吁社区不仅关注准确率，还应关注表征动力学、推理需求与计算成本之间的对齐，推动开发结构上更高效而非均匀过度分配的模型。

总结：
这篇论文挑战了当前多模态大模型“越深越好”的直觉，指出视觉表征在早期即已稳定，深层处理往往是冗余的。然而，这种冗余并非绝对，它高度依赖于输出任务的复杂性。通过结合表征分析和微调技术，可以在保持性能的同时，显著优化 VLM 的计算效率。