Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding

这篇论文《Responses Fall Short of Understanding: Revealing the Gap between Internal Representations and Responses in Visual Document Understanding》（响应未能体现理解：揭示视觉文档理解中内部表示与响应之间的差距）深入探讨了大型视觉语言模型（LVLMs）在处理视觉文档理解（VDU）任务时，其内部表征（Internal Representations）与最终生成的文本响应（Responses）之间存在的不一致性。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：视觉文档理解（VDU）是一项具有挑战性的任务，要求模型整合视觉感知、文本识别以及对结构化布局的推理能力。尽管现有的 LVLMs 在 VDU 基准测试中表现有所进步，但评估主要依赖于生成响应的准确性。
• 核心问题：
  1. 评估偏差：仅凭响应准确性无法完全反映模型是否在内部真正捕获了解答问题所需的信息。
  2. 表征与响应的差距：研究表明，模型内部可能编码了比其生成响应中体现的更丰富的信息。然而，在 LVLMs 中，这种“内部表征”与“外部响应”之间的差距尚未被深入探究，特别是这种信息在模型不同层（Layers）中的分布情况尚不清楚。
  3. 微调策略的局限性：传统的微调通常针对所有层或特定层，但缺乏基于内部表征分析的针对性策略，导致模型可能无法充分利用其内部已编码的信息。

2. 方法论 (Methodology)

论文采用**线性探测（Linear Probing）**技术来量化 LVLMs 内部表征中信息的可获取性，并据此设计微调策略。

A. 线性探测实验 (Linear Probing Analysis)

• 实验设置：在 LVLM 的每一个 Transformer 层上构建二分类线性探测器（Linear Classifiers）。
• 输入类型：针对四种 Token 类型分别构建探测器：
  1. Image-token：视觉编码器投影的图像 Token。
  2. Text-token：问题文本的 Token。
  3. All-token：序列中的所有 Token（均值池化）。
  4. Last-token：序列的最后一个 Token。
• 任务设计：构建了四个涵盖 VDU 不同能力的二分类任务（基于 Qwen2.5-VL 3B 生成错误答案的样本）：
  1. 视觉属性识别（Visual attributes recognition）：如颜色、形状。
  2. 单词识别（Word recognition）：识别图像中的拼写。
  3. 结构理解（Structure understanding）：识别文档组件（标题、表格等）。
  4. 图表理解（Figure understanding）：图表中的关系推理。
• 评估指标：
  • 线性探测准确率 ($A_{LP}$)：衡量某一层能否线性分离出正确答案信息。
  • 响应准确率 ($A_{resp}$)：模型生成响应的准确率。
  • 差距 (Gap)：定义为 $\max(A_{LP}) - A_{resp}$，即内部表征能达到的最高准确率与模型实际响应准确率之差。

B. 针对性微调策略 (Targeted Fine-tuning)

基于线性探测的发现，作者提出了针对**中间层（Intermediate Layers）**的微调策略，而非传统的“全层微调”（All-layer fine-tuning）。

• 分层策略：根据线性探测准确率显著上升的层级，将模型层划分为“下层（Lower）”、“中层（Middle）”和“上层（Upper）”。
• 微调设置：
  • 单步微调：微调单一组（如 Middle）或相邻组（如 L-M）。
  • 两步微调：分阶段微调不同层组（如 L→M，先下层后中层）。
• 对比实验：对比全层微调、仅微调中间层以及不同组合策略在分类任务和文档 VQA 任务（DocVQA, InfographicVQA）上的表现。

3. 关键发现与贡献 (Key Contributions & Findings)

发现一：内部表征与响应之间存在显著差距

• 在所有测试模型（Qwen2.5-VL, Gemma3, LLaVA-NeXT）和任务中，线性探测准确率始终高于响应准确率。
• 这意味着模型内部确实编码了解答问题所需的信息，但这些信息未能完全转化为最终的文本输出。
• 全层微调（All-layer fine-tuning）无法完全消除这一差距，表明差距不仅仅是由训练不足引起的，而是模型生成机制或表征动态的固有特性。

发现二：关键信息更多编码在中间层

• 中间层优于末层：对于解决 VDU 任务所需的信息，**中间层（Intermediate Layers）**的线性探测准确率往往高于最终层（Final Layer）。
• Token 类型差异：
  • Last-token：在高层中通常包含最强的线性可分信息，但在低层表现较差。
  • Image-token：由于均值池化或输入顺序原因，其线性可分性较弱。
  • Text-token：在低层表现较好，但在接近末层时准确率下降，可能是因为引入了与答案无关的噪声。
• 任务特性：涉及对象级识别（如视觉属性、单词识别）的任务，其信息在中间层更容易被线性捕获；而涉及关系推理的任务，线性可分性提升较缓，表明模型在推理和语言处理方面仍存在局限。

发现三：针对性微调中间层能有效弥合差距

• 性能提升：微调选定的中间层（特别是包含“中层”的组合）在响应准确率和线性探测准确率上均优于全层微调。
• 差距缩小：中间层微调策略比全层微调更有效地缩小了内部表征与响应之间的 Gap。
• 效率优势：仅微调部分中间层（如 Middle 或 M-U）在减少约 20% 可训练参数和 35% 训练时间的情况下，仍能取得最佳或次佳性能。
• 任务依赖性：
  • 对于依赖视觉处理的对象识别任务，先微调中层再微调下层（M→L）效果较好。
  • 对于依赖全局理解的推理任务，先微调下层再微调中层（L→M）效果较好。
  • 对于文档 VQA 任务，结合中层和上层（M-U）效果最佳。

4. 实验结果 (Results)

• 分类任务：在四个 VDU 分类任务中，微调中间层（如 "Middle" 或 "L-M"）的响应准确率普遍高于全层微调（All），且 Gap 显著减小（例如在 Visual attributes 任务中，Gap 从 24.82% 降至 3.22%）。
• 文档 VQA 任务：在 DocVQA 和 InfographicVQA 上，包含中间层的微调策略（如 M-U, L-M）取得了最高的 ANLS（平均归一化编辑相似度）分数，同时训练时间大幅缩短。

5. 意义与结论 (Significance & Conclusion)

• 理论意义：揭示了 LVLMs 在 VDU 任务中存在“理解但未表达”的现象，证明了内部表征中包含的信息量大于生成响应所体现的信息量。
• 方法论创新：首次系统地通过线性探测分析了 LVLMs 各层在 VDU 任务中的信息分布，并提出了基于表征分析的中间层微调策略。
• 实践价值：
  1. 提供了一种更高效的微调范式，无需全量微调即可显著提升模型性能。
  2. 为理解多模态模型内部的推理机制提供了新的视角（即关键信息在中间层最为活跃）。
  3. 指出了当前模型在将内部推理转化为最终输出时的瓶颈，为未来的模型架构设计和训练目标优化提供了方向。

局限性：线性探测主要适用于线性可分的信息，对于复杂的自由形式推理或非线性结构信息的分析能力有限，未来需要开发更复杂的探测方法。

总的来说，这篇论文通过深入分析模型内部状态，挑战了“响应即理解”的传统评估假设，并提出了一种利用中间层信息来优化模型性能的新策略。