论文技术总结：多模态大语言模型为何难以确定物体朝向

1. 研究背景与问题 (Problem)

多模态大语言模型（MLLMs）在处理需要推理图像中二维（2D）物体朝向的任务时表现不佳。先前的研究（如 Tong et al. 和 Nichols et al.）观察到，即使是性能最好的 MLLM，在涉及物体角度和方向的细粒度问答中，准确率也极低（例如仅 34%-60%）。

核心假设与争议：
现有的主流观点认为，MLLMs 在朝向任务上的失败源于其视觉编码器（Visual Encoder）。由于常用的编码器（如 CLIP、SigLIP）是在图像 - 文本语义对齐任务上预训练的，而非几何推理任务，因此假设它们未能将物体的朝向信息嵌入到特征表示中。如果编码器丢失了这些信息，后续的 MLLM 自然无法恢复。

本文研究目标：
本文旨在通过受控的实证实验，验证上述假设是否成立：即视觉编码器是否真的丢失了朝向信息？如果编码器保留了信息，那么 MLLM 失败的根本原因又是什么？

2. 方法论 (Methodology)

为了检验视觉编码器是否编码了朝向信息，作者设计了一套严格的实验协议，通过训练线性回归器来从编码器的内部表示（Embeddings）中预测旋转角度。

2.1 实验模型与编码器

研究选取了四个开源 MLLM 系统，涵盖三种不同的视觉编码器：

• LLaVA-OneVision: 使用 SigLIP 编码器。
• Qwen2.5-VL-7B-Instruct: 使用 ViT (Vision Transformer) 编码器。
• LLaVA-1.5 & 1.6: 使用 CLIP 编码器。

2.2 数据集构建

为了隔离变量并精确控制旋转，作者构建了三种图像数据集：

1. 全图旋转 (Whole Images)：针对支持双图输入的模型（LLaVA-OV, Qwen），输入原始图像和旋转后的同一图像，询问旋转角度。
2. 原位旋转物体 (In-Place Rotated Objects)：保持背景静止，仅旋转图像中的特定物体（如考拉、花瓶）。
3. 合成融合图像 (Blended Images)：针对单图输入模型（LLaVA-1.5/1.6），将前景物体（如狗、火车）通过 Alpha 混合叠加到自然背景上，并旋转前景物体。这种方法避免了旋转产生的边界伪影，允许对前景进行任意角度的精确旋转（0°-360°，步长 1°）。

2.3 评估指标

• 主要任务：从视觉编码器提取的特征向量中，训练线性岭回归器 (Linear Ridge Regressors) 来预测旋转角度（通过预测角度的正弦和余弦值）。
• 假设检验：如果回归器能准确预测角度，则证明朝向信息存在于编码器中；反之则证明信息丢失。
• 误差分析：计算平均绝对误差 (MAE)，并分析误差分布（使用 Q-Q 图、P-P 图及 Kolmogorov-Smirnov 检验）以判断误差是否为随机高斯分布。
• 特征置换实验 (Feature Substitution)：为了探究信息在特征空间中的分布密度，作者将锚点（特定角度）嵌入中的特征值逐步替换到目标嵌入中，观察需要替换多少特征才能“欺骗”预测器使其认为角度已改变。

3. 关键发现与结果 (Key Results)

3.1 推翻原有假设

实验结果直接反驳了“视觉编码器丢失朝向信息”的假设。

• 高精度预测：线性回归器能够以极高的精度从 SigLIP、ViT 和 CLIP 的嵌入向量中预测图像或前景物体的旋转角度。
• 误差极小：在所有测试集上，平均绝对误差 (MAE) 均小于 3°（大多数情况下小于 2°）。
• 结论：视觉编码器实际上完美地保留了物体的朝向信息。

3.2 误差分布特性

• 预测误差呈现近似高斯分布 (Gaussian) 的随机噪声特性。
• 通过统计检验（K-S 检验，p-value > 0.05），确认误差是随机的，而非系统性偏差。这意味着信息是准确且“行为良好”的，只是难以被模型利用。

3.3 信息分布的弥散性 (Diffuse Distribution)

这是本文最核心的发现之一，解释了为何 MLLM 难以利用这些信息：

• 特征置换实验结果：为了改变线性预测器的输出（即让预测器“认为”角度变了），需要替换嵌入向量中数万个特征值。
  • 对于 LLaVA-OneVision，需要替换约 540,000 个特征。
  • 对于 Qwen2.5-VL，需要替换约 128,000 个特征。
• 推论：朝向信息并非集中在少数几个关键神经元或特征通道中，而是弥散地分布在整个高维特征空间的数万个维度中。这种高度分散的编码方式使得 MLLM 的语言部分难以通过常规的注意力机制或推理逻辑有效地提取和利用这些信息。

3.4 背景依赖性问题

• 研究发现，前景物体的朝向估计高度依赖于背景处于“标准朝向”（Canonical Orientation）。
• 如果背景也被旋转，而模型仅在前景旋转的数据上训练，预测性能会急剧下降（MAE 飙升至 80°以上）。这表明 MLLM 在解耦前景与背景的空间关系上存在困难。

4. 主要贡献 (Contributions)

1. 实证反驳：首次通过受控实验证明，主流 MLLM 使用的视觉编码器（CLIP, SigLIP, ViT）实际上能够以高精度（MAE < 3°）编码 2D 朝向信息，推翻了“编码器缺陷论”。
2. 误差分析：揭示了朝向预测误差的随机高斯特性，表明信息本身是准确的。
3. 揭示编码机制：通过特征置换实验，发现朝向信息在特征空间中是高度弥散 (Highly Diffuse) 的，分布在数万个特征中，这可能是导致 MLLM 无法有效利用该信息的根本原因。
4. 背景敏感性：指出了前景朝向估计对背景朝向的敏感性，揭示了模型在空间关系解耦上的局限性。

5. 意义与启示 (Significance)

• 重新定义问题：MLLMs 在空间推理上的失败并非因为“看不见”（编码器丢失信息），而是因为“读不懂”或“无法提取”（语言模型无法从弥散的特征中提取几何信息）。
• 未来方向：
  • 改进 MLLM 架构，使其能够更有效地从弥散的特征表示中提取几何属性。
  • 在训练数据中引入更多样化的背景 - 前景旋转组合，以增强模型对空间关系的鲁棒性。
  • 探索专门的几何感知模块或提示工程，以辅助语言模型利用编码器中已存在的几何信息。

总结：本文通过严谨的实证研究，将 MLLM 朝向推理失败的归因从“视觉编码器”转移到了“特征利用机制”上，指出信息虽然存在但过于弥散，导致语言模型难以有效解码，为未来提升多模态模型的空间智能提供了新的理论依据和改进方向。