技术摘要：CrossView —— 视觉语言模型能否进行跨摄像头推理？

问题陈述

目前的视觉语言模型（VLMs）和视频理解基准测试主要是在“单摄像头假设”下运行的，即评估模型在单个视觉流上的推理能力。虽然最先进的模型在 VQAv2 和 Video-MME 等基准测试上达到了接近人类的表现，但现实世界的系统（自动驾驶汽车、安防网络、机器人）本质上依赖于多摄像头网络。

作者认为，多摄像头推理不仅仅是单摄像头问题的规模扩展，而是一个具有两个特定障碍的根本性挑战：

1. 上下文缩放（Context Scaling）： 处理 $N$ 个同步视频流会扩大所需的上下文窗口，这往往会超过长上下文模型的有效限制。
2. 跨视图空间推理（Cross-View Spatial Reasoning）： 模型必须执行时空缝合（spatio-temporal stitching），将离散的视角合成一个连贯的场景。这需要解决仅在特定摄像头中可见的遮挡问题，选择最具信息量的视图，并整合来自重叠或差异化视角的证据。

现有的数据集要么侧重于狭窄的感知任务（例如，将视图合并为鸟瞰图表示），要么局限于特定的领域（如自我中心活动理解）。目前缺乏能够迫使模型在原始、同步且异构的摄像头馈送中进行时空推理的基准测试。

方法论

数据集构建：CrossView

作者引入了 CrossView，这是一个多摄像头视频问答（VQA）基准测试，包含四个真实世界领域的 6,000 个问题：自动驾驶（nuScenes）、监控（MEVA）、自我中心-外中心交互（Ego-Exoc4D）以及机器人（AgiBot）。

该数据集通过一个两阶段流水线构建，以确保语义正确性并避免模型幻觉：

1. 时空场景图（STSG）构建：
   • 整合源数据集的元数据。对于 nuScens，利用 LiDAR 点云细化 3D 定位；对于其他数据集，则使用 3D 或边界框标注。
   • 在原生标签缺失的情况下，使用 VLM（如 InternVL-3.5）生成以物体为中心的活动和描述。
   • 计算不同摄像头视图之间实体间的成对空间关系（例如：在……后面、在……左边、在……右边）和方向增量。
   • 通过对保持一致活动的连续时间戳进行分组，形成事件区间 $[t_{start}, t_{end}]$。
   • 这些元素构成一个按时间顺序排列的图快照序列 $G_t$，从而创建最终的 STSG。
2. 程序化问题生成：
   • 采用“接地目标”（Grounding-Target）架构查询 STSG。系统识别接地事件/物体，选择目标事件，并采样负样本候选对象（干扰项）。
   • 将这些结构化元数据传递给 GPT-5.2 以合成自然语言问题，确保基于物体外观和活动进行基于事实的描述，而非使用泛泛的标签。

问题类别

该基准测试包括五种不同的推理类别，以及一个特定的“摄像头 ID”任务：

• 时间性（Temporal）： 推理关于 之前、之后、期间 或 之间 的关系。
• 事件排序（Event Ordering）： 重构 3–5 个不同事件的年代学序列。
• 空间性（Spatial）： 在不同视角间确定 3D 关系（例如，交通柱相对于停放车辆的相对位置）。
• 计数（Counting）： 在整个时间跨度和多个视图中聚合唯一的物体实例（UIDs），以处理遮挡和重新出现的情况。
• 总结（Summarization）： 生成关于所有摄像头视角下场景动态的整体叙述。
• 最佳摄像头（Camera-ID）： 识别哪个特定的摄像头视图为给定事件提供了最具信息量或持续性的证据。

评估策略

作者评估了 11 种 VLM，包括专有模型（GPT-5.2）和开源系列（Qwen、InternVL、Gemma）。

• 采样策略： 对比了两种策略：均匀采样（每个摄像头独立采样 $N$ 帧）和 缝合采样（将所有摄像头帧拼接成单个复合图像，按时间步进行）。
• 指标： 多选题（计数、时间性、事件排序、空间性、摄像头 ID）的准确率，以及开放式总结任务的 ROUGE 分数。

关键结果

1. 多摄像头推理差距

评估显示，即使是顶尖模型，在多摄像头设置下也存在持续且显著的性能差距。

• 低准确率： GPT-5.2 在单摄像头基准测试上接近饱和，但在 nuScenes 时间性推理上的得分低于 50%，在 Ego-Exo4D 摄像头识别上的得分低于 35%。
• 规模无关性： 这种缺陷在不同模型家族和参数量（从 3B 到 14B+）之间持续存在，表明瓶颈不在于模型容量，而在于预训练数据中缺乏多摄像头理解的结构性缺失。
• 任务难度： 需要跨摄像头进行联合合成的任务（计数和最佳摄像头选择）得分最低（通常为 20–35%），明显低于基于相同视频的时间性或事件排序任务（40–55%）。

2. 场景复杂度与摄像头密度

随着场景复杂度的增加，性能呈单调下降趋势。

• 受控环境： AgiBot（机器人、固定摄像头、低杂乱度）获得了最高的准确率（时间性推理高达 69.6%）。
• 复杂环境： MEVA（广域监控、大量重叠摄像头）在所有类别中表现出的得分最低，尤其是在计数和总结方面。

3. 输入策略：均匀采样 vs. 缝合采样

• 缝合采样： 将帧拼接成单张图像提高了需要同时进行空间比较的任务的性能（例如，nuScenes 计数任务提升 10.5%，MEVA 空间推理任务提升 16.6%）。
• 均匀采样： 在较简单、低杂乱的环境（AgiBot）中，缝合可能会引入视觉噪声并略微降低性能，这表明帧采样策略应取决于具体任务。

4. 多视图输入的必要性

将输入限制为单个“最佳”摄像头通常会导致性能下降，相比于全多摄像头输入。

• 在 nuScenes 上，与多摄像头基准线相比，仅使用前向摄像头会导致计数准确率下降 8.8%，空间推理下降 4.4%。
• 这证实了该基准测试中的许多问题确实需要来自多个视角的证据，而这些证据无法通过单个流来推断。

重要性与主张

论文声称 CrossView 是第一个专门用于评估在不同现实领域中，针对 2 到 8 个同步摄像头流进行联合推理的基准测试。其主要意义在于：

1. 揭示了一个根本性的局限性： 它证明了当前的 VLM 尽管在单视图任务中取得了成功，但缺乏有效地整合跨视图证据的架构机制或训练数据。
2. 定义了一个新挑战： 它确立了多摄像头推理涉及独特的挑战（上下文缩放、时空缝合、视图选择），而这些挑战并不能通过单纯增加模型规模或上下文窗口大小来解决。
3. 基准测试的严谨性： 通过实证验证单视图输入无法回答许多问题（表 5），论文验证了多视图集成对于自动驾驶系统和机器人实际部署的必要性。

作者总结道，CrossView 作为现代 VLM 的严格压力测试，凸显了对能够明确支持跨视图证据整合的新架构、训练目标和数据流水线的需求。