360{\deg} Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

该论文针对多模态大语言模型在 360 度图像感知方面的不足，提出了包含 7K 分辨率图像和七类任务的基准测试 360Bench，并设计了一种无需训练的基于场景图的 Free360 框架，通过自适应球面变换和模块化推理显著提升了模型在 360 度视觉问答任务中的表现。

要点

这篇论文就像是在给现在的"AI 超级大脑”（多模态大语言模型）做了一次360 度全景视力测试，并发现它们虽然聪明，但看全景图时容易“晕头转向”。为了解决这个问题，作者们发明了一个不需要重新训练、像搭积木一样的新方法。

下面我用几个生动的比喻来为你拆解这篇论文的核心内容：

1. 背景：为什么现在的 AI 看全景图会“晕”？

想象一下，你让一个习惯了看普通照片（平面）的 AI 去看360 度全景图（球面）。

• 普通照片就像一张平铺的纸，AI 看得很顺眼。
• 360 度全景图就像把整个地球仪强行压扁成一张长方形的地图（就像谷歌地球那种）。

问题出在哪？
当你把球体压扁时，两极（上下）会被拉得很长，物体也会变形。

• 比喻：就像你站在一个巨大的旋转木马上，如果你试图把整个旋转木马拍进一张照片里，边缘的人会被拉得像面条一样长，中间的人可能又挤在一起。
• AI 的困境：现在的 AI 习惯了看平面的东西，看到这种被“拉伸”和“扭曲”的全景图，很容易搞错方向（比如分不清左右），或者数错东西（因为物体被拉长了，看起来像两个）。

2. 第一步：给 AI 做体检（360Bench 基准测试）

作者们觉得：“光说 AI 不行没用，得拿数据说话。”于是他们造了一个360Bench（360 度大考卷）。

• 考卷内容：包含了 7K 超高清的全景图，涵盖了室内、室外、甚至无人机视角。
• 考题类型：
  • 找细节：比如“垃圾桶上写的字是什么？”（考验 AI 能不能看清被拉伸的小字）。
  • 数数：比如“桌上有几个遥控器？”（考验 AI 会不会因为物体变形而数错）。
  • 指路：比如“怎么走到那个商店？”（考验 AI 能不能理解空间方位）。
• 测试结果：
  • 人类：只要戴上 VR 眼镜转一转，就能轻松答对 86.3%。
  • 最强 AI：即使是像 GPT-4o 这样的顶级模型，准确率也只有 46.5% 左右。
  • 结论：AI 在全景图理解上，和人类还有巨大的差距，就像让一个只学过平面几何的学生突然去解立体几何题，完全懵了。

3. 第二步：给 AI 开“外挂”（Free360 方法）

既然重新训练 AI（让它重新学一遍）太贵、太慢，而且容易让它忘记以前学的知识，作者们想出了一个**“训练免费”**的妙招，叫 Free360。

Free360 是怎么工作的？我们可以把它想象成一个“聪明的导游团队”：

1. 分而治之（模块化）：
   不要试图让 AI 一下子看完整个球。Free360 把问题拆解成几个小步骤。

   • 比喻：就像你要描述一个巨大的商场，不要试图一口气说完，而是先说“左边有什么”，再说“右边有什么”。

2. 动态旋转（自适应变换）：
   这是最精彩的部分！

   • 传统做法：把全景图压扁，AI 看变形了。
   • Free360 的做法：当 AI 需要看“玩具店”和“杂货店”的关系时，它会把全景图像转动地球仪一样旋转，把这两个店转到正中间，让它们在 AI 眼里变成“正脸”和“平视”的样子。
   • 比喻：就像你手里拿着一个地球仪，想看两个城市的关系，你就把地球仪转一转，让这两个城市正对着你的眼睛，这样它们就不会变形了。

3. 画思维导图（场景图）：
   AI 把看到的物体（节点）和它们之间的关系（连线）画成一张思维导图（场景图）。

   • 比如：玩具店 --(在...对面)--> 杂货店 --(在...右边)--> 你。
   • 最后，AI 拿着这张整理好的“思维导图”去回答问题，而不是直接对着那张扭曲的全景图瞎猜。

4. 效果如何？

• 成绩提升：用了这个“导游团队”（Free360）后，原本表现一般的 AI 模型，准确率直接提升了 7.3%，在某些指路任务上甚至提升了 22.9%！
• 速度：虽然多花了一点时间（大概多花 20 秒），但依然比人类戴 VR 眼镜看一圈（约 29 秒）要快，而且完全不需要重新训练模型，即插即用。

总结

这篇论文的核心思想就是：
不要强迫 AI 去适应扭曲的全景图，而是让 AI 学会“转动视角”和“画思维导图”。

这就好比，与其让一个近视眼的人努力看清一张被拉长的地图，不如给他一副能自动旋转、自动聚焦的“智能眼镜”，让他把地图上的关键点一个个摆正了看，最后再拼凑出完整的答案。

一句话概括：作者们发现现在的 AI 看全景图容易“晕”，于是发明了一个不用重新训练、能自动帮 AI“旋转视角”和“理清关系”的免费外挂，让 AI 的全景图理解能力瞬间接近人类水平。

技术摘要

这篇论文提出了一项关于多模态大语言模型（MLLMs）在 360°全景图像感知方面的综合研究。针对现有模型在处理 360°图像时存在的几何畸变、空间关系推理困难等问题，作者构建了基准测试集 360Bench，并提出了无需训练的解决方案 Free360。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 现状与局限：虽然 MLLMs 在常规平面图像的理解和推理上表现出色，但在 360°全景图像感知方面仍缺乏深入探索。
• 核心挑战：
  1. 几何畸变：360°图像通常被投影为平面表示（如等距圆柱投影 ERP 或立方体贴图投影 CMP），导致物体拉伸、断裂或变形，影响模型识别。
  2. 复杂空间关系：360°图像包含完整的环绕环境，模型难以在连续球面空间中进行准确的空间推理（如物体间的相对位置、物体与观察者的关系）。
  3. 细粒度感知：全景图像视野广阔，要求模型能捕捉细粒度的特征（如文字、小物体），而现有模型往往难以兼顾全局与局部。
  4. 微调成本高：传统的微调方法计算成本高、劳动密集，且可能导致灾难性遗忘，因此需要一种**无需训练（Training-Free）**的通用解决方案。

2. 核心贡献：360Bench 基准测试 (Key Contribution 1)

为了全面评估 MLLMs 的 360°图像感知能力，作者构建了 360Bench：

• 数据规模与质量：包含 1,532 个独特的样本，基于 643 张 7K 分辨率（7296×3648）的 360°图像（涵盖室内、室外、航拍、昼夜等场景）。所有标注均由人工在 VR 模式下完成，确保高质量。
• 任务分类：设计了 7 个子任务，分为四大类：
  1. 细粒度感知 (Fine-grained Perception, FP)：实例识别 (FP-IR) 和实例计数 (FP-IC)，测试模型对微小物体和细节的识别能力。
  2. 畸变感知 (Projection-distorted Perception, PP)：实例识别 (PP-IR) 和实例计数 (PP-IC)，专门测试模型在几何畸变和物体断裂情况下的鲁棒性。
  3. 空间推理 (Spatial Reasoning, SR)：物体间关系 (SR-Os) 和物体 - 观察者关系 (SR-OV)，测试模型推断相对位置的能力。
  4. 方向指引 (Direction-Giving, DG)：测试模型根据视觉线索规划多步路线的能力。
• 评估发现：在 360Bench 上评估了 7 个 MLLMs 和 6 种增强方法。结果显示，即使是表现最好的模型（Gemini Pro 2.5），其准确率（46.5%）也远低于人类水平（86.3%）。此外，发现 CMP 格式在抗畸变任务上表现更好，而 ERP 格式在空间推理任务上更具优势，两者具有互补性。

3. 方法论：Free360 框架 (Methodology)

为了解决上述挑战，作者提出了 Free360，一种**无需训练、基于场景图（Scene Graph）**的框架。该方法将推理过程分解为模块化的步骤，利用 360°特有的操作来增强 MLLM 的推理能力。

Free360 的工作流程（四个步骤）：

1. 实体识别 (Entity Identification)：
   • 输入：使用 CMP（立方体贴图） 格式的图像，因为其在物体检测上受畸变影响较小。
   • 操作：利用 MLLM 识别与问题相关的实体，并输出其标签和 2D 边界框。
2. 属性提取 (Attribute Extraction)：
   • 操作：根据边界框裁剪出实体区域，输入 MLLM 提取细粒度属性（如文字、纹理），生成描述性属性节点。
3. 实体间关系检测 (Inter-Entity Relation Detection)：
   • 核心创新：球面旋转 (Spherical Rotation)。
   • 操作：针对每一对实体，计算旋转角度，将原始 ERP 图像旋转至以该实体对为中心的新视角。这种“以实体为中心”的视角转换模拟了人类观察习惯，辅助 MLLM 更准确地判断实体间的空间关系。
4. 实体 - 视图关系检测 (Entity-View Relation Detection)：
   • 操作：定义 6 个“视图节点”（对应 CMP 的 6 个面：前、后、左、右、上、下）。通过映射函数将实体定位到具体的视图节点，建立实体与观察者视角的空间关系。

推理生成：

• 将上述步骤生成的结构化信息（实体、属性、空间关系）序列化为文本形式的场景图。
• 将该场景图、原始问题及答案选项一同输入 MLLM，引导模型进行推理并生成最终答案。如果场景图信息不足，则回退到直接分析原图。

4. 实验结果 (Results)

• 性能提升：Free360 在基座模型 Qwen2.5-VL-7B 的基础上，整体准确率提升了 7.3%（从 38.1% 提升至 45.3%），在所有子任务上均表现出一致性提升，其中在“物体 - 观察者空间推理 (SR-OV)"任务上提升高达 22.9%。
• 对比优势：Free360 的表现优于其他增强方法（如 Omni-CoT, ZoomEye 等），证明了基于场景图的模块化推理和 360°特定操作（旋转、视图映射）的有效性。
• 效率：虽然推理时间有所增加（从 2.1 秒增至 22.5 秒），但仍处于人类响应时间（28.9 秒）范围内，且远快于其他耗时较长的增强方法（如 DC2 需 600 多秒）。
• 消融实验：验证了图像裁剪、球面旋转和实体 - 视图关系检测三个组件对最终性能的贡献，缺一不可。

5. 意义与未来展望 (Significance)

• 填补空白：360Bench 是目前首个针对高分辨率单图 360° VQA 的综合性基准，揭示了当前 MLLMs 在全景感知上的巨大差距。
• 无需训练的高效方案：Free360 提供了一种无需微调即可显著提升 MLLM 在 360°任务上表现的方法，保留了预训练知识，避免了灾难性遗忘，具有极高的可扩展性和实用性。
• 方法论启示：证明了将复杂的 360°推理分解为模块化步骤，并结合特定于领域的几何操作（如球面旋转），是提升多模态模型空间理解能力的关键路径。
• 未来方向：包括探索更细粒度的感知模块、将框架扩展至 360°视频理解等。

总结：该论文通过构建高质量的 360Bench 基准和提出 Free360 框架，系统性地解决了 MLLMs 在 360°图像感知中的几何畸变和空间推理难题，为全景环境下的智能视觉理解提供了重要的基准和解决方案。