MUGSQA: Novel Multi-Uncertainty-Based Gaussian Splatting Quality Assessment Method, Dataset, and Benchmarks

本文针对高斯泼溅（GS）重建质量评估的挑战，提出了一种模拟人类真实观看行为的多距离主观评估方法，并构建了首个考虑输入数据多重不确定性的 MUGSQA 数据集及相应基准，旨在全面评估不同 GS 方法的鲁棒性及现有质量指标的准确性。

要点

这篇论文介绍了一个名为 MUGSQA 的新项目，简单来说，它就像是为"3D 打印”（在数字世界里重建 3D 物体）建立的一套**“体检中心”和“考试系统”**。

为了让你更容易理解，我们可以把整个过程想象成**“制作和品尝一道复杂的 3D 数字菜肴”**。

1. 背景：为什么我们需要这个？

想象一下，最近有一种叫**“高斯泼溅”（Gaussian Splatting, GS）的新技术，它就像是一个超级厉害的3D 厨师**。它能用很少的照片，快速“烹饪”出非常逼真、可以 360 度旋转观看的 3D 物体（比如一个花瓶、一个玩具）。

但是，现在有很多不同的“厨师”（不同的算法）都在用这个技术，而且他们用的“食材”（输入的照片）质量也不一样：

• 有的照片拍得很清晰，有的很模糊（分辨率不同）。
• 有的拍了很多角度，有的只拍了几个角（数量不同）。
• 有的离物体很远拍，有的贴得很近拍（距离不同）。
• 有的底稿（点云）很准，有的底稿很乱（初始精度不同）。

这就带来两个大问题：

1. 谁做得最好？ 当食材质量变差时，哪个“厨师”还能做出好菜？（我们需要测试鲁棒性）。
2. 怎么评价好不好吃？ 现有的“美食评分表”（现有的质量评估指标）能准确判断这道 3D 菜好不好吗？（我们需要测试评估指标）。

目前，大家还没有一个统一的、公平的“考场”来回答这些问题。

2. 解决方案：MUGSQA 是什么？

作者团队（来自南洋理工大学）建立了一个巨大的**“数字厨房实验室”**，叫 MUGSQA。它包含三个核心部分：

A. 新的“试吃”方法（多距离主观评估）

以前的测试，就像让人坐在一个固定的椅子上，只能从正前方看这道菜。但这不符合现实，因为我们在看 3D 物体时，会走近看细节，也会退后看整体，还会绕着走。

• 创新点：他们设计了一种新的“试吃”方法。让测试者（就像美食评论家）在观看视频时，可以模拟不同的距离（远、中、近）和不同的角度来观察 3D 物体。
• 比喻：就像你买一个 3D 打印的模型，你不仅会看正面，还会拿起来转着看，甚至凑近了看有没有瑕疵。这个方法就是模拟这种真实的“把玩”体验。

B. 巨大的“食材库”（MUGSQA 数据集）

为了公平测试，他们准备了55 种不同的 3D 模型（从网上找的高质量模型），然后故意给它们制造各种“麻烦”：

• 故意模糊照片。
• 故意减少照片数量。
• 故意改变拍摄距离。
• 故意弄乱底稿数据。

这就产生了54 种不同的“困难模式”组合。然后，他们让6 种不同的 3D 重建算法（6 位不同的“厨师”）在这些困难模式下进行重建。

• 成果：最终生成了2400 多个重建好的 3D 模型，并录制了视频。

C. 大规模的“大众评审”（众包评分）

他们找来了2452 名普通人（就像大众评审团），在 MTurk 平台上进行打分。

• 每个人看视频，给质量打分（0-100 分）。
• 总共收集了22 万多个有效分数。
• 经过严格的筛选（比如剔除乱打分的），最终得到了非常可靠的“平均口味分”（MOS）。

3. 他们发现了什么？（实验结果）

发现一：谁是“抗造”的厨师？（鲁棒性测试）

他们测试了哪种算法在“食材”变差时，依然能做出好菜。

• 结果：一个叫 Mip-Splatting 的算法表现最稳定，就像那个无论给什么食材都能做出美味菜肴的大厨。
• 对比：有些专门为“大场景”（比如整个城市）设计的算法，在重建“单个小物体”时，反而表现得很差，就像让做满汉全席的大厨去炒一盘小青菜，反而手忙脚乱。

发现二：现有的“评分表”好用吗？（指标测试）

他们拿现有的各种图像质量评分工具（比如 PSNR, SSIM 等）来给这些 3D 菜打分，看看它们和“大众评审”的口味是否一致。

• 结果：大部分现有的评分表都“失灵”了！
  • 传统的评分工具（基于 2D 图片的）很难理解 3D 高斯泼溅特有的“失真”。
  • 有些工具甚至把“纯色背景”误判为高质量，或者无法区分细微的 3D 结构差异。
• 结论：我们需要专门为 3D 高斯泼溅设计的新评分工具，不能直接用看 2D 照片的那套标准。

4. 总结：这有什么用？

这就好比汽车界：

• 以前：大家造车（重建 3D 物体），但没人知道在暴雨天（输入数据差）谁的车最稳，也没人知道现有的测速仪（评估指标）准不准。
• 现在：MUGSQA 建立了一个**“极限路况测试场”**。
  1. 它告诉开发者：在数据不完美时，哪个算法最靠谱。
  2. 它告诉科学家：现有的评价标准不行，得开发新的“测速仪”。

一句话总结：
这篇论文为 3D 重建技术建立了一个包含各种“困难模式”的超级题库，并邀请了两千多人来真实体验打分，最终发现现有的评价标准不够用，呼吁大家开发更懂 3D 特性的新标准，从而推动这项技术更好地应用到现实生活中（比如元宇宙、VR 游戏、数字文物修复等）。

技术摘要

这是一份关于论文 MUGSQA: NOVEL MULTI-UNCERTAINTY-BASED GAUSSIAN SPLATTING QUALITY ASSESSMENT METHOD, DATASET, AND BENCHMARKS 的详细技术总结。

1. 研究背景与问题 (Problem)

3D 高斯泼溅 (Gaussian Splatting, GS) 作为一种新兴的 3D 重建技术，在渲染质量和重建速度之间取得了极佳的平衡，迅速成为学术界和工业界的热点。然而，随着基于 GS 的变体方法不断涌现，现有的评估体系存在以下核心问题：

• 输入不确定性评估缺失： 现有的 GS 重建方法在面对不同的输入不确定性（如输入视图数量少、分辨率低、初始点云不准确、视距变化等）时，其鲁棒性如何尚不明确。
• 现有质量评估指标不足： 现有的图像或点云质量评估指标（如 PSNR, SSIM 等）主要针对传统 2D 图像或点云，缺乏专门针对 3D 高斯泼溅（GS）模态的评估标准，难以准确捕捉由输入不确定性引起的特定失真。
• 主观评估方法局限： 现有的主观质量评估（SQA）通常采用固定视角或单一距离展示，无法模拟人类在交互式或沉浸式场景中动态观察高斯物体的真实行为。
• 数据集匮乏： 现有的 GS 质量评估数据集（如 GSC-QA）主要关注压缩引起的失真，缺乏针对重建过程中常见输入不确定性（如稀疏视图、低分辨率、点云初始化误差）的系统性数据集。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一套完整的方法论，包括统一的多距离主观评估方法、大规模数据集构建以及基准测试框架。

2.1 统一的多距离主观质量评估方法 (Unified Multi-Distance SQA)

• 动态观察模拟： 为了更贴近人类实际观察行为，提出了一种统一的多距离 SQA 方法。
• 视频渲染策略： 使用 Blender 渲染参考视频和失真视频。视频中的视距 $d(\theta)$ 随视角旋转角度 $\theta$ 动态变化，公式如下：
  $$d(\theta) = d_0 + (d_1 - d_0) \cdot \text{tri}\left(\frac{\theta}{360^\circ}\right) + (d_2 - d_1) \cdot \text{tri}\left(\frac{\theta - 180^\circ}{720^\circ}\right)$$
  其中 $d_0, d_1, d_2$ 分别对应 1.2m, 1.5m, 1.8m 的距离，$\text{tri}$ 为三角函数。每个视频包含 180 帧（30 FPS），覆盖 3 个完整的旋转周期，模拟从远到近再到远的动态观察过程。

2.2 MUGSQA 数据集构建 (Data Preparation)

• 源模型： 选取 55 个来自 Sketchfab 的高复杂度 OBJ 格式网格模型作为真值（Ground Truth）。
• 不确定性模拟 (Uncertainty Simulation)： 在数据生成阶段，系统性地引入四种主要的不确定性因素，共形成 54 种组合：
  1. 视图分辨率 (Resolution)： 1080×1080, 720×720, 480×480。
  2. 视图数量 (Quantity)： 72 张（密集）、36 张（标准）、9 张（稀疏）。
  3. 视距 (Distance)： 5m（远景）、2m（中景）、1m（近景）。
  4. 点云初始化 (Point Cloud Initialization)： 从模型表面或全场景随机采样，模拟理想初始化与含噪输入。
• 重建方法： 使用 6 种基于 GS 的重建方法（包括 3DGS, Mip-Splatting, LightGaussian, EAGLES, Octree-GS, Scaffold-GS）对模拟数据进行重建。
• 数据规模： 最终构建了包含 2,414 个重建模型的数据集（1,970 个主集 + 444 个附加集），并生成了对应的视频和图像。

2.3 大规模主观实验与数据处理

• 众包评分： 通过 MTurk 平台招募了 2,452 名参与者，收集了超过 226,800 个有效评分。
• 评分流程： 参与者观看参考视频和失真视频，在 0-100 分范围内打分。包含训练阶段（提供建议分）和测试阶段。
• 数据清洗： 采用三步过滤法（训练阶段排序一致性、分布合理性检测、基于黄金单元 GUs 的过滤），最终保留 101,555 个有效评分，计算平均意见得分 (MOS)。

3. 关键贡献 (Key Contributions)

1. 提出统一的多距离 SQA 方法： 首次针对高斯物体提出动态多距离观察的主观评估方案，更真实地反映人类感知。
2. 构建 MUGSQA 数据集： 首个大规模、考虑多种输入不确定性（分辨率、数量、距离、点云精度）的 3D 高斯物体质量评估数据集。
3. 建立两个基准测试 (Benchmarks)：
   • 鲁棒性基准： 评估不同 GS 重建方法在多种不确定性条件下的表现。
   • 指标性能基准： 评估现有 2D 图像质量评估指标在 GS 模态上的有效性。
4. 开源资源： 数据集和代码已开源，填补了该领域标准化评估的空白。

4. 实验结果 (Results)

4.1 重建方法鲁棒性分析

基于 MUGSQA 定义的鲁棒性评分 $R_{overall}$（综合稳定性、一致性和性能）：

• 表现最佳： Mip-Splatting 取得了最高的整体鲁棒性评分。
• 表现良好： 3DGS, EAGLES 和 LightGaussian 也表现出较强的性能。
• 表现较差： Octree-GS 和 Scaffold-GS（专为大场景设计）在单物体重建任务中表现不佳，表明多尺度渲染和由粗到细的训练策略对高斯物体重建至关重要。
• 结论： 面对非理想输入条件（如稀疏视图），部分方法的步骤会受到严重影响，导致更严重的失真。

4.2 客观质量评估指标性能

对 16 种现有的全参考 (FR) 和无参考 (NR) 图像质量评估指标进行了测试：

• 全参考指标 (FR-IQA)： 除 CW-SSIM 和 VSI 表现相对较好外，大多数指标（包括 PSNR, SSIM, LPIPS 系列）与 MOS 的相关性较低。
  • 原因分析： 纯色/空白背景干扰、样本过滤后质量差异难以区分、预训练 DNN 提取的特征与 GS 失真特征不匹配。
• 无参考指标 (NR-IQA)： 传统指标 NIQE 和 PIQE 表现极差，完全不适用于高斯物体。
• 深度学习指标： DBCNN 在微调后取得了最佳结果（Main Set PLCC: 0.8846），证明了深度学习在细粒度质量区分上的强大能力。
• 核心发现： 仅基于 2D 渲染结果的现有 IQA 指标不足以评估高斯物体的质量，亟需设计专门针对 GS 模态的新指标。

5. 意义与展望 (Significance)

• 填补评估空白： MUGSQA 解决了当前缺乏针对 GS 重建中“输入不确定性”进行系统性评估的问题，为公平比较不同重建算法提供了标准。
• 推动算法优化： 通过揭示不同方法在特定不确定性下的弱点（如稀疏视图下的表现），为改进 GS 算法（如多尺度渲染、训练策略）指明了方向。
• 引导新指标设计： 实验结果表明现有 2D 指标失效，强烈呼吁社区开发专门针对 3D 高斯泼溅特性的新型质量评估指标（GSQA Metrics）。
• 标准化发展： 该工作推动了 GSQA 领域的标准化发展，促进了从单一压缩失真评估向更广泛的输入不确定性评估的转变。

综上所述，MUGSQA 不仅是一个高质量的数据集，更是一套完整的评估框架，对于推动 3D 高斯泼溅技术在复杂现实场景中的实际应用具有里程碑意义。