Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

技术摘要：迈向标准化的光场质量评估

问题陈述
沉浸式媒体（特别是 JPEG Pleno 框架下的光场（LF）成像）的标准化，需要可靠、可重复的主观质量评估（QA）和客观指标，且这些指标在面对多种不同类型的失真时仍能保持准确性。现有的挑战包括：

1. 传统方法的局限性： 传统的基于评分的主观方法（如绝对类别评分 ACR、双刺激不损伤标度 DSIS）在评估高质量刺激物或具有微小感知差异的刺激物时，往往缺乏灵敏度。相反，成对比较（PC）虽然具有更高的辨别力，但对于动态、多视角的轻场内容而言，其耗时过长，难以实现。
2. 现有指标的不足： 传统的 2D 图像质量指标（如 PSNR、SSIM）无法捕捉光场特有的多维特性，例如角度一致性、视差稳定性以及随视角变化的呈现效果。此外，当光场处理流程不仅涉及压缩伪影，还涉及源自视图合成、插值和神经重建（如 3D 高斯泼溅 3DGS）的失真时，现有的客观指标往往难以应对。
3. 缺乏标准化的基准： 需要一个统一的工作流，整合基准生成、混合主观评估和客观指标分析，以作为 JPEG Pleno 第 7 部分标准化活动的可靠基准。

方法论
本文提出了一个由三个主要部分组成的标准工作流：

1. 刺激物生成与数据集构建：

   • 源材料： 选择了八个多样化的场景源（自然室内/室外及合成场景），涵盖了广泛的空间分辨率、角度采样密度和场景几何结构。
   • 失真族： 该基准包含 144 个刺激物，分为三类：
     • 仅编码（Coding-only）： 使用 JPEG Pleno 模型（JPLM）的 4D 变换模式和 x265/HEVC（伪视频编码）进行压缩的刺激物。
     • 基于插值的（Interpolation-based）： 对稀疏视图进行编码和解码，并使用 RIFE 或 SepConv++ 合成缺失的视图。
     • 3DGS 重建（3DGS Reconstruction）： 对稀疏视图进行编码/解码，并使用 3D 高斯泼溅（3DGS）重建密集的轻场网格。
   • 这种设计允许针对传统的编码伪影以及现代重建诱发的失真对指标进行评估。

2. 混合主观评估 (DSCS+PC)：

   • 第一阶段 (DSCS)： 观察者相对于参考图像对失真刺激物进行评分，采用四级双刺激比较标度（相同、略差、较差、显著较差）。这建立了一个全局的、以参考为锚点的质量结构。
   • 第二阶段 (选择性 PC)： 仅针对在第一阶段获得相同评分的刺激物对（特别是在“略差”和“较差”类别中）进行成对比较。这针对的是评分标度缺乏分辨率的感知模糊区域。
   • 第三阶段 (分数重构)： 使用 Thurstone Case V 模型融合 DSCS 评分和 PC 偏好，以生成连续、细粒度的感知质量标度。这种方法既保留了评分的语义清晰度，又恢复了模糊区域的局部排序。
   • 验证： 通过跨队列一致性（两个实验室）和留一观察者分析验证了可靠性，确认了混合评分的可重复性。

3. 客观指标评估：

   • 评估了一套全面的全参考（FR）指标，包括经典的信号保真度指标（PSNR、SSIM、VIF）、基于深度特征的指标（LPIPS、DISTS、ST-LPIPS）以及沉浸式视频扩展指标（IV-PSNR、IV-SSIM）。
   • 聚合策略： 研究分析了视图池化策略（算术平均、Minkowski 池化和 Worst-X% 池化）对指标性能的影响。
   • 统计分析： 使用 Spearman 秩相关系数（SRCC）、Pearson 线性相关系数（PLCC）以及均方根误差（RMSE）针对混合主观真值进行评估。

关键结果

• 主观评分： 混合 DSCS+PC 方法成功生成了具有高跨队列一致性的连续质量标度（实验室间 SRCC = 0.943）。选择性 PC 阶段显著提高了模糊区域的分辨率，在留一观察者测试中，相比仅使用 DSCS 的评分，实现了 +572.92 的对数似然增益。
• 针对“仅编码”与“重建”的指标表现：
  • 指标在“仅编码”子集上的表现明显优于包含重建伪影的完整基准（例如，ST-LPIPS SRCC 为 0.889 对比 0.776）。
  • 基于深度学习的指标（ST-LPIPS、LPIPS、DISTS）和基于特征的指标（CVVDP、IW-SSIM）通常优于传统的基于像素的指标（PSNR、SSIM、FSIM）。
  • 当引入视图合成失真（插值、3DGS）时，传统指标表现出显著的性能下降，无法捕捉几何偏移和随视角变化的非一致性。
• 池化的影响： 视图池化策略显著影响了指标性能。学习型感知指标在使用 Worst-X% 或 Minkowski 池化时，与主观评分的相关性有所提高，这表明局部质量较差的视图会严重影响整体感知质量。相比之下，传统的保真度指标通常在简单的平均池化下表现最好。
• 跨失真鲁棒性： 仅针对编码失真进行校准的指标，在应用于基于重建的刺激物时表现出系统性偏差（低估了退化程度），表明其在不同失真族之间缺乏泛化能力。

意义与主张
本文声称提供了一个可重复且符合标准化要求的精细化轻场 QA 框架。其主要贡献在于：

1. 方法论基础： 它建立了一种混合主观协议 (DSCS+PC)，在效率与高判别力之间取得了平衡，适用于复杂的轻场内容。
2. 基准测试基线： 它引入了一个多样化的数据集（144 个刺激物），通过同时包含编码和重建伪影来压力测试客观指标，超越了仅关注压缩的狭隘基准。
3. 诊断见解： 分析强调了当前客观指标的局限性，特别是它们无法从“仅编码”泛化到“基于重建”的流程，以及它们对视图池化策略的敏感性。
4. 标准化支持： 该工作为 JPEG Pleno 第 7 部分的标准化活动提供了方法论基础，提供了必要的用于指导开发未来更稳健的轻场质量指标的主观真值和评估协议。

作者明确指出，本文并非提出一种新的客观指标，而是将标准化测试程序本身作为评估和开发此类指标所必需的基础设施。经主观标注的数据集已公开提供，以支持这一目标。