QD-PCQA: Quality-Aware Domain Adaptation for Point Cloud Quality Assessment

本文提出了名为 QD-PCQA 的无参考点云质量评估框架，通过引入秩加权条件对齐和质感引导特征增强策略，有效解决了现有无监督域适应方法在感知质量排序敏感性和特征对齐方面的不足，从而显著提升了点云质量评估的泛化能力。

要点

这篇论文介绍了一种名为 QD-PCQA 的新方法，旨在解决一个非常棘手的问题：如何给“点云”（3D 数据）的质量打分，而且是在没有参考标准的情况下。

为了让你更容易理解，我们可以把整个故事想象成**“教一个只会看 2D 照片的专家，去评价 3D 雕塑的质量”**。

1. 背景：为什么这很难？

• 点云（Point Cloud）是什么？ 想象一下，你有一个由无数个小光点组成的 3D 模型（比如一辆车或一个人）。这就是点云，常用于自动驾驶、VR 和 3D 建模。
• 问题在哪？ 这些 3D 模型在传输或压缩过程中会“受伤”（变模糊、丢点、颜色失真）。我们需要知道它伤得有多重（质量评估）。
• 难点： 以前给图片（2D）打分的方法很成熟，因为有很多带标签的图片数据（比如“这张图很清晰，打 9 分”）。但是，带标签的 3D 点云数据非常少，就像你想教一个学生做数学题，却只给他看几道例题，他很难举一反三。

2. 核心思路：跨领域“借师学艺”

既然 3D 数据不够，作者想出了一个聪明的办法：利用人类视觉系统的共性。

• 比喻： 人类看 2D 照片和看 3D 模型，眼睛的“审美逻辑”其实是一样的（比如都讨厌模糊、讨厌噪点）。
• 策略： 我们有一个在海量 2D 图片上训练得很好的“老专家”（源域），现在想让他去评价 3D 模型（目标域）。这就叫无监督域适应（UDA）。
• 以前的做法（IT-PCQA）： 就像让老专家直接看 3D 模型，强行把 2D 和 3D 的特征“对齐”。但这有个大毛病：它只认“内容”，不认“质量”。
  • 错误案例： 老专家可能把一张“画质极差但内容是树”的 2D 图片，和一张“画质极好但内容也是树”的 3D 模型强行归为一类。结果就是，模型学会了“树”长什么样，却学不会“画质好坏”的区别。

3. QD-PCQA 的两大创新法宝

为了解决上述问题，作者提出了两个核心策略，我们可以把它们想象成**“精明的教学助手”**。

法宝一：RCA（排名加权条件对齐）——“按分分班，抓差生”

• 问题： 以前的方法不管分数高低，只要内容相似就对齐。
• RCA 的做法：
  1. 按分分班（条件对齐）： 它只把“画质差不多”的 2D 图和 3D 模型放在一起学习。比如，只让“高清 2D 图”去教“高清 3D 模型”，让“模糊 2D 图”去教“模糊 3D 模型”。这样就不会张冠李戴了。
  2. 抓差生（排名加权）： 如果模型把“高清”和“模糊”搞混了（排错了名），RCA 会立刻给这个错误打上**“高亮标签”**，强迫模型重点修正这个错误。
• 比喻： 就像老师教学生，不仅要把程度相当的学生分在一组，还要特别关注那些“明明该考 90 分却考了 60 分”的错题，重点讲解，直到弄懂为止。

法宝二：QFA（质量引导特征增强）——“因材施教，全方位补强”

以前的方法在“增强数据”（让模型多见识一些变体）时太随意了，QFA 则非常讲究：

1. 质量引导的混合（QSM）： 以前是随机把两张图拼在一起（比如把一张高清图和一张模糊图拼了），结果拼出来的东西“四不像”。QFA 是只把画质相似的图拼在一起，保证拼出来的新样本依然有明确的质量特征。
2. 多层级扩展（Multi-layer）： 以前的方法只在网络的“最后一层”做增强。但作者发现：
   • 浅层网络像“显微镜”，擅长发现高清图中的微小瑕疵（如轻微模糊）。
   • 深层网络像“大脑”，擅长理解低质量图中的整体语义（如虽然模糊但能认出是辆车）。
   • QFA 的做法： 根据图片质量，在网络的不同深度分别做增强。高清图在浅层多练，低清图在深层多练。
3. 双域增强（Dual-domain）： 以前只给“老师”（2D 数据）做增强，导致“老师”和“学生”（3D 数据）差距越来越大。QFA 给两边都做了增强，让两者在特征空间里靠得更近，更容易互相理解。

4. 训练过程：两步走战略

• 第一步（热身）： 先让模型在 2D 数据上跑通，学会基本的特征提取，这时候还不急着用 3D 数据（因为 3D 数据没标签，刚开始乱猜不准）。
• 第二步（精修）： 模型稳定后，引入刚才说的 RCA 策略，利用预测出的 3D 分数作为“伪标签”，开始精细地调整对齐关系，纠正排名错误。

5. 结果：效果如何？

实验证明，这套方法在跨数据集测试中表现大杀四方：

• 它比之前的最先进方法（IT-PCQA）在准确率上提升了 20% 以上。
• 即使在面对非常不同的 3D 数据集（比如从 SJTU 数据集转到 WPC 数据集）时，它依然能保持很高的稳定性。

总结

简单来说，QD-PCQA 就像是一个懂教育的超级导师。
它不再盲目地把 2D 和 3D 数据混为一谈，而是：

1. 看人下菜碟（按质量等级对齐）；
2. 抓重点（专门纠正排错名的错误）；
3. 因材施教（在不同网络深度针对不同质量的数据进行增强）。

最终，它成功地把 2D 图像领域的丰富经验，“翻译”并“迁移”到了稀缺的 3D 点云领域，让机器能更精准地判断 3D 模型的好坏。

技术摘要

QD-PCQA 技术总结报告

1. 研究背景与问题定义 (Problem)

核心挑战：无参考点云质量评估（NR-PCQA）的泛化能力不足。
现有的 NR-PCQA 方法主要受限于标注点云数据集的稀缺性，导致模型在未见过的场景或不同分布的数据上泛化能力较差。

现有方法的局限性：
为了解决数据稀缺问题，研究者尝试利用无监督域适应（UDA）技术，将图像领域（源域，有大量标注数据）的质量感知知识迁移到点云领域（目标域，无标注数据）。然而，现有的基于 UDA 的 PCQA 方法（如 IT-PCQA, StyleAM）存在以下关键缺陷：

1. 忽视质量感知的特征对齐（Quality-Regardless Alignment）： 传统方法直接对齐源域和目标域的特征分布，忽略了质量等级。这可能导致将源域的高质量样本与目标域的低质量样本错误对齐（例如，将高质量的“树”图像与低质量的“树”点云对齐），破坏了模型对感知质量排序的敏感性。
2. 忽视质量感知的特征增强（Quality-Regardless Augmentation）： 现有的风格混合（Style Mixup）通常是随机进行的，未考虑样本间的质量一致性，导致生成的增强特征无法有效代表感知质量。
3. 忽视层级特征的互补性（Layer-Regardless Augmentation）： 现有方法通常仅在网络的最后一层进行特征增强。实际上，浅层特征对高质量样本的低级失真（如模糊）更敏感，而深层特征对低质量样本的高级语义更关键。忽略这种层级差异限制了增强特征的丰富性。
4. 增强不平衡（Augmentation Imbalance）： 仅在源域进行特征增强会扩大域间差距，使得判别器容易区分源域和目标域，从而削弱对抗性学习的特征提取能力。

2. 方法论 (Methodology)

作者提出了 QD-PCQA（Quality-aware Domain adaptation for PCQA），这是一个全新的质量感知域适应框架。该框架包含两个核心策略：秩加权条件对齐（RCA） 和 质量引导特征增强（QFA）。

2.1 数据预处理

遵循 IT-PCQA 的方法，将 3D 点云投影到立方体的六个垂直面上，拼接成多视图图像，并与自然图像统一调整为 224×224，输入到共享的特征提取器（基于 ResNet-50）。

2.2 质量引导特征增强策略 (QFA)

旨在通过提取域不变且质量感知的表示来增强泛化能力，包含三个模块：

1. 质量引导风格混合 (QSM, Quality-guided Style Mixup)：

   • 机制： 不同于随机混合，QSM 利用高斯核根据源域样本的质量标签（Ground Truth）自适应地配对质量相似的样本。
   • 目的： 确保混合后的特征保持质量一致性，解决“忽视质量”的增强问题。
   • 公式： 基于 Beta 分布采样混合系数 $\lambda$，对特征的风格（均值和方差）及标签进行加权混合。

2. 多层级扩展模块 (Multi-Layer Extension)：

   • 机制： 引入“质量分层器”将源域样本分为高、中、低质量组。
     • 高质量样本 $\rightarrow$ 在浅层网络应用 QSM（关注低级失真）。
     • 中等质量样本 $\rightarrow$ 在中间层应用 QSM。
     • 低质量样本 $\rightarrow$ 在深层网络应用 QSM（关注高级语义）。
   • 目的： 利用层级特征的互补性，解决“忽视层级”的增强问题，使增强特征更具代表性。

3. 双域增强模块 (Dual-Domain Augmentation)：

   • 机制： 在源域应用上述多层级 QSM，而在目标域（无标签）仅在最后阶段应用标准的风格混合（SM）。
   • 目的： 解决“增强不平衡”问题。通过同时增强两个域，增加判别器的难度，迫使特征提取器学习更鲁棒的域不变特征，缩小域间差距。

2.3 秩加权条件对齐策略 (RCA)

旨在解决特征对齐中忽视质量排序的问题，包含两个部分：

1. 质量感知条件模块： 基于条件算子差异（COD），利用源域的真实质量分数和目标域的伪质量分数作为条件，对齐具有相似质量水平的特征。
2. 秩加权模块 (Rank-weighted Module)：
   • 机制： 计算源域和目标域样本对的预测质量与真实/伪标签之间的排序偏差。对于存在排序错误（Misranked）的样本对，赋予更高的权重。
   • 目的： 强制模型优先修正那些在跨域预测中排序错误的样本，从而提升模型对质量排序的敏感度。
   • 损失函数： 在 COD 损失基础上，引入秩加权矩阵 $W_{st}$ 来调整特征核矩阵的权重。

2.4 训练策略

采用两阶段训练策略以应对伪标签早期的不可靠性：

• 第一阶段（Warm-up）： 仅使用 DANN 进行对抗训练，不使用伪标签和 RCA，建立基础的预测能力和初步对齐。
• 第二阶段： 引入基于伪标签的 RCA 策略，进一步细化跨域对齐和质量回归。

3. 主要贡献 (Key Contributions)

1. 提出了 QD-PCQA 框架： 首个将图像领域的先验质量知识有效迁移到点云领域的域适应框架，显著提升了 NR-PCQA 的泛化能力。
2. 设计了 RCA 策略： 通过质量感知的条件对齐和秩加权机制，解决了传统 UDA 中“质量无关”的特征对齐问题，并自适应地强调排序错误的样本，增强了质量排序的敏感性。
3. 设计了 QFA 策略： 结合了质量引导的风格混合（QSM）、多层级特征集成和双域增强。该策略不仅解决了增强过程中的质量不一致和层级忽视问题，还通过双域增强平衡了域间分布，丰富了感知特征的表示。
4. 实验验证与开源： 在多个跨域实验（TID2013/KADID-10k $\rightarrow$ SJTU-PCQA/WPC）中取得了 SOTA 性能，并开源了代码。

4. 实验结果 (Results)

实验在四个数据集上进行（源域：TID2013, KADID-10k；目标域：SJTU-PCQA, WPC），使用 PLCC, SROCC, KROCC 和 RMSE 作为评价指标。

• 性能提升：

  • 在 TID2013 $\rightarrow$ SJTU-PCQA 任务中，QD-PCQA 的 PLCC 达到 0.842，RMSE 为 1.358。相比之前的 SOTA 方法 IT-PCQA，PLCC 提升了 21.5%，RMSE 降低了 16.4%。
  • 在 TID2013 $\rightarrow$ WPC 任务中（挑战更大，涉及语义压缩失真），QD-PCQA 的 PLCC 为 0.563，相比 IT-PCQA 提升了 31.2%，相比 DANN 提升了 73.2%。
  • 在 KADID-10k 作为源域的实验中也取得了类似的最佳结果。

• 消融实验结论：

  • QSM 模块： 相比随机 Style Mixup，QSM 进一步提升了性能，证明了质量引导混合的有效性。
  • 多层级扩展： 在不同层级插入 QSM 优于仅在单层插入，证明了利用层级特征互补性的重要性。
  • RCA 策略： 相比 MMD 和 COD，引入秩加权的 RCA 将 SROCC 提升了超过 5.9%，证明了纠正排序偏差的关键作用。
  • 双域增强： 在目标域也进行增强（DA）比仅在源域增强效果更好，证明了缩小域间差距的必要性。

• 可视化： t-SNE 可视化显示，QD-PCQA 成功将源域和目标域的特征在特征空间中按质量等级（颜色梯度）进行了紧密且有序的对齐。

5. 意义与价值 (Significance)

1. 理论突破： 揭示了不同媒体类型（图像与点云）之间在感知质量上的内在关联，证明了通过 UDA 迁移质量先验知识的可行性，并指出了传统 UDA 在质量评估任务中忽视“质量感知”特性的根本缺陷。
2. 技术革新： 提出的 RCA 和 QFA 策略为质量评估领域的域适应提供了新的范式，即从单纯的“特征分布对齐”转向“质量感知与排序敏感的对齐”。
3. 实际应用： 解决了点云质量评估中缺乏标注数据的痛点，使得模型能够利用丰富的图像数据训练，直接应用于 VR/AR、自动驾驶等场景中的点云质量监控，具有极高的实用价值。
4. 通用性启示： 该方法论不仅适用于 PCQA，也为其他需要精细质量排序或感知评估的跨域迁移任务（如视频质量评估、3D 模型评估）提供了重要的参考思路。