QD-PCQA: Quality-Aware Domain Adaptation for Point Cloud Quality Assessment

Cet article propose QD-PCQA, un cadre d'adaptation de domaine sans référence qui améliore l'évaluation de la qualité des nuages de points en transférant des connaissances d'images grâce à une stratégie d'alignement conditionnel pondéré par le rang et à un enrichissement de caractéristiques guidé par la qualité.

L'essentiel

🎨 Le Problème : Le Chef qui ne connaît pas la 3D

Imaginez un chef cuisinier (notre intelligence artificielle) qui est un maître absolu pour juger la qualité des plats sur des photos 2D (des images classiques). Il sait exactement si une photo de pizza est floue, si les couleurs sont ternes ou si l'image est trop bruitée.

Maintenant, on lui demande de juger la qualité d'un plat en 3D (un "nuage de points", utilisé pour la réalité virtuelle ou les voitures autonomes). Le problème ?

1. Le chef n'a jamais vu de plats en 3D.
2. Il n'y a presque pas de "notes de dégustation" (données étiquetées) pour les plats 3D pour lui apprendre.
3. Si on lui donne simplement des photos 2D pour qu'il apprenne à juger la 3D, il va faire des erreurs bêtes. Par exemple, il pourrait penser qu'une photo de "arbre" très nette (haute qualité) est équivalente à un "arbre" en 3D très flou (basse qualité), juste parce que les deux sont des arbres. Il confond le sujet avec la qualité.

🚀 La Solution : QD-PCQA (Le Traducteur de Goût)

Les auteurs ont créé une méthode appelée QD-PCQA. C'est comme un traducteur intelligent qui aide le chef à appliquer son expertise culinaire (des images 2D) aux nouveaux plats 3D, sans se tromper.

Ils utilisent deux astuces principales (des "ingrédients secrets") :

1. L'Alignement "Sur Mesure" (RCA) : Ne pas mélanger les pommes et les poires

Dans les méthodes anciennes, le chef alignait tout ce qui se ressemblait visuellement. Si une image 2D d'un arbre était belle et qu'un nuage de points 3D d'un arbre était moche, le système disait : "Ah, c'est pareil !" -> Erreur !

L'analogie du tri de fruits :
Imaginez que vous devez trier des fruits. Les anciennes méthodes disaient : "Mettez tous les fruits rouges ensemble."
La méthode QD-PCQA dit : "Attends, on ne mélange pas les fruits rouges parfaits avec les fruits rouges pourris. On met les fruits parfaits ensemble, et les pourris ensemble."

• Comment ça marche ? Le système regarde d'abord la "note de qualité" (le goût). Il aligne les images 2D de haute qualité avec les nuages de points 3D de haute qualité, et les mauvais avec les mauvais.
• L'astuce supplémentaire : Si le système se trompe et met un fruit pourri dans le panier des fruits parfaits, il applique une "punition" plus forte pour corriger cette erreur. C'est comme un professeur qui insiste plus sur les élèves qui ont fait une erreur de logique fondamentale.

2. L'Augmentation de Données "Intelligente" (QFA) : La Cuisine Fusion

Pour entraîner le chef, il faut lui montrer beaucoup d'exemples. Mais on ne peut pas juste mélanger deux images au hasard (comme faire un smoothie avec une pomme et un poisson), sinon le résultat est dégoûtant et ne sert à rien.

L'analogie du Chef Créatif :

• Le mélange guidé (QSM) : Au lieu de mélanger deux images au hasard, le chef choisit deux images qui ont le même niveau de fraîcheur (qualité). Il mélange une belle pomme avec une autre belle pomme, ou un fruit abîmé avec un autre fruit abîmé. Le résultat est un "fruit hybride" qui reste cohérent.
• La cuisine à plusieurs étages (Multi-layer) : Imaginez que la qualité d'un plat dépend de deux choses :
  1. La texture de la sauce (détails fins, comme les couches profondes d'une image).
  2. La forme générale de l'assiette (les grandes lignes, comme les couches superficielles).
     Les anciennes méthodes ne mélangeaient que la sauce ou ne mélangeaient que l'assiette. QD-PCQA mélange les deux, mais de manière adaptée : si le plat est très abîmé, on se concentre sur la forme globale ; s'il est presque parfait, on soigne les détails fins.
• La cuisine à double sens (Dual-domain) : Au lieu de cuisiner seulement avec les ingrédients du chef (les images 2D), on fait aussi des exercices avec les ingrédients du client (les données 3D), même si on ne connaît pas encore leur goût exact. Cela force le chef à devenir plus flexible et à mieux comprendre les deux mondes.

🏆 Le Résultat : Un Chef Universel

Grâce à cette méthode, le système QD-PCQA devient un expert capable de juger la qualité des objets 3D (pour les jeux vidéo, les voitures autonomes, etc.) en s'inspirant de sa connaissance des images 2D, mais sans confondre le sujet avec la qualité.

• Avant : Le système disait "C'est un arbre, donc c'est bien", même si l'arbre en 3D était flou.
• Maintenant : Le système dit "C'est un arbre, mais il est flou, donc la qualité est mauvaise", exactement comme un humain le ferait.

En résumé, c'est comme donner à un expert 2D des lunettes spéciales et un manuel de cuisine adapté pour qu'il puisse juger parfaitement la 3D, en évitant les pièges classiques de la confusion.

Résumé technique

1. Problématique

L'évaluation de la qualité des nuages de points sans référence (NR-PCQA) fait face à un défi majeur : le manque de généralisation des modèles. Cela est principalement dû à la pénurie de jeux de données de nuages de points annotés. Bien que les méthodes d'adaptation de domaine non supervisée (UDA) aient réussi à transférer des connaissances des images vers les nuages de points (en exploitant le fait que le Système Visuel Humain - HVS - évalue la qualité de manière similaire, indépendamment du type de média), les approches existantes présentent des limites critiques :

• Alignement de caractéristiques sans égard à la qualité : Les méthodes actuelles alignent les caractéristiques sémantiques (ex: un "arbre") mais ignorent le niveau de qualité. Cela peut conduire à aligner incorrectement une image de haute qualité avec un nuage de points de basse qualité, nuisant à la capacité du modèle à distinguer la qualité perceptuelle.
• Augmentation de caractéristiques inadaptée : Les techniques d'augmentation existantes (comme le Style Mixup) sont souvent aléatoires, ne tiennent pas compte de la hiérarchie des couches du réseau (les couches profondes et superficielles captent des informations différentes selon la qualité) et ne sont appliquées qu'au domaine source, créant un déséquilibre qui élargit l'écart entre les domaines.

2. Méthodologie : Le cadre QD-PCQA

Pour surmonter ces obstacles, les auteurs proposent QD-PCQA, un cadre d'adaptation de domaine conscient de la qualité. Il repose sur deux stratégies principales intégrées à une architecture basée sur un réseau adversaire (DANN) et un extracteur de caractéristiques modifié (ResNet-50).

A. Stratégie d'Alignement Conditionnel Pondéré par le Rang (RCA)

Cette stratégie vise à résoudre le problème d'alignement aveugle à la qualité.

• Alignement conditionnel : Elle utilise les scores de qualité réels du domaine source et les scores de qualité pseudo-estimés du domaine cible comme conditions pour aligner les caractéristiques ayant des niveaux de qualité similaires.
• Pondération par le rang : Un module de pondération identifie les paires d'échantillons mal classés (où la prédiction de qualité contredit la vérité terrain ou la pseudo-vérité). Ces paires reçoivent un poids plus élevé dans la fonction de perte, forçant le modèle à corriger activement les biais de classement et à renforcer la sensibilité à l'ordre de qualité.
• Entraînement en deux étapes : Pour éviter l'alignement erroné dû à des pseudo-étiquettes peu fiables au début, le modèle est d'abord entraîné avec un DANN standard, puis la stratégie RCA est introduite une fois le modèle stabilisé.

B. Stratégie d'Augmentation de Caractéristiques Guidée par la Qualité (QFA)

Cette stratégie enrichit l'alignement des caractéristiques perceptuelles via trois modules :

1. Style Mixup Guidé par la Qualité (QSM) : Au lieu d'un mélange aléatoire, ce module sélectionne des paires d'échantillons source ayant des scores de qualité similaires (via un noyau gaussien) avant d'appliquer le mélange de style. Cela garantit que les caractéristiques augmentées conservent une cohérence perceptuelle.
2. Extension Multi-couches : Reconnaissant que les couches superficielles sont sensibles aux distorsions de bas niveau (pertinentes pour les échantillons de haute qualité) et les couches profondes aux sémantiques de haut niveau (pertinentes pour les échantillons dégradés), le module applique le QSM sélectivement à différentes couches du réseau selon la catégorie de qualité de l'échantillon (faible, moyenne, élevée).
3. Augmentation Double Domaine : Pour corriger le déséquilibre, l'augmentation est appliquée non seulement au domaine source (via QSM multi-couches) mais aussi au domaine cible (via un mélange de style simple SM à la dernière couche), enrichissant ainsi les deux distributions et facilitant l'apprentissage de représentations invariantes.

3. Contributions Clés

• Cadre QD-PCQA : Une nouvelle architecture d'adaptation de domaine qui transfère efficacement les connaissances de qualité des images vers les nuages de points.
• Stratégie RCA : Un mécanisme d'alignement qui intègre la cohérence des niveaux de qualité et pondère dynamiquement les erreurs de classement pour améliorer la précision du ranking.
• Stratégie QFA : Une approche d'augmentation hiérarchique et double domaine qui préserve la sensibilité à la qualité et comble l'écart entre les distributions source et cible de manière plus robuste.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données : deux pour les images naturelles (TID2013, KADID-10k) comme domaines sources, et deux pour les nuages de points (SJTU-PCQA, WPC) comme domaines cibles.

• Performance Supérieure : QD-PCQA dépasse systématiquement les méthodes de base (y compris IT-PCQA, DANN, COD, et StyleAM).
  • Sur le transfert TID2013 → SJTU-PCQA, le modèle atteint un PLCC de 0,842 et un RMSE de 1,358, surpassant IT-PCQA de 21,5 % en PLCC.
  • Sur le transfert TID2013 → WPC (un défi plus difficile avec des distorsions sémantiques), il atteint un PLCC de 0,563, surpassant IT-PCQA de 31,2 %.
• Études d'ablation : Les résultats confirment que chaque composant (QSM, extension multi-couches, RCA, augmentation double domaine) contribue significativement à la performance globale. En particulier, l'alignement conditionnel (RCA) améliore le coefficient de corrélation de rang de Spearman (SROCC) de plus de 5,9 % par rapport à l'alignement conditionnel standard (COD).
• Visualisation : Les visualisations t-SNE montrent que QD-PCQA aligne efficacement les caractéristiques des domaines source et cible tout en préservant la structure des niveaux de qualité (les couleurs représentant les scores de qualité sont bien regroupées).

5. Signification et Impact

Ce travail apporte une contribution majeure au domaine de l'évaluation de la qualité des médias 3D. Il démontre que l'adaptation de domaine pour la qualité ne doit pas se limiter à l'alignement sémantique, mais doit impérativement intégrer la cohérence de la qualité perceptuelle.

• Généralisation : La méthode permet d'utiliser les vastes jeux de données d'images annotées pour entraîner des modèles de qualité pour les nuages de points, résolvant ainsi le problème de la rareté des données annotées 3D.
• Robustesse : En traitant spécifiquement les biais de classement et les différences hiérarchiques des caractéristiques, QD-PCQA offre une solution robuste pour des scénarios réels où les conditions de transmission et de compression varient considérablement.

En résumé, QD-PCQA établit un nouvel état de l'art (SOTA) pour l'évaluation de la qualité des nuages de points sans référence en introduisant une adaptation de domaine "consciente de la qualité".