Causal Disentanglement for Full-Reference Image Quality Assessment

1. Problématique et Contexte

L'évaluation de la qualité d'image à référence complète (FR-IQA) vise à prédire la qualité perçue d'une image dégradée ($I_d$) en la comparant à une image de référence pristine ($I_r$). Bien que les modèles FR-IQA basés sur les réseaux de neurones profonds aient connu du succès, ils souffrent de limitations majeures :

• Dépendance aux données étiquetées : Les méthodes supervisées nécessitent de vastes ensembles de données avec des scores d'opinion moyen (MOS) obtenus par des humains, ce qui est coûteux, subjectif et difficile à obtenir pour des domaines spécialisés (médical, sous-marin, radiographie).
• Limites des méthodes sans entraînement (Training-free) : Les approches actuelles qui n'utilisent pas de données étiquetées (en utilisant souvent des modèles pré-entraînés sur ImageNet) peinent à s'adapter aux domaines non standards. Elles souffrent d'un décalage de domaine (domain shift) et ne capturent pas bien les spécificités des distortions dans des contextes particuliers.
• Modélisation imparfaite de la perception humaine : La plupart des modèles comparent simplement les cartes de caractéristiques (features) entre l'image de référence et l'image dégradée. Ils négligent souvent l'effet de masquage visuel : la visibilité d'une distortion dépend fortement du contenu de l'image (ex: le bruit est plus visible dans un ciel bleu que dans une zone texturée).

L'objectif de cet article est de proposer une nouvelle paradigme FR-IQA capable de s'adapter à divers scénarios (y compris ceux avec peu ou pas de données étiquetées) en modélisant explicitement la relation causale entre le contenu de l'image et la perception de la dégradation.

2. Méthodologie Proposée

L'approche proposée repose sur l'inférence causale et l'apprentissage de représentations découplées. Le cadre général se décompose en trois étapes principales :

A. Formulation du Problème et Modèle Causal

Les auteurs modélisent la génération d'une image dégradée via un Modèle Causal Structurel (SCM) :

• Une image dégradée $I_d$ est générée à partir de deux facteurs : le contenu ($C$, issu de $I_r$) et la dégradation ($D$).
• Contrairement aux approches traditionnelles qui traitent $C$ et $D$ comme indépendants, les auteurs intègrent l'effet de masquage visuel en modélisant une relation causale dirigée : $C \rightarrow D$. Cela signifie que le contenu de l'image module la visibilité et la perception de la dégradation.

B. Découplage des Caractéristiques par Intervention (Pre-training)

Pour séparer les facteurs de dégradation du contenu sans supervision, l'article utilise une intervention sur les représentations latentes :

1. Encodage : Un encodeur extrait une représentation latente $Z$ de l'image dégradée.
2. Intervention (Do-operator) : La partie de la représentation correspondant au contenu est remplacée par les caractéristiques de l'image de référence $C$ (qui est identique au contenu de $I_d$).
3. Reconstruction : Un décodeur tente de reconstruire l'image dégradée $I_d$ en utilisant le contenu $C$ et la partie restante de la représentation latente (qui doit donc contenir uniquement l'information de dégradation).
4. Objectif : En minimisant l'erreur de reconstruction, le modèle est forcé à encoder uniquement les informations de dégradation dans la partie latente restante, car le contenu est déjà fourni par ailleurs.

C. Apprentissage de la Représentation Causale (Causal Layer)

Une fois les caractéristiques de dégradation $D$ extraites, une couche causale est appliquée pour modéliser l'effet de masquage :

• Le contenu $C$ est utilisé pour générer un masque de modulation qui ajuste les caractéristiques de dégradation $D$.
• Cela produit une représentation de dégradation influencée par le contenu ($\dot{D}$), qui reflète mieux la perception humaine qu'une dégradation brute.

D. Prédiction des Scores (Supervisé, Few-shot et Zero-shot)

• Supervisé / Few-shot : Si des données étiquetées sont disponibles, une régression supervisée (couche fully-connected) mappe $\dot{D}$ vers les scores MOS.
• Zero-shot (Sans étiquettes) : En l'absence de données étiquetées, le problème est formulé comme un problème d'apprentissage de variété (manifold learning). Les auteurs supposent que les variations de qualité pertinentes se situent sur une variété de basse dimension. Ils utilisent UMAP (Uniform Manifold Approximation and Projection) pour projeter les caractéristiques $\dot{D}$ dans un espace 1D. La position sur cet axe sert de score de qualité relatif, permettant un classement des images sans aucun score MOS.

3. Contributions Clés

1. Nouveau Paradigme FR-IQA : Passage d'une comparaison de paires de caractéristiques à un processus de découplage causal guidé par l'intervention, permettant d'extraire des caractéristiques de dégradation pures.
2. Modélisation de l'Effet de Masquage Visuel : Introduction d'une couche causale explicite ($C \rightarrow D$) qui simule comment le contenu de l'image atténue ou accentue la perception des distortions, alignant ainsi le modèle sur le Système Visuel Humain (HVS).
3. Adaptabilité Multi-scénarios : La méthode fonctionne efficacement dans trois régimes : supervisé complet, peu d'étiquettes (few-shot) et totalement sans étiquettes (zero-shot).
4. Généralisation Cross-domaine : Capacité à s'adapter à des domaines non standards (images sous-marines, médicales, neutroniques, écrans) sans nécessiter de données d'entraînement étiquetées spécifiques à ces domaines, contrairement aux méthodes basées sur ImageNet.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur 10 ensembles de données (5 standards et 5 non standards).

• Performances sur les Benchmarks Standards : La méthode atteint des performances compétitives, souvent supérieures ou égales aux modèles de l'état de l'art (SOTA) comme DISTS, TOPIQ-FR et DeepCausal, tant en mode supervisé qu'en mode sans étiquettes.
• Généralisation Cross-domaine : Sur des ensembles de données non standards (Infrarouge, Neutron, Médical, Écran), la méthode proposée surpasse nettement les méthodes "training-free" existantes. Par exemple, sur les images neutroniques, elle atteint un PLCC de 0.956 contre 0.883 pour DeepJSD (SOTA précédent). Cela démontre sa robustesse face au décalage de domaine.
• Expériences Few-shot : Avec seulement 2% à 15% de données étiquetées, la méthode maintient des performances élevées, prouvant qu'elle n'a pas besoin de grandes quantités de données pour s'ajuster finement.
• Ablation Studies : Les expériences confirment l'importance de chaque composant :
  • La perte de reconstruction (MSE + VGG + GAN) est cruciale pour extraire les détails haute fréquence.
  • La couche causale améliore significativement l'alignement avec la perception humaine.
  • UMAP est supérieur aux autres méthodes de réduction de dimension (PCA, t-SNE) pour la prédiction zero-shot.

5. Signification et Impact

Cet article apporte une contribution majeure au domaine de l'évaluation de la qualité d'image en résolvant le dilemme entre la précision des modèles supervisés et la flexibilité des modèles sans entraînement.

• Pratique : Il offre une solution viable pour l'évaluation de la qualité dans des domaines spécialisés où l'annotation humaine est impossible ou trop coûteuse (ex: imagerie médicale ou scientifique).
• Théorique : Il démontre l'efficacité de l'intégration de l'inférence causale et de l'apprentissage de représentations découplées pour modéliser des phénomènes perceptifs complexes comme l'effet de masquage visuel.
• Futur : La capacité à fonctionner sans données étiquetées ouvre la voie à des systèmes d'évaluation de qualité déployables immédiatement sur de nouveaux types de capteurs ou d'applications sans phase d'entraînement longue et coûteuse.

En résumé, cette méthode transforme le problème de l'IQA d'une simple mesure de différence de signal en un processus d'apprentissage de la structure causale de la perception humaine, offrant une robustesse et une adaptabilité sans précédent.