Image Quality Assessment: Exploring Quality Awareness via Memory-driven Distortion Patterns Matching

Each language version is independently generated for its own context, not a direct translation.

Le Problème : Le "Miroir Parfait" qui n'existe plus

Imaginez que vous êtes un critique d'art. Pour juger si une photo est belle ou abîmée, la méthode traditionnelle (appelée IQA Full-Reference) consiste à avoir le chef-d'œuvre original sous les yeux. Vous comparez la photo floue ou pixelisée avec l'original parfait. Si vous voyez une différence, vous dites : "C'est moche".

Le problème ? Dans la vraie vie, l'original parfait n'existe souvent pas.

Vous recevez une photo sur WhatsApp qui a déjà été compressée.
Une image est transmise par satellite et perd des détails.
Parfois, vous n'avez que la photo finale, sans savoir à quoi elle ressemblait avant.

Les ordinateurs actuels sont comme des élèves qui ne savent pas faire de maths sans leur calculatrice. Si on leur enlève l'original (la calculatrice), ils paniquent et donnent de mauvaises notes.

La Solution : La Mémoire Humaine (MQAF)

Les chercheurs (Xuting Lan et son équipe) se sont dit : "Attendez, comment les humains jugent-ils la qualité d'une photo sans avoir l'original sous les yeux ?"

La réponse est simple : La Mémoire.
Quand vous voyez une photo floue, votre cerveau ne la compare pas à un original imaginaire. Il la compare à tout ce que vous avez déjà vu.

"Tiens, ce flou ressemble à celui que j'ai vu sur une vieille photo de grand-mère."
"Ce bruit ressemble à celui d'une caméra bon marché."

Votre cerveau a une banque de souvenirs de toutes les façons dont une image peut être abîmée.

C'est exactement ce que propose ce papier : un système d'intelligence artificielle appelé MQAF (Memory-Driven Quality-Aware Framework) qui imite cette mémoire humaine.

Comment ça marche ? (L'Analogie du "Carnet de Recettes")

Imaginez que le système MQAF possède un carnet de recettes (la "Memory Bank") rempli de schémas de défauts connus :

Une page pour le "flou de mouvement".
Une page pour le "bruit de grain".
Une page pour la "compression JPEG".

Le système fonctionne en deux modes, comme un caméléon :

Mode 1 : Le Miroir (Quand l'original est là)
Si vous avez l'image originale, le système la regarde. Mais il ne se contente pas de la comparer bêtement. Il consulte aussi son carnet de recettes pour voir quel type de défaut est présent. Il combine les deux informations pour donner une note ultra-précise. C'est comme un expert qui compare le tableau à l'original, mais qui sait aussi exactement comment les faux sont faits.
Mode 2 : L'Expertise Pure (Quand l'original est absent)
C'est là que la magie opère. Si l'original a disparu, le système ferme les yeux sur l'original et ouvre son carnet de recettes. Il regarde la photo abîmée et dit : "Tiens, ce bruit correspond exactement à la page 45 de mon carnet (le bruit de grain). Donc, je sais que cette photo est de mauvaise qualité."
Il n'a plus besoin de l'original pour juger. Il se fie à sa mémoire accumulée.

Pourquoi c'est génial ?

Il est flexible : Il fonctionne aussi bien avec un original parfait que sans aucun original. C'est un "couteau suisse" de l'évaluation d'images.
Il apprend : À chaque fois qu'il voit un nouveau type de défaut, il peut ajouter une nouvelle page à son carnet de recettes. Il ne se fige pas dans ses connaissances.
Il est plus juste : Les tests montrent que ce système donne des notes beaucoup plus proches de ce que les humains pensent, même sur des images très abîmées, là où les anciens systèmes échouaient.

En résumé

Au lieu de demander à l'ordinateur : "Est-ce que cette photo ressemble à l'original ?" (ce qui est impossible sans l'original), les chercheurs ont appris à l'ordinateur à se demander : "Est-ce que cette photo ressemble à quelque chose que j'ai déjà vu et jugé comme étant abîmé ?"

C'est comme passer d'un élève qui triche avec la copie du prof, à un expert qui a vu des milliers de photos et qui sait immédiatement si une image est ratée, juste en se fiant à son expérience.

Le résultat ? Une technologie capable de juger la qualité des photos dans le monde réel, là où les images parfaites n'existent tout simplement pas.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

L'évaluation de la qualité d'image (IQA - Image Quality Assessment) est fondamentale pour l'expérience utilisateur et les flux de travail de traitement multimédia.

Limitation des méthodes Full-Reference (FR-IQA) : Les méthodes actuelles les plus performantes comparent une image dégradée à une image de référence parfaite (pristine). Cependant, leur efficacité dépend strictement de la disponibilité et de la qualité de cette référence. Dans des scénarios réels (transmission, stockage dégradé), la référence peut être absente ou elle-même dégradée, rendant les évaluations peu fiables ou impossibles.
Limitation des méthodes No-Reference (NR-IQA) : Bien qu'elles ne nécessitent pas de référence, elles manquent souvent de la supervision fine et de la stabilité offertes par les approches FR-IQA.
Objectif : Développer un cadre capable de réduire la dépendance aux images de référence de haute qualité tout en maintenant une haute précision, en s'inspirant du fonctionnement de la mémoire visuelle humaine.

2. Méthodologie : MQAF (Memory-driven Quality-Aware Framework)

Les auteurs proposent un cadre novateur nommé MQAF, qui simule le mécanisme de mémoire biologique humaine pour stocker et récupérer des motifs de distorsion.

A. Architecture Globale

Le cœur du système est une banque de mémoire (Memory Bank) apprenable, composée d'unités de mémoire qui stockent les représentations prototypes de divers types de distorsions. Le système fonctionne selon un mode double dynamique :

Mode Référence (FR) : Si une image de référence est disponible, le modèle combine l'information de référence avec les motifs de distorsion stockés en mémoire pour une évaluation adaptative.
Mode Sans Référence (NR) : Si la référence est absente, le modèle s'appuie exclusivement sur la banque de mémoire pour inférer la qualité en comparant l'image dégradée aux motifs appris.

B. Composants Clés

Extraction de caractéristiques : Utilisation d'un encodeur (ResNet50 ou VGG16 pré-entraîné) pour extraire des caractéristiques profondes ( $F_{ref}$ et $F_{dist}$ ) des images.
Banque de Mémoire ( $V$ ) : Un vecteur de dimensions $256 \times 2048$ contenant 256 unités de mémoire, chacune représentant un motif de distorsion spécifique.
Calcul du Score de Qualité ( $Q$ ) :
Le score final est une combinaison pondérée :
$Q = \alpha S_{ref} + (1 - \alpha) S_{dist}$
- $S_{ref}$ : Score d'appariement de référence (combinaison de similarité cosinus et de similarité basée sur la norme pour capturer à la fois la direction et l'amplitude des vecteurs de caractéristiques).
- $S_{dist}$ : Score d'appariement mémoire (mesure la similarité entre les caractéristiques de l'image dégradée et les motifs stockés dans la banque via une projection convolutive).
- $\alpha$ : Un poids appris dynamiquement par un réseau d'adaptation (AWN) qui ajuste la confiance accordée à la référence ou à la mémoire selon la fiabilité perçue.

C. Fonction de Perte et Optimisation

L'entraînement utilise une optimisation conjointe de trois composantes :

Perte de régression ( $L_{pre}$ ) : Erreur quadratique moyenne (MSE) entre le score prédit et la vérité terrain (MOS).
Perte de confiance ( $L_{\alpha}$ ) : Guide le réseau pour ajuster le poids $\alpha$ en fonction de l'erreur relative des scores de référence et de mémoire par rapport à la vérité terrain.
Perte de mémoire ( $L_{memory}$ ) : Une contrainte de décorrélation (basée sur la norme de Frobenius de la matrice de covariance) appliquée aux unités de mémoire. Cela force chaque unité à apprendre des motifs de distorsion distincts et indépendants, réduisant la redondance et améliorant la capacité de généralisation.

3. Contributions Principales

Cadre Unifié Dual-Mode : MQAF est le premier cadre à intégrer nativement des mécanismes de mémoire explicite pour fonctionner efficacement aussi bien en mode FR-IQA (avec référence) qu'en mode NR-IQA (sans référence), comblant ainsi le fossé entre les deux approches.
Réduction de la Dépendance à la Référence : En stockant des motifs de distorsion appris, le modèle peut évaluer la qualité même lorsque la référence est dégradée ou manquante, surmontant la limitation majeure des méthodes FR-IQA traditionnelles.
Mécanisme de Mémoire Explicite : Contrairement aux réseaux de neurones qui mémorisent implicitement les distributions via leurs poids, MQAF utilise une banque de mémoire explicite et mise à jour, offrant une meilleure interprétabilité et une capacité d'adaptation aux distorsions jamais vues.
Apprentissage de Motifs de Distorsion : Le système apprend et stocke activement des prototypes de distorsion, permettant une reconnaissance précise de types de dégradations variés.

4. Résultats Expérimentaux

Les expériences ont été menées sur cinq bases de données publiques majeures : LIVE, CSIQ, TID2013, KADID-10K et PIPAL.

Performance Globale : MQAF surpasse l'état de l'art (SOTA) sur la plupart des métriques (PLCC et SRCC).
- En mode Référence (MQAF-R), il atteint des performances comparables ou supérieures aux meilleures méthodes FR-IQA (ex: TOPIQ, PieAPP) sur des jeux de données complexes comme KADID-10K et PIPAL.
- En mode Sans Référence (MQAF-NR), il dépasse les méthodes NR-IQA existantes, démontrant que la mémoire de distorsion est une alternative robuste à la reconstruction d'images de référence.
Généralisation :
- Transfert inter-datasets : Entraîné sur KADID-10K, le modèle maintient une performance supérieure sur LIVE, CSIQ et TID2013 sans ajustement fin.
- Types de distorsions : Dans les tests "Leave-One-Distortion-Out" sur TID2013, MQAF-R obtient systématiquement les meilleurs résultats, prouvant sa capacité à gérer des distorsions non vues lors de l'entraînement.
Efficacité Computationnelle : Bien que légèrement plus complexe que certains modèles légers, MQAF-R (avec ResNet50) offre un excellent compromis précision/temps d'exécution, étant plus rapide que des modèles lourds comme AHIQ ou PieAPP.
Études d'ablation : La suppression du mécanisme de mémoire entraîne une chute significative des performances, confirmant son rôle crucial. L'ajustement du nombre d'unités de mémoire (optimal à 256) et du paramètre de décorrélation ( $\lambda = 0.1$ ) maximise la précision.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de l'IQA en s'éloignant de la dépendance rigide aux images de référence parfaites.

Inspiration Biologique : En modélisant la mémoire visuelle humaine (stockage de références internes et ajustement), le cadre MQAF offre une approche plus robuste et réaliste pour l'évaluation de la qualité.
Applicabilité Pratique : La capacité à fonctionner sans référence ou avec des références dégradées rend cette technologie particulièrement pertinente pour les applications réelles (streaming, stockage cloud, traitement d'images médicales) où les images de référence originales sont souvent indisponibles.
Futur de l'IQA : Le succès de l'approche "Memory-driven" ouvre de nouvelles voies de recherche pour créer des systèmes d'évaluation unifiés, capables de s'adapter dynamiquement aux contraintes du monde réel tout en maintenant une haute fidélité perceptuelle.