Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision

Cet article propose un ensemble de tests fondés sur des mesures psychophysiques de la vision de bas niveau pour évaluer la capacité de 34 métriques de qualité d'image et de vidéo à modéliser des mécanismes perceptuels clés tels que la sensibilité au contraste, le masquage et l'adaptation, révélant ainsi des limites et des comportements spécifiques non détectables par les protocoles d'évaluation standards.

L'essentiel

Voici une explication de ce papier de recherche, imagée et simplifiée pour un public général.

🎬 Le Grand Test de la "Vision Humaine" pour les Métriques d'Image

Imaginez que vous êtes un chef cuisinier (le développeur d'un algorithme) qui veut créer un robot capable de goûter vos plats et de dire s'ils sont bons ou mauvais. Jusqu'à présent, pour tester ce robot, vous lui donniez des plats et demandiez à des humains de noter le goût. Si le robot était d'accord avec les humains, il était considéré comme "intelligent".

Mais dans ce papier, les chercheurs (de l'Université de Cambridge et de Netflix) se disent : "Attendez une seconde. Comment savons-nous vraiment pourquoi le robot a raison ou tort ?"

Ils ont décidé de ne pas seulement regarder le résultat final, mais de tester le robot avec des expériences de laboratoire spécifiques, comme on le ferait avec un vrai humain pour comprendre comment son œil fonctionne.

Voici les quatre grands tests qu'ils ont inventés, expliqués avec des analogies simples :

1. Le Test de la "Chasse au Trésor" (Détection de contraste)

• L'analogie : Imaginez que vous cherchez un petit chat gris dans un jardin.
  • Si le jardin est tout vert (fond uni), le chat est facile à voir.
  • Si le jardin est rempli de fleurs multicolores (textures complexes), le chat se cache mieux.
  • L'œil humain a une "sensibilité" particulière : il voit très bien les détails moyens, mais il est un peu "aveugle" aux détails trop fins ou trop gros.
• Ce que le papier révèle : Beaucoup de métriques classiques (comme le PSNR ou le SSIM) sont comme des robots qui ne comprennent pas cette nuance. Le SSIM, par exemple, est comme un robot qui panique à la moindre tache minuscule (il voit trop les détails fins) et ignore les gros problèmes. En revanche, des métriques modernes comme LPIPS ou MS-SSIM agissent plus comme un vrai humain : elles savent ignorer ce qui est trop fin pour être vu et se concentrer sur ce qui compte vraiment.

2. Le Test du "Camouflage" (Masquage de contraste)

• L'analogie : C'est le jeu du "Trouvez l'intrus".
  • Si vous cachez un défaut dans une image très lisse (comme un ciel bleu), on le voit tout de suite.
  • Mais si vous cachez le même défaut dans une image très bruyante (comme une forêt en automne), l'œil humain ne le voit plus ! C'est le "masquage". L'image de fond "protège" le défaut.
• Ce que le papier révèle : C'est là que ça devient fascinant. Les métriques basées sur l'Intelligence Artificielle (comme LPIPS ou DISTS) sont devenues d'excellentes caméléones ! Même si elles n'ont jamais été entraînées spécifiquement pour ça, elles ont appris à "voir" comme nous : elles comprennent que si l'image est déjà complexe, un petit défaut ne devrait pas être noté aussi sévèrement. Par contre, des métriques plus anciennes comme le VMAF (très utilisé par Netflix) ne comprennent bien ce camouflage que lorsque le défaut est énorme et évident.

3. Le Test du "Stroboscope" (Détection de scintillement)

• L'analogie : C'est comme regarder une lumière qui clignote très vite.
  • L'œil humain est très sensible à certaines vitesses de clignotement (autour de 8 fois par seconde), mais il devient "aveugle" si ça clignote trop vite ou pas assez.
• Ce que le papier révèle : La plupart des métriques vidéo sont comme des robots qui regardent juste deux images côte à côte. Elles ne voient pas le mouvement dans le temps. Seules des métriques très spécialisées (comme ColorVideoVDP) arrivent à simuler ce que l'œil ressent quand une image scintille. Les autres métriques vidéo classiques sont souvent "désynchronisées" avec la réalité biologique.

4. Le Test de la "Balance des Couleurs" (Correspondance de contraste)

• L'analogie : Imaginez que vous devez peindre un mur. Vous voulez que le rouge, le vert et le gris aient exactement la même "intensité" visuelle, même si leurs couleurs sont différentes.
  • L'œil humain est très sensible au gris, mais un peu moins au rouge ou au jaune. Il faut donc ajuster les couleurs pour qu'elles paraissent égales.
• Ce que le papier révèle : Beaucoup de métriques de couleur sont déséquilibrées. Certaines sont obsédées par le noir et blanc (le gris) et ignorent les couleurs vives. D'autres, comme les métriques d'IA, ont tendance à exagérer les différences de couleurs. Seule une métrique très pointue (ColorVideoVDP) arrive à trouver l'équilibre parfait, comme un vrai peintre qui a l'œil juste.

🏆 Le Verdict Final

Les chercheurs ont passé au peigne fin 34 métriques différentes. Voici les grandes conclusions à retenir :

1. Les vieilles méthodes sont limitées : Des métriques célèbres comme le SSIM ou le PSNR sont un peu "naïves". Elles comptent les pixels comme un robot, sans comprendre comment notre cerveau filtre l'information.
2. L'IA a une intuition surprenante : Les métriques basées sur l'apprentissage profond (comme LPIPS) sont étonnantes. Même si elles n'ont pas été programmées avec les règles de la biologie humaine, elles ont "appris" à voir comme nous, surtout pour comprendre quand un défaut est caché par le bruit de l'image.
3. Le manque de "constance" : Aucune métrique n'a réussi à reproduire parfaitement un phénomène étrange de l'œil humain : quand un contraste est très fort, l'œil humain le perçoit de la même façon, quelle que soit la finesse de l'image. Les robots, eux, continuent de voir des différences là où l'œil humain ne voit plus rien.

💡 Pourquoi est-ce important ?

Ce papier ne dit pas "arrêtez d'utiliser ces métriques". Il dit plutôt : "Utilisez ces nouveaux tests pour savoir ce que vos métriques font vraiment."

C'est comme si, au lieu de juste regarder le score d'un joueur de football, on lui faisait passer un test de vue, un test de vitesse et un test de coordination. Cela permet aux ingénieurs de Netflix ou des studios de cinéma de choisir le bon outil pour le bon travail, et de créer de meilleurs algorithmes qui respectent vraiment la façon dont nos yeux voient le monde.

En résumé : Pour bien évaluer la qualité d'une image, il ne suffit pas de compter les pixels, il faut comprendre la "magie" de la vision humaine.

Résumé technique

Voici un résumé technique détaillé de l'article "Evaluating quality metrics through the lenses of psychophysical measurements of low-level vision", rédigé en français.

1. Problématique

Les métriques objectives de qualité d'image et de vidéo (telles que PSNR, SSIM, LPIPS, VMAF) sont largement utilisées pour évaluer les algorithmes de traitement d'image et les systèmes de compression. Bien que leur conception vise souvent à prédire la qualité visuelle perçue par l'humain, la majorité d'entre elles reposent sur des formules heuristiques ou un apprentissage automatique entraîné sur des données subjectives (scores MOS, JND), sans intégrer explicitement des modèles de la vision humaine.

Le problème central identifié par les auteurs est que l'évaluation standard de ces métriques se limite à mesurer leur corrélation avec des scores subjectifs. Cette approche présente plusieurs limites :

• Elle est sensible au bruit expérimental et à la variabilité des observateurs.
• Elle ne permet pas de comprendre pourquoi une métrique fonctionne bien ou mal (manque d'interprétabilité des mécanismes internes).
• Elle ne révèle pas si la métrique capture correctement les propriétés fondamentales de la vision humaine à bas niveau (basse vision), telles que la sensibilité au contraste, le masquage ou la constance du contraste.

L'objectif de l'article est donc de proposer un cadre d'évaluation alternatif basé sur des mesures psychophysiques pour analyser le comportement des métriques de qualité par rapport aux propriétés connues de la vision humaine.

2. Méthodologie

Les auteurs proposent un cadre d'évaluation open-source qui imite les expériences psychophysiques classiques utilisées pour étudier la vision humaine. Au lieu de comparer des métriques à des scores humains globaux, ils comparent les réponses des métriques à des stimuli contrôlés et à des modèles psychophysiques établis.

Configuration expérimentale :

• Les stimuli sont générés dans un espace colorimétrique linéaire et convertis en sRGB.
• Les paramètres physiques (luminance, résolution en degrés visuels) sont standardisés (ex: 60 pixels par degré, luminance de crête de 100 cd/m²).
• 34 métriques de qualité (référence complète) sont testées.

Les tests proposés se divisent en deux catégories :

A. Tests de Détection (Seuil de perception)

Ces tests évaluent la capacité d'une métrique à détecter la présence d'un stimulus (distorsion) sur un fond uniforme, en fonction du contraste et de la fréquence.

1. Détection de contraste (Spatial) : Utilisation de patchs de Gabor de fréquences spatiales et de contrastes variables. La métrique doit reproduire la Fonction de Sensibilité au Contraste (CSF) humaine (forme en bande passante, pic à 2-4 cycles/degré).
2. Masquage de contraste : Un stimulus de test (Gabor) est superposé à un masque (grille sinusoïdale ou bruit). Le test évalue si la métrique prédit correctement l'augmentation du seuil de détection en présence d'un masque (masquage) et le phénomène de facilitation (dip) à faible contraste.
3. Détection de scintillement (Flicker) : Évaluation de la sensibilité temporelle à des modulations de luminance, visant à reproduire la CSF temporelle (pic à 8 Hz).

B. Tests d'Appariement de Contraste (Supra-seuil)

Ces tests évaluent comment les métriques gèrent les contrastes élevés, au-delà du seuil de détection.

1. Appariement de contraste (Fréquences spatiales) : On cherche à trouver le contraste d'un test qui semble égal à un contraste de référence à différentes fréquences. Cela teste la constance du contraste : à fort contraste, la perception humaine devient indépendante de la fréquence spatiale (les courbes s'aplatissent).
2. Appariement de contraste (Directions chromatiques) : Comparaison de la perception du contraste dans les directions achromatique, rouge-vert et jaune-violet. Une bonne métrique doit équilibrer ces directions selon la sensibilité humaine.

Métriques d'évaluation :

• Score d'alignement (Alignment Score) : Pour les tests de détection, mesure la corrélation entre la prédiction de la métrique et le seuil de contraste psychophysique.
• RMSE (Root-Mean-Square Error) : Pour les tests d'appariement, mesure l'erreur de prédiction par rapport aux données humaines.

3. Contributions Clés

1. Cadre d'évaluation psychophysique : Introduction d'une nouvelle méthodologie pour tester les métriques de qualité non pas par corrélation globale, mais par la vérification de propriétés visuelles spécifiques (CSF, masquage, constance).
2. Analyse comparative approfondie : Évaluation systématique de 34 métriques (traditionnelles, basées sur le colorimétrie, et Deep Learning) sur ces tests.
3. Découvertes sur les métriques existantes :
   • Mise en évidence que des métriques populaires comme SSIM surestiment les hautes fréquences spatiales, contrairement à la vision humaine.
   • Démonstration que MS-SSIM et LPIPS parviennent à modéliser le masquage de contraste, même sans avoir été entraînés spécifiquement sur ces données.
   • Révélation de l'incapacité générale des métriques actuelles à modéliser la constance du contraste supra-seuil (les humains perçoivent le même contraste à différentes fréquences pour des contrastes élevés, mais pas les métriques).
4. Outils ouverts : Publication d'un framework d'évaluation open-source pour permettre à la communauté de tester de nouvelles métriques.

4. Résultats Principaux

• Détection de contraste : Seules quelques métriques (notamment ColorVideoVDP, qui intègre explicitement un modèle CSF) reproduisent fidèlement la forme de la CSF humaine. SSIM montre une réponse hautement passe-haut (trop sensible aux hautes fréquences), tandis que PSNR est insensible aux fréquences spatiales.
• Masquage de contraste :
  • Les métriques basées sur des caractéristiques profondes (LPIPS, DISTS) excellent dans la prédiction du masquage, en particulier pour les masques incohérents (bruit), reproduisant même le phénomène de facilitation (dip) bien que parfois à des niveaux de contraste trop élevés.
  • VMAF ne montre un comportement de masquage correct qu'aux contrastes supra-seuil, négligeant les effets à faible contraste.
  • Les métriques basées sur des architectures Transformer (TOPIQ, AHIQ) échouent à capturer les effets de masquage aux faibles contrastes.
• Détection de scintillement (Flicker) : La plupart des métriques vidéo échouent à prédire la sensibilité temporelle correcte (pic à 8 Hz). Seules FovVideoVDP et ColorVideoVDP réussissent ce test, soulignant le besoin de considérer plus de frames pour modéliser la persistance rétinienne.
• Constance du contraste (Supra-seuil) : Aucune des métriques testées ne parvient à prédire la constance du contraste à fort contraste (les lignes de réponse ne s'aplatissent pas comme chez l'humain). Les métriques basées sur la CSF (comme ColorVideoVDP) conservent une dépendance aux fréquences même à fort contraste, ce qui est une limitation majeure.
• Appariement chromatique : Les formules de différence de couleur classiques (CIEDE2000) sous-estiment les différences de couleur à fort contraste (calibrées pour des différences proches du seuil). Les métriques Deep Learning ont tendance à surestimer les différences chromatiques.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'évaluation des métriques de qualité d'image et de vidéo. Au lieu de se fier uniquement à la corrélation avec des scores subjectifs (qui peuvent être bruités et peu informatifs sur le "pourquoi"), les auteurs proposent une analyse structurelle basée sur les mécanismes de la vision humaine.

Les implications sont multiples :

• Développement de métriques : Les concepteurs de métriques doivent intégrer explicitement des modèles de masquage et de constance du contraste supra-seuil, au-delà de la simple sensibilité au contraste (CSF).
• Interprétabilité : L'approche permet de diagnostiquer les faiblesses spécifiques d'une métrique (ex: "cette métrique est trop sensible aux hautes fréquences" ou "elle ignore le masquage à faible contraste").
• Validation des modèles d'IA : L'étude montre que les réseaux de neurones convolutifs (CNN) apprennent parfois des propriétés de masquage de manière émergente, mais que les architectures Transformer actuelles peuvent avoir des lacunes dans la modélisation des variations subtiles de contraste.

En conclusion, l'article fournit un outil essentiel pour affiner les métriques de qualité afin qu'elles correspondent non seulement aux préférences humaines globales, mais aussi aux principes fondamentaux de la perception visuelle.