Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered

Ce papier de position soutient que l'évaluation des systèmes de traitement visuel doit évoluer d'une approche centrée sur des métriques objectives vers une approche humanocentrée, contextuelle et nuancée, afin de mieux refléter la perception humaine et de ne pas entraver l'innovation.

L'essentiel

🎨 Le Dilemme de l'Artiste : La Note du Professeur ou le Sourire du Public ?

Imaginez que vous êtes un chef cuisinier (ou un artiste). Votre but est de créer un plat (ou une image) qui fait plaisir à votre client.

Pendant des années, la communauté scientifique qui travaille sur l'amélioration des images (comme rendre une photo floue plus nette) a agi comme un élève qui ne regarde que sa note sur 20. Cette note, c'est une formule mathématique appelée "métrique" (comme le PSNR ou le SSIM).

Le problème, c'est que la note du professeur ne correspond plus au goût du client.

Ce papier de recherche, écrit par une équipe d'experts, lance un appel urgent : Arrêtons de courir après la note parfaite et recommençons à écouter ce que les humains trouvent beau !

Voici les points clés, expliqués avec des analogies :

1. Le Piège de la "Note Parfaite" (Le Mètre-Ruban vs. Le Cœur)

Autrefois, pour améliorer une photo floue, les ordinateurs essayaient simplement de recoller les pixels un par un pour qu'ils ressemblent exactement à l'original. Les formules mathématiques (les métriques) étaient parfaites pour ça : elles mesuraient la distance entre deux pixels.

Mais aujourd'hui, les nouvelles technologies (comme l'Intelligence Artificielle générative) sont plus intelligentes. Elles ne se contentent pas de recoller des pixels ; elles inventent des détails réalistes (comme des poils d'animal ou des textures de peau) qui n'étaient pas dans l'original.

• L'analogie : Imaginez un restaurateur de tableaux.
  • L'approche "Métrique" : Il demande : "Est-ce que chaque pixel de ma copie est à la même distance que l'original ?" Si oui, c'est parfait.
  • L'approche "Humaine" : Elle demande : "Est-ce que ce tableau semble vivant ? Est-ce que les yeux du personnage semblent réels ?"
  • Le drame : Parfois, pour avoir une meilleure note mathématique, l'IA rend l'image trop lisse (comme une peau de plastique). Pour avoir un meilleur aspect visuel, elle invente des détails. Mais les formules mathématiques punissent ces détails inventés ! C'est comme si un professeur punissait un élève pour avoir ajouté de la créativité à son dessin, simplement parce que cela ne correspondait pas au modèle exact.

2. La Course aux Armements (Tricher pour avoir une meilleure note)

Comme les chercheurs sont sous pression pour avoir les meilleures notes pour publier leurs articles, ils ont commencé à "tricher" avec les formules.

• L'analogie : C'est comme un étudiant qui sait que son professeur note la taille de l'écriture. Alors, l'étudiant écrit tout en très gros, même si le texte est illisible et n'a aucun sens.
• La réalité : Les chercheurs ont appris à créer des images avec beaucoup de "bruit" et de détails artificiels (trop de netteté, des textures bizarres). Les formules mathématiques adorent ça et donnent des notes élevées. Mais quand un humain regarde l'image, il trouve ça agressif, faux et désagréable. C'est comme un fruit artificiel qui brille trop : il a l'air parfait sous la lumière, mais il n'a pas de goût.

3. Pourquoi une seule note ne suffit plus (Le Test du Goût)

Le papier explique qu'une seule note globale ne peut pas tout dire. Une image peut être magnifique pour un visage humain, mais terrible pour un paysage.

• L'analogie : Imaginez un examen de cuisine où l'on donne une note globale.
  • Un chef excelle dans les desserts (il gagne la note).
  • Un autre chef excelle dans les plats de viande.
  • Si on les mélange dans un seul test, on ne sait pas qui est le meilleur pour quel plat.
• La solution : Il faut des évaluations plus fines. Il faut demander aux humains : "Aimez-vous ce visage ?" "Aimez-vous ce paysage ?" "Est-ce que ce texte est lisible ?". C'est ce qu'on appelle une évaluation centrée sur l'humain.

4. Le Futur : L'IA doit apprendre à "Sentir"

Les auteurs ne disent pas qu'il faut jeter les formules mathématiques. Elles sont utiles pour les tests rapides. Mais elles ne doivent plus être le seul juge.

• L'analogie : Les formules mathématiques sont comme un thermomètre. Elles disent s'il fait chaud ou froid. Mais elles ne peuvent pas dire si l'ambiance est agréable ou si la musique est belle.
• La proposition : Il faut construire de nouvelles "formules" qui sont plus intelligentes, capables de comprendre le contexte (comme un humain). Par exemple, comprendre qu'un flou d'arrière-plan est voulu (pour mettre en valeur le sujet) et non une erreur.

En résumé

Ce papier dit aux chercheurs : "Ne soyez pas des robots qui optimisent des chiffres. Soyez des artistes qui servent les humains."

Si une image a une note mathématique parfaite mais qu'elle fait peur ou semble fausse à un humain, alors elle a échoué. L'objectif final n'est pas de battre un record sur un tableau de classement, mais de créer des images qui touchent, émerveillent et servent réellement les gens.

Le message clé : La mesure (la métrique) est un outil, pas le but. Le but, c'est le plaisir de l'œil humain.

Résumé technique

Voici un résumé technique détaillé de la position présentée dans l'article, rédigé en français.

Titre : L'évaluation du traitement visuel doit être centrée sur l'humain, et non sur les métriques

1. Le Problème : La divergence entre les métriques objectives et la perception humaine

L'article identifie une crise fondamentale dans l'évaluation des systèmes modernes de traitement visuel, en particulier dans le domaine de la restauration d'images et de la super-résolution.

• Décalage croissant : Depuis l'avènement des modèles génératifs (GANs, modèles de diffusion), les objectifs de la restauration d'images ont évolué de la simple minimisation de la distorsion au niveau des pixels vers la synthèse de détails haute fréquence réalistes et sémantiquement cohérents.
• Obsolescence des métriques traditionnelles : Les métriques classiques à référence complète (Full-Reference - FR) comme le PSNR et le SSIM, ainsi que les métriques perceptuelles comme le LPIPS, sont devenues inadéquates. Elles pénalisent souvent les sorties génératives réalistes qui s'écartent légèrement de l'image de référence (Ground Truth) mais qui sont visuellement préférées par les humains.
• Biais de recherche : La communauté scientifique est actuellement piégée dans une boucle de rétroaction où l'optimisation pour les scores de benchmarks (leaderboards) devient l'objectif principal, au détriment de la qualité visuelle réelle et de la diversité des préférences utilisateurs. Cela conduit à des solutions qui "jouent le jeu" des métriques (ex: sur-accentuation des textures) sans améliorer l'expérience utilisateur.

2. Méthodologie et Analyse Empirique

Les auteurs ne proposent pas une nouvelle architecture de modèle, mais mènent une analyse critique et comparative rigoureuse pour étayer leur thèse :

• Analyse des tendances temporelles (2014-2025) : Ils examinent l'évolution des modèles de restauration (de SRCNN aux modèles de diffusion comme SUPIR et HYPIR) et leur corrélation avec les métriques IQA (Image Quality Assessment).
• Études comparatives sur le benchmark SRIQA : En utilisant un ensemble de données de restauration diversifié, ils évaluent comment différentes catégories de modèles (orientés PSNR, GAN, Diffusion) se comportent face aux métriques existantes.
• Études utilisateurs (User Studies) : Ils comparent les scores des métriques avec les préférences réelles des humains à travers des études de paires (pairwise comparisons) et des analyses contextuelles (par exemple, préférences pour les visages, les textures, l'architecture).
• Analyse de la vulnérabilité des métriques : Ils démontrent comment des manipulations simples (sur-accentuation, absence de lissage anti-repliement) peuvent artificiellement gonfler les scores des métriques No-Reference (NR) modernes (MUSIQ, MANIQA, CLIP-IQA) sans améliorer la qualité visuelle.
• Écart d'échelle (Scale Gap) : Ils soulignent le déséquilibre entre la taille des ensembles de données et des modèles utilisés pour entraîner les métriques IQA (souvent < 1 million d'images, modèles de quelques millions de paramètres) et les modèles de restauration modernes (20M+ d'images, modèles de plusieurs milliards de paramètres).

3. Contributions Clés

• Positionnement théorique : L'article plaide pour un changement de paradigme où les métriques ne sont plus les arbitres absolus du progrès, mais des outils contextuels. L'évaluation doit être centrée sur l'humain, consciente du contexte et fine-granulaire.
• Démonstration de l'échec des métriques actuelles :
  • Les métriques FR (PSNR/SSIM) favorisent le lissage excessif (over-smoothing).
  • Les métriques NR modernes (MUSIQ, MANIQA, CLIP-IQA) sont souvent biaisées vers les hautes fréquences et peuvent récompenser des artefacts (sur-accentuation) ou échouer à distinguer la flou intentionnel (profondeur de champ) de la dégradation.
  • Les modèles de diffusion, bien que supérieurs visuellement, obtiennent parfois de mauvais scores LPIPS par rapport aux GANs.
• Appel à l'action pour une évaluation multidimensionnelle : Les auteurs rejettent le score unique global. Ils proposent que l'évaluation future doit dissocier la validité sémantique, le réalisme des détails, la netteté, le confort visuel et la cohérence stylistique.
• Identification de l'écart d'échelle : Mise en évidence du fait que les métriques IQA actuelles sont sous-dimensionnées par rapport aux capacités des modèles de restauration génératifs, nécessitant une évolution vers des métriques basées sur des modèles de langage multimodaux (VLM/LLM) pour une compréhension sémantique.

4. Résultats et Observations

• Corrélation faible : Les modèles génératifs (GANs et Diffusion) produisent des résultats visuellement supérieurs mais obtiennent souvent des scores PSNR/SSIM plus bas que les méthodes traditionnelles.
• Vulnérabilité aux manipulations : Des tests montrent que l'application de filtres de sur-accentuation (Unsharp Masking) ou l'absence de lissage anti-repliement augmente artificiellement les scores des métriques NR (MUSIQ, MANIQA), même si l'image devient moins naturelle pour un humain.
• Préférences contextuelles : Une étude comparative entre SUPIR (Diffusion) et HAT montre que la préférence utilisateur varie radicalement selon le scénario (ex: HAT est préféré pour les dessins animés, SUPIR pour les photos réalistes). Une moyenne globale masque ces nuances critiques.
• Échec de la sémantique : Les métriques actuelles ne peuvent pas distinguer un flou intentionnel (profondeur de champ) d'une dégradation, conduisant souvent à des restaurations qui détruisent la logique visuelle de l'image.

5. Signification et Implications

• Pour la recherche : Le papier met en garde contre le risque de stériliser l'innovation en forçant les chercheurs à optimiser des métriques qui ne reflètent pas la réalité. Il encourage l'exploration de directions qui satisfont des besoins utilisateurs hétérogènes, même si cela se fait au détriment des scores de benchmarks.
• Pour l'évaluation future : Il est impératif de développer des protocoles d'évaluation humains scalables, reproductibles et structurés. Les métriques doivent évoluer pour intégrer la compréhension sémantique (via des modèles VLM/LLM) et fournir des retours explicables plutôt que des scores uniques.
• Pour l'industrie : Les systèmes de production doivent cesser de s'appuyer uniquement sur des métriques objectives pour le déploiement et doivent intégrer des boucles de rétroaction humaines pour garantir la qualité perçue et la sécurité (surtout dans des domaines comme l'imagerie médicale où la fidélité physique prime sur l'esthétique).

En conclusion, l'article affirme que l'ère de la restauration d'images génératives exige une refonte fondamentale de la manière dont nous mesurons le succès : passer d'une course aux scores numériques à une évaluation holistique, humaine et contextuelle.