Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

Imaginez que vous soyez un juge dans un concours de talents, mais qu'au lieu de regarder des chanteurs ou des danseurs, vous jugiez la qualité de photographies. Votre travail est de regarder une image et de décider : « Est-elle floue ? La couleur est-elle bizarre ? Est-ce juste une mauvaise photo ? » C'est le monde de l'Évaluation de la Qualité d'Image (IQA - Image Quality Assessment). Pendant longtemps, les ordinateurs ont eu du mal avec cela car ils n'avaient pas d'« yeux » comme les humains. Ils devaient être enseignés pour comprendre ce qu'est une « bonne » photo.

Par le passé, les scientifiques ont essayé d'enseigner aux ordinateurs en leur montrant des millions de photos et en leur demandant : « À quel point aimes-tu celle-ci ? » Les réponses sont appelées « Scores d'Opinion Moyenne » (MOS), qui sont essentiellement des évaluations moyennes données par de vraies personnes. Mais voici le problème : les ordinateurs sont capricieux. Si vous entraînez un ordinateur à juger de petites photos à basse résolution (comme celles que l'on voit sur un écran de téléphone), il risque de s'embrouiller lorsqu'on lui présente une photo géante en ultra-haute définition provenant d'un appareil professionnel. C'est comme apprendre à un enfant à reconnaître un chien en utilisant seulement des jouets en plastique représentant des chiens ; quand il verra un vrai chien géant, il ne saura plus quoi faire. De plus, examiner chaque pixel d'une photo massive demande une puissance de calcul énorme, c'est comme essayer de lire chaque mot d'une bibliothèque pour trouver une seule faute de frappe. La grande question que les scientifiques tentent de résoudre est la suivante : Comment construire un juge informatique capable de travailler sur des photos de n'importe quelle taille, de remarquer les détails infimes, et de ne pas avoir besoin d'un supercalculateur pour accomplir sa tâche ?

Entrez en scène ReLIQS, un nouveau modèle introduit par les chercheurs Hakan Emre Gedik, Shashank Gupta et Alan Bovik. Considérez ReLIQS non pas comme un robot qui fixe une image entière d'un seul regard, mais comme un détective ingénieux muni d'une loupe et d'une carte.

Le problème de l'approche « Taille unique »

La plupart des modèles de vision par ordinateur précédents fonctionnent comme un photographe qui force chaque photo à entrer dans un petit cadre carré avant de l'examiner. Si vous avez une photo géante en ultra-haute résolution, l'ordinateur l'écrase pour la réduire à une petite taille afin qu'elle puisse entrer. Le problème ? Lorsque vous écrasez une photo, vous perdez les détails minuscules et importants — le grain du bruit, la netteté des bords, la texture du tissu. C'est comme essayer de juger la qualité d'une chemise en soie en regardant une vignette floue et pixélisée de celle-ci. Vous pourriez manquer le fait que le tissu est en réalité déchiré.

D'autres modèles tentent de conserver la taille originale, mais ils sont submergés. Examiner une image massive pixel par pixel est si coûteux et lent que c'est pratiquement impossible pour une utilisation réelle. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin en vérifiant chaque brin de paille un par un.

Comment ReLIQS résout le problème : Le « Détective Intelligent »

ReLIQS change la donne en utilisant une stratégie appelée Apprentissage agnostique à la résolution (Resolution-agnostic Learning). Au lieu d'écraser toute la photo ou de vérifier chaque pixel, il utilise un processus de « détective » en trois étapes :

1. La Carte Multi-échelle : Imaginez que vous avez une photo. ReLIQS ne se contente pas de la regarder une seule fois. Il crée quelques copies de la photo : une à la taille géante originale, une un peu réduite, et une autre encore plus réduite. C'est comme regarder la carte d'une ville depuis l'espace, depuis un avion, et depuis le niveau de la rue. Chaque vue vous apporte quelque chose de différent. La « vue au niveau de la rue » (taille originale) vous montre les petites fissures et les rayures. La « vue de l'espace » (taille réduite) vous montre la disposition générale et les couleurs.

2. Le Radar « Où Regarder » : C'est la partie la plus créative. ReLIX possède un module d'aide spécial (appelé Estimateur d'Importance Perceptive) qui agit comme une carte de chaleur. Il scanne la photo et demande : « Où les humains sont-ils les plus susceptibles de remarquer une erreur ? » Il apprend que les gens accordent plus d'importance au visage dans un portrait qu'aux arbres en arrière-plan, ou qu'un ciel flou est agaçant mais qu'un coin flou peut être acceptable. Ce module dessine une carte d'« importance ». C'est comme un projecteur qui éclaire uniquement les parties de la photo qui comptent réellement pour la qualité.

3. L'Échantillonnage Intelligent : Au lieu de vérifier chaque zone de la photo, ReLIQS utilise ce projecteur pour choisir uniquement les zones les plus importantes. Si la photo est immense, il ne vérifiera peut-être que les 48 zones les plus intéressantes au lieu de milliers. C'est comme un critique gastronomique qui ne goûte que les bouchées les plus critiques d'un repas pour décider s'il est bon, plutôt que de manger toute l'assiette. Cela économise une quantité massive de puissance de calcul.

Une fois qu'il a choisi ces zones intelligentes, il utilise un cerveau pré-entraîné puissant (basé sur un modèle appelé CLIP) pour les analyser. Il combine ensuite tous ces petits indices en un score unique, vous indiquant exactement la qualité de l'image.

Ce qu'ils ont découvert

Les chercheurs ont testé ReLIQS sur une grande variété de photos : des clichés du monde réel, des images générées par ordinateur et des photos avec des distorsions artificielles. Ils l'ont comparé aux meilleurs modèles existants, y compris certains utilisant de gigantesques « Grands Modèles de Langage » (IA capables de parler et de voir).

• Il fonctionne sur n'importe quelle taille : ReLIQS a géré tout, des petites photos de téléphone aux images massives en Ultra-Haute Définition (UHD) sans s'embrouiller. Alors que d'autres modèles peinaient ou échouaient lorsque la taille de l'image changeait, ReLIQS a gardé son sang-froid.
• Il est rapide et peu coûteux : En ne regardant que les zones « importantes », ReLIQS a pu réduire ses coûts de calcul jusqu'à 90 % sans perdre en précision. Lors de tests sur des images en ultra-haute résolution, il a été plus performant que les modèles spécifiquement conçus pour ces images, mais avec beaucoup moins de puissance de calcul.
• Il apprend de sources multiples : Le modèle a été entraîné sur de nombreux ensembles de données (collections de photos avec des évaluations humaines). Habituellement, mélanger ces ensembles est difficile car les gens évaluent les choses différemment. ReLIQS a trouvé un moyen d'apprendre de tous ces ensembles à la fois, devenant ainsi un juge plus polyvalent.

Le Verdict

L'article suggère que ReLIQS est une étape importante en avant car il résout le « problème de la résolution » sans nécessiter de supercalculateur. Il prouve qu'il n'est pas nécessaire de tout regarder pour juger de la qualité ; il suffit de savoir où regarder et comment juger ce que l'on voit là.

Bien que le modèle ait été incroyablement performant, les auteurs notent qu'il reste légèrement en retrait par rapport à certains autres modèles sur un type spécifique d'image générée par IA (AGIQA-3K). Cela suggère que, bien que ReLIQS soit un maître pour juger les images réelles et les distorsions standards, il pourrait avoir besoin d'un peu plus d'entraînement pour comprendre les particularités uniques des images créées entièrement par l'IA.

En résumé, ReLIQS est comme un critique d'art hautement qualifié qui n'a pas besoin de fixer un tableau pendant des heures ou de plisser les yeux devant une minuscule vignette. Il sait exactement où regarder, il comprend le contexte, et il peut donner une évaluation parfaite en un clin d'œil. Cette approche pourrait rendre l'analyse d'images de haute qualité possible sur des appareils du quotidien, de votre téléphone à votre caméra intelligente, sans avoir besoin d'un centre de données massif en arrière-plan.