PreResQ-R1: Response-Preference Disentangled Ranking-and-Scoring Reinforcement Optimization for Robust Visual Quality Assessment

Lorsque nous regardons une photographie ou une vidéo, notre cerveau juge instantanément sa qualité. Nous remarquons si les couleurs sont ternes, si les contours sont flous ou si l'image semble granuleuse. Ce jugement instinctif est ce que les chercheurs appellent l'évaluation de la qualité visuelle. Pendant des décennies, les ordinateurs ont lutté pour reproduire cette capacité humaine. Les premières tentatives reposaient sur des formules mathématiques rigides qui mesuraient les erreurs de pixels, mais celles-ci échouaient souvent à correspondre à la façon dont les gens perçoivent réellement la beauté et la clarté. Plus récemment, de puissants modèles d'intelligence artificielle connus sous le nom de grands modèles multimodaux ont été entraînés pour regarder des images et les décrire. Cependant, lorsque ces modèles sont sollicités pour attribuer un score de qualité spécifique, ils deviennent souvent incohérents. Si vous demandez au même modèle de noter la même image deux fois, il peut donner deux nombres très différents, ou son raisonnement peut contredire son score final. Cette instabilité rend difficile la confiance envers ces systèmes pour des applications réelles, allant de l'amélioration des caméras de smartphones à la garantie de la qualité des vidéos en streaming.

Une équipe de chercheurs de l'Université Jiao Tong de Shanghai a développé une nouvelle approche pour résoudre ce problème, créant un système qu'ils appellent PreResQ-R1. Au lieu de forcer l'intelligence artificielle à simplement deviner un nombre ou à suivre aveuglément un classement, ils ont appris au modèle à séparer deux tâches distinctes : stabiliser son propre raisonnement et aligner ses préférences sur le jugement humain. Les chercheurs ont découvert que l'instabilité des systèmes précédents provenait de la tendance du modèle à générer des explications radicalement différentes pour une même image. Pour résoudre cela, ils ont conçu un processus d'entraînement qui récompense le modèle pour sa cohérence dans sa logique interne tout en s'assurant que ses scores finaux correspondent à ce qu'un humain dirait probablement. Le système décompose l'évaluation d'une image en cinq parties spécifiques : la vivacité des couleurs, la présence de bruit ou de grain, la netteté des détails, la clarté du sujet principal et la clarté de l'arrière-plan. En évaluant ces cinq aspects individuellement avant de les combiner, le modèle apprend à construire une image plus fiable et détaillée de la qualité.

Les chercheurs ont testé cette nouvelle méthode sur une grande variété d'images et de vidéos, incluant celles présentant des distorsions naturelles comme le flou ou la faible luminosité, ainsi que celles créées par d'autres outils d'intelligence artificielle. Ils ont constaté que leur système surpassait de manière significative les méthodes existantes. Sur des tests impliquant des images fixes, le nouveau modèle a amélioré la précision de 5,60 % par rapport aux meilleures approches précédentes. Pour la qualité vidéo, où le défi est encore plus grand car le système doit juger le mouvement et le temps, il a amélioré la précision de 2,53 %. Crucialement, le modèle ne produisait pas seulement de meilleurs chiffres ; il produisait de meilleures explications. Face à une photo de paysage floue, le modèle identifiait correctement que les feuilles manquaient de mise au point et que l'arrière-plan manquait de détails, plutôt que de donner un commentaire vague sur le fait que l'image était « mauvaise ». Cette capacité à fournir une raison structurée et fondée sur des preuves pour son score rend le système bien plus digne de confiance.

Le succès de ce travail repose sur une stratégie d'entraînement en deux étapes qui imite un processus d'apprentissage. D'abord, le modèle est encouragé à explorer de nombreuses façons différentes de regarder une image, générant une large gamme de scores et de raisons possibles. Durant cette phase, le système pénalise les réponses trop dispersées ou incohérentes, guidant doucement le modèle vers une manière de penser stable. Une fois que le modèle a trouvé un rythme interne fiable, la seconde étape se concentre sur l'ajustement de ses préférences. Ici, le système compare ses jugements aux évaluations humaines, apprenant à ajuster ses scores afin qu'ils s'alignent sur la perception humaine. Cette séparation entre « penser clairement » et « noter correctement » permet au modèle de gérer des cas difficiles où la qualité de l'image est subjective ou les distorsions complexes. Les chercheurs ont également étendu cette méthode à la vidéo en analysant à la fois le flux de mouvement au fil du temps et les détails au sein des cadres individuels, sans avoir besoin de reconstruire chaque mouvement de la vidéo.

Les implications de cette recherche vont au-delà de la simple obtention d'un meilleur score. En créant un système capable d'expliquer son raisonnement d'une manière qui correspond à la perception humaine, cette technologie ouvre la porte à des applications plus robustes dans les médias numériques. Elle suggère que la clé pour faire comprendre la qualité visuelle à l'intelligence artificielle n'est pas seulement de lui fournir plus de données, mais de lui apprendre à être cohérente dans son propre raisonnement avant de lui demander de rendre un jugement final. L'étude démontre que lorsqu'un modèle est entraîné à stabiliser sa logique interne puis à aligner cette logique avec la préférence humaine, il peut atteindre un niveau de fiabilité qui était auparavant hors de portée. Cette approche offre une voie prometteuse pour le développement d'outils capables d'améliorer automatiquement les images, de gérer le contenu vidéo et de garantir que ce que nous voyons sur nos écrans reflète véritablement la qualité que nous attendons.