Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos

Cet article présente Beyond8Bits, une vaste base de données subjective de vidéos HDR générées par les utilisateurs, ainsi que HDR-Q, le premier modèle de langage multimodal capable d'évaluer la qualité de ces vidéos grâce à un encodeur visuel adapté et à une optimisation par renforcement spécifique.

L'essentiel

Imaginez que vous êtes un critique de cinéma, mais au lieu de regarder des films classiques, vous devez évaluer la qualité de millions de vidéos prises par des gens ordinaires avec leurs téléphones. Le problème ? Ces vidéos sont de plus en plus en HDR (High Dynamic Range), une technologie qui offre des couleurs plus vives, des noirs plus profonds et des lumières plus éclatantes.

C'est comme passer d'une vieille télévision en noir et blanc à un écran de cinéma géant ultra-haute définition. Mais il y a un hic : les outils actuels pour juger la qualité de l'image sont comme des critiques qui n'ont vu que des films en noir et blanc. Ils ne comprennent pas les nouveaux défauts spécifiques au HDR (comme des zones trop sombres qui deviennent noires comme du charbon, ou des lumières qui "cassent" et deviennent blanches).

Voici comment les auteurs de cette recherche ont résolu le problème, expliqué simplement :

1. La Grande Bibliothèque de Vidéos (Beyond8Bits)

Pour entraîner un nouveau "critique", il faut d'abord lui montrer des milliers d'exemples. Les chercheurs ont créé Beyond8Bits, une immense bibliothèque de 44 000 vidéos HDR provenant de 6 800 sources différentes (gens filmant des chats, des couchers de soleil, des fêtes, etc.).

• L'analogie : Imaginez que vous voulez apprendre à un enfant à distinguer les vraies perles des fausses. Vous ne lui donnez pas une seule perle, mais un sac de 44 000 perles de toutes les tailles et couleurs, et vous demandez à 1,5 million de gens de dire lesquelles sont belles. C'est ce que les chercheurs ont fait avec des vidéos.

2. Le Nouveau Critique Intelligent (HDR-Q)

Ensuite, ils ont créé un robot nommé HDR-Q. Ce n'est pas un simple robot qui regarde des pixels, c'est un "Grand Modèle de Langage Multimodal" (MLLM). C'est un cerveau artificiel capable de voir l'image ET de lire des descriptions, un peu comme un critique de cinéma qui regarde le film tout en consultant son carnet de notes.

Mais ce robot avait un défaut : il avait tendance à ignorer les détails spéciaux du HDR et à se fier uniquement à ce qu'il savait déjà (comme si un critique disait "c'est beau" sans vraiment regarder l'image).

3. La Méthode d'Entraînement Magique (HAPO)

Pour corriger ce robot, les chercheurs ont inventé une méthode d'entraînement spéciale appelée HAPO. Voici comment ça marche avec une analogie culinaire :

• Le Chef et l'Apprenti : Imaginez que le robot est un apprenti chef.
• Le Défi : On lui donne deux plats identiques, mais l'un est cuisiné avec des ingrédients de luxe (le HDR) et l'autre avec des ingrédients basiques (le SDR).
• La Règle d'Or (Contraste) : On lui dit : "Si tu ne goûtes pas les ingrédients de luxe, tu ne peux pas dire que c'est un plat de luxe !" Le robot est forcé de faire attention aux nuances spécifiques du HDR (les reflets, les ombres) pour ne pas se tromper.
• Le Système de Récompense (Entropie) : Parfois, le robot essaie de tricher en donnant des réponses vagues et compliquées pour avoir l'air intelligent. La méthode HAPO le punit s'il est trop confus et le récompense s'il est précis et direct. C'est comme un professeur qui dit : "Arrête de bavarder, va droit au but !"

4. Le Résultat

Grâce à cette méthode, le robot HDR-Q est devenu le meilleur juge de qualité vidéo au monde pour ce type de contenu.

• Il ne se trompe plus sur les couleurs.
• Il détecte les défauts invisibles pour les autres.
• Il peut même expliquer pourquoi une vidéo est mauvaise (ex: "Les fleurs sont trop brillantes et perdent leurs détails"), comme un vrai humain.

En résumé :
Les chercheurs ont construit la plus grande bibliothèque de vidéos HDR au monde et ont entraîné un super-robot à les juger en le forçant à regarder les détails que les autres ignorent. C'est comme donner des lunettes de réalité augmentée à un critique de cinéma pour qu'il puisse enfin voir la vraie beauté (et les vrais défauts) des vidéos modernes.

Résumé technique

1. Problématique et Contexte

L'explosion du contenu généré par les utilisateurs (UGC) sur les plateformes sociales s'accompagne d'une adoption massive de la Haute Dynamique (HDR). Cependant, les systèmes actuels d'évaluation de la qualité vidéo (VQA) sont majoritairement conçus pour la plage dynamique standard (SDR).

Les vidéos HDR-UGC présentent des défis uniques que les modèles SDR ne peuvent pas gérer :

• Distorsions spécifiques : Écrasement des noirs (near-black crushing), écrêtage des hautes lumières (highlight clipping), banding (effet d'escalier dans les dégradés) et scintillement de l'exposition.
• Limites des données existantes : Les jeux de données HDR actuels sont soit trop petits, soit limités à du contenu professionnel généré (PGC), ne reflétant pas la diversité des conditions de capture, des appareils et des artefacts de compression du monde réel.
• Échec des modèles MLLM : Les modèles de langage multimodaux (MLLM) standards souffrent d'une "négligence de modalité" (modality neglect), où ils ignorent les indices visuels HDR au profit de priors textuels, car leurs encodeurs visuels sont pré-entraînés sur des données SDR.

2. Contributions Clés

A. Le Jeu de Données : Beyond8Bits

Les auteurs ont créé Beyond8Bits, le plus grand jeu de données subjectif pour l'évaluation de la qualité HDR-UGC à ce jour.

• Échelle : Environ 44 000 vidéos issues de 6 861 sources différentes.
• Annotations : Plus de 1,5 million de notes collectées via un crowdsourcing massif (Amazon Mechanical Turk).
• Diversité : Couverture de scènes variées (humaines, nature, faible luminosité), de conditions de capture non contrôlées et de paramètres de compression réalistes.
• Méthodologie : Seuls les travailleurs disposant d'écrans HDR vérifiés ont pu participer, garantissant une fidélité d'affichage et des notes de qualité (MOS) fiables.

B. Le Modèle : HDR-Q

Les auteurs proposent HDR-Q, le premier MLLM conçu spécifiquement pour l'évaluation de la qualité HDR-UGC. Il intègre deux innovations majeures :

1. Encodeur Visuel Sensible à l'HDR (HDR-aware Vision Encoder) :

   • Basé sur SigLIP-2, il est finetuné avec une supervision en dual-domaine.
   • Il apprend à séparer les représentations des images HDR et de leurs contreparties SDR (obtenues par tonemapping), tout en restant sémantiquement aligné. Cela permet au modèle de capturer les extrêmes de luminance et la fidélité du volume couleur sans perdre le contexte sémantique.

2. Optimisation de Politique Sensible à l'HDR (HAPO - HDR-Aware Policy Optimization) :

   • C'est un cadre d'apprentissage par renforcement (RL) basé sur GRPO (Group Relative Policy Optimization), enrichi pour forcer l'ancrage aux indices HDR.
   • KL Contrastif HDR–SDR : Maximise la divergence entre les politiques avec et sans tokens HDR, empêchant le modèle de s'appuyer uniquement sur le texte ou des indices SDR.
   • Régularisation d'Entropie Dual : Empêche l'inflation de l'entropie (réponses trop incertaines) tout en maintenant des distributions nettes.
   • Pondération par Haute Entropie (HEW) : Amplifie le signal d'apprentissage sur les tokens à haute entropie (étapes de raisonnement critiques pour identifier des distorsions complexes comme le banding), améliorant la précision des prédictions.
   • Récompense de Régression : Utilise une fonction de récompense gaussienne pour un calibrage fin des scores MOS.

3. Résultats Expérimentaux

Les évaluations ont été menées sur Beyond8Bits et sur des benchmarks publics (LIVE-HDR, SFV+HDR).

• Performance sur Beyond8Bits : HDR-Q atteint des performances State-of-the-Art (SOTA) avec un SRCC de 0,9206 et un PLCC de 0,9118, surpassant largement les modèles de vision par ordinateur classiques (comme HIDRO-VQA) et les MLLM de base (Qwen2.5-VL, Ovis2.5).
• Généralisation : Le modèle conserve une forte performance en zero-shot sur les jeux de données LIVE-HDR et SFV+HDR, démontrant sa capacité à généraliser au-delà des données d'entraînement.
• Analyse Qualitative : Contrairement aux modèles de base qui produisent des jugements erronés ou ignorent les artefacts HDR, HDR-Q génère des raisonnements concis et précis, identifiant correctement des problèmes comme le "blooming" des couleurs ou l'écrêtage des hautes lumières.
• Ablation : L'étude montre que chaque composant (Encodeur HDR, KL contrastif, HEW) est essentiel. Sans le KL contrastif, le modèle retombe dans la négligence de modalité ; sans HEW, le raisonnement devient moins efficace.

4. Signification et Impact

Ce travail comble un vide critique dans le domaine du traitement de l'image et de la vidéo :

1. Ressource Fondamentale : La libération de Beyond8Bits fournit la première base de données massive et diversifiée pour entraîner des modèles sur la réalité complexe du HDR-UGC.
2. Nouveau Paradigme de Modélisation : L'introduction de HDR-Q et de la méthode HAPO démontre que les MLLM peuvent être adaptés pour des tâches perceptuelles complexes en forçant l'ancrage aux modalités visuelles spécifiques (HDR) via des mécanismes d'apprentissage par renforcement avancés.
3. Applications Industrielles : Ces avancées sont cruciales pour les plateformes de streaming (YouTube, TikTok) afin d'optimiser automatiquement la qualité de diffusion, de détecter les artefacts de compression et d'améliorer l'expérience utilisateur pour le contenu HDR.

En résumé, cet article établit une nouvelle référence pour l'évaluation de la qualité vidéo HDR en combinant un jeu de données subjectif à grande échelle avec une architecture d'IA générative capable de raisonner sur les spécificités physiques et perceptuelles de la haute dynamique.