DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

Résumé Technique : DPC-VQA

Énoncé du Problème
Les modèles de langage de grande taille multimodaux (MLLM) ont démontré des capacités prometteuses dans l'évaluation de la qualité vidéo (VQA), pourtant leur déploiement pratique se heurte à des obstacles importants. L'adaptation de ces modèles à grande échelle à de nouveaux domaines vidéo ou à de nouveaux protocoles de notation nécessite généralement un réentraînement complet coûteux et des annotations de score d'opinion moyen (MOS) à grande échelle, qui sont coûteuses à collecter en raison de la nécessité d'évaluations subjectives humaines répétées. Les méthodes actuelles de VQA basées sur les MLLM peinent souvent à l'adaptation inter-jeux de données, car elles nécessitent soit un ajustement spécifique au scénario, soit échouent à aligner leurs sorties avec les échelles MOS spécifiques des benchmarks cibles. De plus, les approches de VQA à peu d'exemples (few-shot) actuelles entremêlent souvent l'apprentissage de la représentation et le calibrage spécifique aux jeux de données, limitant ainsi l'efficacité de leur généralisation.

Méthodologie : DPC-VQA
Les auteurs proposent DPC-VQA (Decoupling Perception and Calibration for Video Quality Assessment), un cadre qui sépare la tâche de perception de la qualité du calibrage du score. L'hypothèse centrale est qu'un MLLM pré-entraîné encode déjà un a priori perceptuel générique utile ; le défi ne réside pas dans le réapprentissage de la perception de la qualité, mais dans le calibrage efficace de cet a priori vers l'espace MOS cible.

Le cadre se compose de deux composants principaux :

1. Perception de la Qualité Gelée (A Priori de Base) :

   • Un MLLM gelé (spécifiquement Qwen3-VL-8B dans les expériences) traite les images vidéo d'entrée aux côtés d'un prompt de qualité fixe.
   • Le modèle produit un score de qualité de base ($q_b$) dérivé d'une distribution de « verbalisateur de qualité » (par exemple, mappant des jetons comme « mauvais », « médiocre », « passable », « bon », « excellent » à des ancres scalaires).
   • Le modèle produit également un score de confiance ($u_b$) basé sur l'entropie de la distribution du verbalisateur et les états cachés visuels de la dernière couche ($H_{vis}$).
   • Crucialement, les paramètres du MLLM restent gelés pendant l'entraînement, préservant ainsi la connaissance perceptive pré-entraînée.

2. Calibrage Résiduel Léger :

   • Une branche entraînable prédit une correction résiduelle ($\Delta$) pour ajuster le score de base vers l'espace MOS cible.
   • Caractéristiques d'Entrée : La branche de calibrage utilise les jetons visuels gelés ($H_{vis}$), des caractéristiques vidéo auxiliaires ($H_{aux}$) extraites d'un encodeur pré-entraîné distinct (SlowFast), le score de base ($q_b$), et le score de confiance ($u_b$).
   • Mécanisme :
     • Les caractéristiques sont projetées dans un espace latent partagé et concaténées en une banque de jetons augmentée.
     • Des requêtes de calibrage apprenables effectuent une attention croisée sur cette banque de jetons pour extraire des jetons sensibles au calibrage.
     • Ces jetons sont modulés par la condition de base ($q_b, u_b$) via un redimensionnement et un décalage par caractéristique (feature-wise rescaling and shifting).
     • Chaque jeton modulé prédit une proposition de résidu locale (magnitude et direction), qui sont ensuite agrégées via une pondération par importance pour produire le résidu final $\Delta$.
   • Prédiction Finale : Le score prédit est $\hat{y} = q_b + \Delta$.

Objectif d'Entraînement
L'entraînement est restreint à la branche de calibrage légère. La fonction d'objectif combine :

• Perte Smooth L1 : Supervisant la prédiction finale par rapport au MOS de vérité terrain.
• Régularisation du Résidu : Un terme pénalisant la magnitude du résidu ($\sum |\Delta|$) pour garantir que la correction reste un ajustement borné plutôt qu'une ré-estimation complète, stabilisant ainsi l'entraînement et préservant l'a priori.

Principales Contributions

1. Cadre Découplé : La proposition de DPC-VQA, qui découple la perception de la qualité (MLLM gelé) du calibrage du score (branche légère), évitant ainsi un réentraînement complet coûteux.
2. Mécanisme de Calibrage Résiduel : Une stratégie novatrice d'estimation de résidu borné par jeton et d'agrégation adaptative qui conditionne les corrections sur le score de base et la confiance, permettant un ajustement fin.
3. Efficacité : La méthode utilise moins de 2 % des paramètres entraînables par rapport aux méthodes de VQA basées sur les MLLM à ajustement complet et reste efficace avec seulement 20 % des étiquettes MOS.

Résultats Expérimentaux
Les auteurs ont évalué DPC-VQA sur cinq benchmarks : trois jeux de données de contenu généré par l'utilisateur (UGC) (KoNViD-1k, YouTube-UGC, LIVE-VQC) et deux jeux de données de contenu généré par IA (AIGC) (T2VQA, Human-AGVQA).

• Performance Few-Shot : Sous une division few-shot en 5 parties (utilisant seulement 20 % des données pour l'entraînement), DPC-VQA a obtenu les meilleures performances parmi tous les baselines few-shot sur les cinq jeux de données.
  • Sur les jeux de données UGC, il a surpassé le meilleur baseline few-shot avec des gains de SRCC de 0,032, 0,036 et 0,026.
  • Sur les jeux de données AIGC, il a montré des améliorations significatives par rapport aux baselines few-shot (gains de SRCC de 0,106 et 0,114), restant compétitif avec les méthodes supervisées dédiées à l'AIGC malgré l'utilisation de données minimales.
• Études d'Ablation :
  • Résidu vs Régression Directe : La formulation résiduelle a surpassé la régression directe et la régression conditionnée par le score, confirmant qu'apprendre une correction est plus efficace que de réapprendre le score.
  • Sources d'Information : La combinaison des jetons MLLM gelés, des caractéristiques auxiliaires, du score de base et de la confiance a donné les meilleurs résultats, le MLLM gelé servant de base perceptuelle primaire.
  • Agrégation de Requêtes : Les requêtes de calibrage apprenables ont surpassé le pooling moyen et l'agrégation par auto-attention.
• Efficacité des Données : La méthode a maintenu une performance supérieure même avec des ratios d'entraînement aussi bas que 10–20 %, démontrant une forte robustesse dans les régimes de faibles données.
• Efficacité des Paramètres : Le nombre de paramètres entraînables était d'environ 155M (1,9 % du modèle complet de 8,2B), réduisant considérablement les coûts d'optimisation.

Signification et Revendications
L'article affirme que le principal goulot d'étranglement pour l'adaptation des MLLM à la VQA n'est pas le manque de capacité perceptive du modèle pré-entraîné, mais la difficulté d'aligner sa sortie avec les protocoles de notation cibles spécifiques. En traitant le MLLM comme un a priori perceptuel fixe et en formulant l'adaptation comme une tâche de calibrage résiduel légère, DPC-VQA offre une voie plus pratique et évolutive pour le déploiement de la VQA. Les auteurs soutiennent que cette approche déplace l'attention du réapprentissage spécifique au scénario vers un calibrage efficace, rendant la VQA de haute qualité réalisable dans des scénarios où les annotations MOS sont rares ou coûteuses. Les résultats suggèrent que les futurs systèmes de VQA peuvent bénéficier de l'exploitation d'a priori perceptuels gelés plutôt que de compter uniquement sur l'entraînement de bout en bout pour chaque nouveau domaine.