Résumé Technique : Fusion de Scores d'Évaluation de la Qualité d'Image Non Supervisée par Estimation MAP Profonde

Énoncé du Problème

Les modèles d'Évaluation de la Qualité d'Image (IQA) ont considérablement progressé dans la prédiction de la qualité perceptive, pourtant les modèles individuels présentent souvent des biais envers des contenus d'image spécifiques ou des types de distorsion particuliers, en raison de leurs philosophies de conception distinctes. Bien que la fusion de plusieurs modèles IQA soit une stratégie intuitive pour exploiter les forces et atténuer les faiblesses, les approches existantes font face à des limitations :

• Les méthodes empiriques reposent sur des formules conçues à la main avec des poids prédéterminés, limitant l'adaptabilité aux nouveaux modèles.
• Les méthodes de fusion de rangs opèrent dans des espaces discrets, entraînant une perte d'information et une dépendance à la diversité des jeux de données.
• La fusion basée sur l'apprentissage supervisé repose sur les Scores d'Opinion Moyenne (MOS) comme vérité terrain. Les auteurs soutiennent que cela compromet fondamentalement l'objectif de généralisabilité, car le MOS est intrinsèquement lié à des jeux de données et des types de distorsion spécifiques, réintroduisant ainsi les biais mêmes que la fusion vise à éviter.

Le défi central abordé est la fusion de scores IQA non supervisée : comment combiner plusieurs scores IQA en une prédiction supérieure sans utiliser le MOS comme cible d'apprentissage, tout en estimant avec précision l'incertitude de la prédiction de chaque modèle à un niveau granulaire fin.

Méthodologie

L'article propose un cadre général pour la fusion de scores non supervisée basé sur l'estimation du Maximum A Posteriori (MAP) profonde. L'approche modélise la relation entre la qualité perceptive latente (MOS, notée $z$) et les scores générés par $M$ modèles IQA différents ($x^j$).

1. Modèle d'Observation

Le cadre suppose qu'un score IQA $x^j_i$ pour l'image $i$ est généré par une fonction déterministe de la qualité latente $z_i$ plus deux composantes de bruit indépendantes :
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$ : Une fonction paramétrique (implémentée comme une fonction exponentielle) simulant la mapping de la qualité latente vers le score du modèle spécifique.
• $\hat{n}^j$ : Un bruit dépendant du modèle suivant une distribution normale de moyenne nulle.
• $n^j_i$ : Un bruit dépendant du score suivant une distribution Normale Asymétrique ($SN$). Il s'agit d'une innovation critique, car les observations empiriques montrent que les modèles IQA présentent une variance plus élevée et des distributions d'erreur asymétriques (biaisées vers les scores inférieurs) lors de l'évaluation d'images de moindre qualité. Le paramètre d'échelle de ce bruit est estimé par une fonction $g^j(z_i)$, permettant une estimation d'incertitude granulaire fine, au niveau du score.

2. Formulation MAP et Optimisation

L'objectif est de trouver la qualité latente $z$ et les paramètres du modèle qui maximisent la probabilité a posteriori $p(z|X)$. La fonction de vraisemblance $p(x^j_i|z_i)$ est dérivée comme une distribution Normale Asymétrique. Le problème d'optimisation est formulé comme suit :
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• A priori $p(z)$ : Défini comme une distribution uniforme $U(0,1)$ pour régulariser la plage de sortie sans imposer de biais spécifiques au jeu de données, assurant ainsi la généralisabilité.
• Inférence Amortie : Pour éviter une optimisation itérative pour chaque nouvelle image (ce qui est lent et gourmand en données), un encodeur (un Réseau de Neurones Fully Connected) est introduit. Cet encodeur mappe directement les scores d'entrée vers la qualité latente $z_i$, permettant une inférence rapide et de bout en bout.

3. Intégration de la Fusion de Rangs

Le cadre intègre de manière transparente la fusion de rangs en normalisant les rangs discrets dans l'espace continu. Cela permet de traiter les méthodes basées sur les rangs comme une instance spéciale du cadre MAP général, optimisant dans un espace continu plutôt que dans un espace discret computationnellement intensif.

Contributions Clés

1. Première Fusion Basée sur l'Apprentissage Non Supervisé : À la connaissance des auteurs, il s'agit de la première approche fusionnant des scores IQA en utilisant l'apprentissage non supervisé, évitant ainsi la dépendance au MOS pour l'entraînement.
2. Modèle d'Observation Formalisé : L'article formalise le premier modèle d'observation pour la fusion IQA, utilisant l'estimation MAP avec des distributions Normales Asymétriques pour capturer le bruit asymétrique et dépendant du score.
3. Estimation d'Incertitude Granulaire Fine : Contrairement aux méthodes précédentes qui estiment l'incertitude uniquement au niveau du modèle, ce cadre estime l'incertitude au niveau du score. Cela permet au modèle de pondérer dynamiquement la fiabilité de prédictions spécifiques en fonction de la qualité prédite.
4. Robustesse aux Modèles "Mauvais" : Le cadre démontre une capacité inhérente à identifier et à sous-peser les modèles IQA "mauvais" ou aléatoires lors du processus de fusion, sans connaissance préalable.
5. Cadre Unifié : Il fournit une structure générale capable d'intégrer à la fois des méthodes de fusion basées sur les scores et des méthodes basées sur les rangs.

Résultats Expérimentaux

Le modèle proposé a été évalué sur dix jeux de données IQA subjectivement notés et divers (incluant des scénarios de distorsion unique et multiple) en utilisant 16 métriques IQA individuelles (à la fois Références Complètes et Sans Référence).

• Performance : Trois variantes du modèle proposé (SF-ms, RF-ms, SF-m) ont systématiquement surpassé les méthodes de fusion empiriques existantes, les méthodes de fusion de rangs (RRF, RRFW) et tous les modèles IQA individuels en termes de coefficient de corrélation de rang de Spearman moyen (SRCC) et de coefficient de corrélation linéaire de Pearson (PLCC).
• Étude d'Ablation : La suppression de l'estimation d'incertitude au niveau du score (entraînant le modèle SF-m) a conduit à une baisse de performance, confirmant l'importance de la modélisation fine de l'incertitude.
• Test de Robustesse : Lorsque deux métriques "mauvaises" (générateurs de bruit aléatoire) ont été ajoutées à la liste de fusion :
  • Les méthodes non supervisées existantes (RRF, RRFW) ont subi une dégradation significative de la performance.
  • La méthode proposée a maintenu une performance compétitive. Le module d'estimation d'incertitude a correctement identifié la variance élevée (paramètre d'échelle) des métriques "mauvaises", amenant l'encodeur à leur attribuer des poids négligeables.

Signification et Revendications

L'article revendique que, en s'éloignant de l'apprentissage supervisé (limité par les biais spécifiques du MOS du jeu de données d'entraînement) et en adoptant un cadre probabiliste non supervisé MAP, il atteint une généralisabilité supérieure aux données invisibles. La signification clé réside dans la capacité à :

• Fusionner des modèles IQA divers sans exiger de notes subjectives de vérité terrain pour l'entraînement.
• S'adapter dynamiquement à la fiabilité de chaque modèle sur une base par score, rejetant efficacement les prédictions ou les modèles médiocres.
• Fournir un cadre unifié et explicable où les poids de l'encodeur peuvent être inspectés pour comprendre comment différents modèles contribuent à la prédiction finale.

Les auteurs positionnent ce travail comme une étape fondamentale vers un système IQA plus robuste et universel, qui exploite l'intelligence collective des modèles existants tout en atténuant leurs faiblesses individuelles grâce à une quantification rigoureuse de l'incertitude.