Résumé Technique : MR-IQA

Problématique

L'évaluation de la qualité d'image aveugle (Blind Image Quality Assessment - BIQ) vise à modéliser les jugements perceptuels humains sans image de référence. Les approches actuelles reposent principalement sur deux paradigmes d'apprentissage : la régression, qui calibre des scores de qualité absolus, et le classement (ranking), qui récupère les structures de qualité à partir de relations ordinales. Bien que des travaux récents, particulièrement ceux utilisant des modèles de langage de grande taille multimodaux (MLLM), emploient souvent une supervision conjointe par régression et classement pour améliorer les performances, la relation théorique entre ces deux paradigmes reste largement empirique. Les méthodes existantes équilibrent généralement ces objectifs via des poids de perte heuristiques ou des conceptions de récompenses plutôt que par un principe d'optimisation partagé. De plus, les méthodes basées sur la régression sont souvent sensibles aux ancres de scores spécifiques au jeu de données, tandis que les méthodes basées sur le classement peuvent échouer à capturer la distance relative continue entre les images, se concentrant uniquement sur la direction de préférence.

Méthodologie : MR-IQA

Les auteurs proposent MR-IQA, un cadre unifié qui réinterprète la régression et le classement à travers le prisme des marges de qualité.

1. Fondement Théorique : La Vue de la Marge Unifiée

Le papier démontre que la régression et le classement optimisent fondamentalement des distances relationnelles par paires (marges de qualité), définies par $\Delta\mu_{ij} = \mu_i - \mu_j$, où $\mu$ représente le score moyen d'opinion (Mean Opinion Score - MOS).

• Vue de la Régression : Il est démontré que la régression ponctuelle optimise les erreurs de marge ($\delta_{ij} = \Delta s_{ij} - \Delta\mu_{ij}$) couplées à un terme d'ancre de jeu de données ($\bar{s} - \bar{\mu}$). Le décalage de prédiction global dans la régression agit comme une ancre restrictive qui peut entraver la généralisation inter-jeux de données.
• Vue du Classement : Le classement de type Thurstone, qui modélise les probabilités de préférence $P_{ij}$, est mathématiquement équivalent à l'ajustement de marges transformées. La direction d'optimisation de la perte de classement basée sur la fidélité converge vers l'appariement des marges prédites ($\Delta s_{ij}$) avec les marges humaines ($\Delta\mu_{ij}$).
• Le Pont : Le papier prouve que la métrique standard de BIQA, le coefficient de corrélation linéaire de Pearson (PLCC), est théoriquement équivalente à la similitude cosinus entre le vecteur des marges prédites et le vecteur des marges humaines. Cela établit l'ajustement de marge (margin fitting) comme la cible d'optimisation partagée pour les deux paradigmes.

2. Algorithme : Apprentissage par Renforcement avec Récompenses de Marge

MR-IQA instancie cette théorie en tant qu'algorithme d'apprentissage par renforcement (RL) utilisant l'Optimisation de Politique Relative de Groupe (Group Relative Policy Optimization - GRPO).

• Échantillonnage : Pour un groupe de $N$ images, le modèle de politique échantillonne $K$ complétions de scores de qualité par image.
• Calcul de la Marge : Pour chaque complétion échantillonnée $s^{(k)}_i$, le modèle calcule la marge prédite par rapport à chaque autre image du groupe : $\Delta s^{(k)}_{ij} = s^{(k)}_i - \bar{s}_j$.
• Conception de la Récompense : Le modèle calcule une erreur de marge contrôlée par l'échelle $z^{(k)}_{ij}$ comparant la marge prédite à la marge de l'indice MOS de vérité terrain ($\Delta\mu_{ij}$). Deux options d'échelle sont explorées :
  • Brute (Raw) : $\tau_{ij} = 1$ (décalage absolu).
  • Normalisée par l'incertitude : $\tau_{ij} = \sqrt{\sigma_i^2 + \sigma_j^2}$ (relative à la variance inter-évaluateurs).
• Conversion de la Récompense : L'erreur est convertie en une récompense gaussienne ou de Laplace ($r_{margin}$). La récompense finale par image agrège les récompenses par paires à travers le groupe, normalisée par la moyenne et l'écart type du groupe pour calculer l'avantage pour les mises à jour de la politique.
• Entraînement : Le cadre est entraîné sur le jeu de données KonIQ-10k en utilisant des MLLM de la famille Qwen comme backbones, optimisant directement l'alignement des marges sans régression de score ponctuel explicite ni étiquettes de classement discrètes.

Contributions Clés

1. Unification Théorique : Le papier jette un pont entre la régression et le classement en identifiant la marge de qualité comme leur quantité sous-jacente commune. Il fournit une dérivation théorique montrant que les deux paradigmes sont essentiellement des optimisations orientées vers la marge, la régression incluant un terme d'ancre de jeu de données supplémentaire.
2. Cadre MR-IQA : Les auteurs instaurent cette intuition dans MR-IQA, un algorithme de RL contrôlé par l'échelle. Contra\text{à} les méthodes précédentes qui combinent des pertes de régression et de classement, MR-IQA optimise directement les erreurs de marge par paires comme récompenses de politique, modélisant explicitement la structure de qualité relationnelle continue.
3. Validation Empirique : À travers des expériences contrôlées sur six benchmarks de BIQA (incluant des jeux de données en distribution et hors distribution), MR-IQA démontre une performance générale compétitive. Il atteint les meilleurs scores moyens de PLCC et de SRCC parmi les méthodes basées sur le RL, surpassant à la fois les bases de régression pure et de classement pur dans des configurations équivalentes.

Résultats Expérimentaux

• Performance : Sur six benchmarks (KonIQ-10k, SPAQ, LIVE-Challenge, AGIQA-3K, KADID-10k, CSIQ), MR-IQA atteint un PLCC moyen de 0,831 et un SRCC de 0,810. Cela est comparable au modèle fort basé sur le SFT, DeQA (0,838/0,813), et surpasse significativement les autres méthodes basées sur le RL comme Q-Insight (régression) et VQ-R1 (classement).
• Études d'Ablation :
  • Fonction de Récompense : L'estimateur L2 avec l'échelle de marge brute ($\tau_{ij}=1$) a produit les meilleurs résultats. Étonnamment, la normalisation par la variance inter-évaluateurs humaine n'a pas systématiquement amélioré les performances, suggérant que la variance humaine n'est pas toujours une échelle fiable pour l'entraînement des modèles.
  • Stabilité du Backbone : Les gains de performance de MR-IQA par rapport aux bases de régression et de classement sont cohérents à travers différents backbones MLLM (Qwen3-VL-2B/4B et Qwen2.5-VL-7B), indiquant que la méthode n'est pas liée à l'échelle spécifique d'un modèle.
• Études de Cas : L'analyse qualitative montre que MR-IQA aligne plus robustement les preuves visuelles avec les marges MOS à travers les distributions par rapport aux bases, qui présentent souvent un surapprentissage perceptuel ou échouent à capturer précisément les distances relatives.

Signification et Revendications

Le papier affirme que MR-IQA fournit une nouvelle perspective théorique pour unifier la régression et le classement, allant au-delà des combinaisons empiriques pour proposer un principe d'optimisation partagé basé sur la structure de qualité.

• Base Théorique : Il offre un fondement pour comprendre la BIQA en montrant que le calibrage des scores et la comparaison ordinale sont unifiés par la structure de qualité relationnelle (marges).
• Principe de Conception : Le travail transforme la complémentarité empirique entre le calibrage de score et la comparaison ordinale en un principe d'optimisation explicite.
• Généralisabilité : Les auteurs suggèrent que cette vue basée sur la marge s'étend au-delà de la BIQA à d'autres tâches de qualité et de classement, telles que l'évaluation esthétique, l'évaluation de la qualité vidéo et le apprentissage de classement (learning-to-rank).
• Limites : Les auteurs notent modestement que la normalisation par la variance inter-évaluateurs n'a pas systématiquement aidé, et que la méthode nécessite une couverture de paires suffisante, ce qui peut être bruité sur de petits jeux de données. Ils notent également que les expériences actuelles se concentrent sur les MLLM de la famille Qwen.