Scale Contrastive Learning with Selective Attentions for Blind Image Quality Assessment

1. Problématique et Contexte

L'évaluation de la qualité d'image aveugle (BIQA) vise à modéliser la capacité du système visuel humain à percevoir la qualité sans référence. Cependant, les algorithmes actuels échouent souvent à reproduire la nature hiérarchique de cette perception humaine, qui intègre naturellement des informations à multiples échelles.

Les auteurs identifient deux limitations fondamentales des approches multi-échelles existantes :

• Le problème des "illusions visuelles" (Visual Illusions) : Les méthodes traditionnelles supposent à tort que la qualité d'une région d'image est constante quelle que soit l'échelle. En réalité, une dégradation visible de près (ex: artefacts de compression) peut être imperceptible de loin, tandis qu'une distorsion globale (ex: surexposition) peut dominer à l'échelle globale mais passer inaperçue localement. La fusion naïve de ces caractéristiques crée des représentations trompeuses où les signaux de haute et basse qualité s'annulent mutuellement.
• Le problème de la "dilution de l'information" (Information Dilution) : Contrairement à la vision humaine qui filtre les informations redondantes, les modèles actuels traitent indistinctement toutes les informations inter-échelles. Cela noie les indicateurs de qualité critiques (souvent subtils) sous des contenus sémantiques redondants partagés entre les échelles, réduisant ainsi la sensibilité du modèle.

2. Méthodologie : Le Framework CSFIQA

Pour surmonter ces défis, les auteurs proposent CSFIQA (Contrast-Constrained Scale-Focused Image Quality Assessment), un cadre novateur reposant sur trois modules principaux intégrés dans une architecture basée sur des Transformers (CrossViT) :

A. Apprentissage Contrastif à l'Échelle (Scale Contrastive Learning - SCL)

Ce module vise à résoudre le problème des "illusions visuelles" en apprenant explicitement à distinguer les variations de qualité à différents niveaux :

• Apprentissage Inter et Intra-échelle : Le modèle apprend à aligner les représentations d'images de qualité similaire à travers différentes échelles tout en éloignant celles de qualité différente.
• Appariement d'Échantillons de Bruit (Noise Sample Matching - NSM) : Un mécanisme adaptatif qui identifie les régions au sein d'une même image où les informations de qualité sont incohérentes entre les échelles (ex: une zone nette en gros plan mais floue en vue d'ensemble). Le NSM force le modèle à maximiser la distance entre ces représentations contradictoires, évitant ainsi le lissage erroné des scores.

B. Attention Sélective (Selective Focus Attention - SFA)

Ce module adresse la "dilution de l'information" en imitant l'attention visuelle humaine :

• Sélecteur de Filtrage Adaptatif (Adaptive Filtering Selector - AFS) : Au lieu d'utiliser toute la matrice d'attention, ce mécanisme applique une stratégie de filtrage "top-k" adaptative. Il conserve uniquement les paires clé-valeur les plus pertinentes (déterminées par un paramètre $k$ appris dynamiquement dans une plage $[\alpha, \beta]$) et masque les autres, éliminant ainsi le bruit sémantique redondant.
• Concentrateur d'Information (Information Concentrator - ICM) : Les caractéristiques filtrées sont ensuite affinées en utilisant un grand modèle de langage (LLM) figé (Llama-7B). Ce module agit comme un amplificateur de connaissances a priori, se concentrant sur les détails essentiels liés à la qualité.

C. Fonction de Perte

Le modèle est optimisé via une fonction de perte combinée :
$$L = \sum_I (\| \hat{Y} - Y \|_1 + \lambda (L_{scale} + L_{noise}))$$
Où $L_{scale}$ est la perte contrastive (InfoNCE) et $L_{noise}$ est la perte issue du mécanisme NSM, le tout régulé par un paramètre $\lambda$.

3. Contributions Clés

1. Identification des limites des approches multi-échelles : Démonstration empirique que l'ignorance des variations de perception selon l'échelle conduit à des "illusions visuelles" et à une dilution des signaux de qualité.
2. Mécanisme NSM : Une approche innovante pour traiter les incohérences de qualité au sein d'une même image à différentes échelles, empêchant le modèle de moyenner incorrectement les scores.
3. Module SFA avec LLM figé : L'intégration d'un LLM figé comme concentrateur d'information après un filtrage adaptatif permet d'amplifier les détails critiques tout en réduisant la redondance computationnelle et sémantique.
4. Performance supérieure : CSFIQA établit un nouvel état de l'art (SOTA) sur plusieurs benchmarks.

4. Résultats Expérimentaux

Les expériences ont été menées sur 7 ensembles de données (LIVE, CSIQ, TID2013, LIVEC, KonIQ, LIVEFB, SPAQ), couvrant à la fois des distorsions synthétiques et authentiques.

• Performance Globale : CSFIQA surpasse systématiquement les méthodes de l'état de l'art (y compris DEIQT, LoDa, HyperIQA) sur 6 des 7 ensembles de données.
• Améliorations Majeures :
  • Gain de 8,8 % en coefficient de corrélation de rang de Spearman (SRCC) sur l'ensemble de données difficile LIVEFB (distorsions réelles complexes).
  • Gain de 1,6 % sur LIVEC.
• Généralisation : Lors de tests de validation croisée (entraînement sur un jeu, test sur un autre), CSFIQA démontre une capacité de généralisation supérieure, confirmant sa robustesse face à des contenus et des distorsions non vus.
• Analyse Qualitative : Les cartes d'activation (Grad-CAM) montrent que CSFIQA se concentre précisément sur les régions distordues, contrairement aux modèles de base qui sont distraits par le contenu sémantique (illusions visuelles).
• Efficacité : Malgré un nombre de paramètres total plus élevé (dû au LLM figé), le nombre de paramètres entraînables reste faible (31M). Le mécanisme de filtrage AFS réduit considérablement le temps d'entraînement par rapport à une version sans filtrage.

5. Signification et Impact

Cet article marque une avancée significative dans le domaine de l'IQA aveugle en reconnaissant et en modélisant explicitement la nature multi-échelle de la perception humaine. En passant d'une approche de fusion naïve à une approche de sélection contrastive, CSFIQA résout le problème fondamental de l'incohérence des jugements de qualité selon la distance d'observation.

L'utilisation stratégique d'un LLM figé pour concentrer l'information, couplée à un apprentissage contrastif adaptatif, offre une nouvelle voie pour concevoir des modèles d'évaluation de qualité plus alignés avec la perception humaine, particulièrement cruciale pour les applications de restauration d'images, de compression et de génération de contenu dans des environnements réels complexes.