DEFNet: Multitasks-based Deep Evidential Fusion Network for Blind Image Quality Assessment

Ce papier propose DEFNet, un réseau de fusion profonde basé sur l'apprentissage par preuves et l'optimisation multitâche, conçu pour améliorer l'évaluation de la qualité d'image aveugle grâce à une fusion d'informations fiablee et une estimation robuste de l'incertitude.

L'essentiel

Imaginez que vous êtes un critique de cinéma, mais au lieu de regarder des films, vous devez évaluer la qualité de milliers de photos. Le problème ? Vous n'avez pas le film original (la photo parfaite) pour comparer. Vous devez juger la photo "à l'aveugle". C'est ce qu'on appelle l'Évaluation de la Qualité d'Image sans Référence (ou BIQA).

Jusqu'à présent, les ordinateurs essayaient de faire ce travail en regardant uniquement la photo finale. Mais c'est comme essayer de deviner si un gâteau est bon en regardant seulement la surface, sans savoir si la pâte était bien mélangée ou si le four était à la bonne température.

Voici comment les auteurs de cette nouvelle méthode, DEFNet, ont révolutionné le jeu, expliquée simplement :

1. Le Problème : Le Critique Solitaire

Les anciennes méthodes d'intelligence artificielle regardaient la photo et donnaient une note. Mais elles avaient deux gros défauts :

• Elles étaient trop "bêtes" : Elles ne comprenaient pas le contexte. Une photo floue d'un paysage de nuit est normale (c'est peut-être juste une photo de nuit), mais une photo floue d'un document administratif est catastrophique. Les anciens modèles ne faisaient pas la différence.
• Elles étaient trop confiantes : Même quand elles se trompaient, elles étaient sûres d'elles. C'est comme un critique qui dit "C'est un chef-d'œuvre !" alors que le gâteau est brûlé.

2. La Solution : L'Équipe d'Experts (DEFNet)

Les auteurs ont créé DEFNet, qui fonctionne comme une équipe de juges plutôt qu'un seul juge solitaire. Au lieu de juste noter la photo, l'équipe pose trois questions en même temps :

1. Le Juge Principal (BIQA) : "Quelle est la qualité globale de cette image ?"
2. Le Juge Contexte (Scène) : "Où sommes-nous ? C'est une ville, une forêt, une chambre ?" (Cela aide à comprendre si un défaut est normal pour ce lieu).
3. Le Juge Technique (Défaut) : "Qu'est-ce qui ne va pas ? Est-ce du flou, du bruit, une compression JPEG ?"

En faisant travailler ces trois "juges" ensemble, le système comprend beaucoup mieux la photo.

3. La Magie : La Fusion de la Confiance (Evidential Fusion)

C'est ici que ça devient fascinant. Imaginez que vous demandez à trois amis de deviner le prix d'une voiture.

• L'ancienne méthode : Ils donnent chacun un chiffre et on fait la moyenne.
• La méthode DEFNet : Ils disent : "Je suis sûr à 90% que c'est 20 000 €" ou "Je suis très incertain, ça pourrait être entre 10 000 et 30 000 €".

DEFNet utilise une technique mathématique appelée apprentissage par la preuve (Evidential Learning). Au lieu de donner juste une note, le système calcule combien il a de "preuves" pour sa réponse.

• Si l'image est claire et simple, il a beaucoup de preuves et il est très confiant.
• Si l'image est bizarre ou très abîmée, il sait qu'il a peu de preuves et il dit : "Je suis moins sûr de ma réponse".

C'est comme si le critique de cinéma disait : "Ce film est mauvais, et je suis certain à 100% de mon jugement" OU "Ce film est bizarre, je ne suis pas sûr de ma note, il faudrait qu'on en parle".

4. L'Analogie du Puzzle et de la Carte

Pour bien évaluer une photo, DEFNet ne regarde pas juste l'image entière d'un coup. Il utilise deux stratégies :

• Le Puzzle (Fusion sous-régionale) : Il découpe la photo en petits morceaux (comme un puzzle). Il regarde chaque pièce individuellement pour voir si un coin est flou ou coloré, puis il assemble le tout. Cela lui permet de voir les détails fins.
• La Carte vs Le Zoom (Fusion Locale-Global) : Il regarde la photo en entier (la carte) pour comprendre le contexte, puis il zoome sur les détails (le zoom). Il combine les deux pour ne pas se fier uniquement à un détail qui pourrait être trompeur.

En Résumé

DEFNet, c'est comme remplacer un critique de cinéma solitaire et parfois confiant par un jury d'experts qui :

1. Regarde la photo sous tous les angles (contexte, défauts, qualité).
2. Découpe la photo en morceaux pour ne rien manquer.
3. Calcule son niveau de confiance à chaque fois.

Le résultat ? Cette méthode est plus précise, plus fiable, et surtout, elle sait quand elle ne sait pas. Elle fonctionne mieux que toutes les méthodes précédentes, que les images soient générées par ordinateur ou prises avec un vrai téléphone dans la vraie vie. C'est un grand pas en avant pour que les ordinateurs comprennent vraiment ce que nous voyons.

Résumé technique

1. Problématique

L'évaluation de la qualité d'image sans référence (Blind Image Quality Assessment - BIQA) vise à prédire objectivement la qualité perceptive d'une image sans image de référence. Bien que les méthodes existantes aient intégré des tâches auxiliaires (comme la classification de scènes ou de types de distorsions) pour améliorer les performances, elles souffrent de deux limitations majeures :

1. Fusion d'information insuffisante : Les tâches auxiliaires sont souvent traitées comme des modules indépendants, ce qui entraîne une fragmentation de l'information et un manque d'exploitation des corrélations inter-tâches. De plus, la fusion des caractéristiques à différentes échelles (locales vs globales) et à travers différentes sous-régions de l'image est souvent négligée.
2. Estimation d'incertitude rigide : Les approches actuelles peinent à fournir une représentation flexible et robuste de l'incertitude. Elles échouent souvent à modéliser simultanément l'incertitude aléatoire (bruit inhérent aux données) et l'incertitude épistémique (manque de connaissance du modèle), conduisant à des prédictions trop confiantes même lorsqu'elles sont erronées.

2. Méthodologie : DEFNet

Les auteurs proposent DEFNet, un réseau de fusion profonde basé sur l'évidence (Deep Evidential Fusion Network) qui intègre l'apprentissage multitâche et la théorie de l'évidence.

Architecture et Flux de Données

• Prétraitement et Extraction de Caractéristiques : Le modèle utilise CLIP (Contrastive Language-Image Pre-training) pour extraire des embeddings de caractéristiques. L'image est divisée en sous-images locales (pour l'analyse fine) et une version globale (pour le contexte large).
• Tâches Multitâches : Le réseau optimise simultanément trois tâches :
  1. BIQA (Tâche principale) : Prédiction du score de qualité.
  2. Classification de Scène : Identification du contexte de l'image.
  3. Classification du Type de Distorsion : Identification de la nature de l'altération.
     Ces tâches sont liées via une fonction de perte de fidélité (fidelity loss) basée sur le modèle de Thurstone pour les paires d'images.

Stratégie de Fusion d'Information "Fiable" (Trustworthy Information Fusion)

Pour surmonter la fragmentation de l'information, DEFNet propose une stratégie de fusion à deux niveaux :

1. Fusion Inter-sous-régions (Cross Sub-region) : Agrège les caractéristiques et les motifs de différentes sous-régions de l'image. Cela permet de capturer les variations de qualité au sein d'une même image et de réduire l'incertitude aléatoire.
2. Fusion Locale-Globale (Local-Global) : Combine les détails fins des sous-images avec le contexte global de l'image entière. Cela assure un équilibre entre la micro-analyse et la vision d'ensemble.

Estimation d'Incertitude par Apprentissage Évidentiel

Au lieu de prédire un simple score, le modèle prédit les paramètres d'une distribution de probabilité.

• Distribution NIG : Le modèle suppose que le score de qualité suit une distribution normale, dont les paramètres (moyenne et variance) suivent une distribution Normal-Inverse Gamma (NIG).
• Fusion Évidentielle : Les paramètres des distributions NIG issues des différentes sous-régions et des vues locales/globales sont fusionnés mathématiquement (opérateur $\oplus$) pour obtenir une distribution finale.
• Fonction de Perte : Une perte totale combinant la vraisemblance négative (NLL) et une pénalité basée sur l'évidence est utilisée. Cela permet au modèle de quantifier simultanément l'incertitude aléatoire et épistémique, rendant les prédictions plus robustes face aux cas ambigus.

3. Contributions Clés

1. Architecture Multitâche Intégrée : Proposition d'un cadre unifiant la BIQA, la classification de scène et la classification de distorsion pour enrichir les représentations inter-tâches.
2. Stratégie de Fusion à Deux Niveaux : Introduction d'une méthode novatrice fusionnant les informations à travers les sous-régions et entre les échelles locales et globales, améliorant la richesse de l'information.
3. Mécanisme d'Incertitude Robuste : Développement d'un mécanisme d'estimation d'incertitude basé sur l'apprentissage par l'évidence et le mélange de distributions NIG, permettant une meilleure gestion des prédictions incertaines.
4. Performance État-de-l'Art : Démonstration expérimentale de la supériorité du modèle sur des jeux de données synthétiques et réels.

4. Résultats Expérimentaux

Les expériences ont été menées sur des jeux de données synthétiques (LIVE, CSIQ, KADID-10k) et réels (BID, LIVE-C, KonIQ-10k).

• Performance Globale : DEFNet atteint des performances supérieures (State-of-the-Art) par rapport aux méthodes existantes (comme LIQE, CDINet, HyperIQA) sur la plupart des jeux de données, avec des coefficients de corrélation de Spearman (SRCC) et de Pearson (PLCC) très élevés. Par exemple, sur CSIQ, DEFNet obtient un SRCC de 0.967 et un PLCC de 0.964.
• Généralisation (Zero-Shot) : Le modèle démontre une forte capacité de généralisation sur des données non vues (TID2013, SPAQ, PIPAL), surpassant les concurrents directs.
• Robustesse aux Types de Distorsion : L'analyse par type de distorsion (bruit, flou, compression JPEG, etc.) montre que DEFNet est plus robuste et adaptable que les autres méthodes.
• Réduction de l'Incertitude : Les analyses montrent que DEFNet produit des intervalles de confiance plus étroits et plus fiables que les méthodes de référence (comme LIQE), indiquant une meilleure estimation de la fiabilité de ses prédictions.
• Étude Ablative : Les expériences confirment que l'ajout des tâches auxiliaires et des composantes de perte de fusion (inter-sous-régions et locale-globale) améliore significativement les performances.

5. Signification et Impact

Ce travail représente une avancée significative dans le domaine de l'évaluation de la qualité d'image sans référence.

• Fiabilité : En intégrant l'apprentissage par l'évidence, DEFNet ne se contente pas de prédire un score, mais fournit une mesure de confiance, ce qui est crucial pour les applications critiques (médicales, surveillance).
• Approche Holistique : La stratégie de fusion multi-échelle et multi-tâche offre une nouvelle perspective pour traiter la complexité des images réelles, où les distorsions peuvent varier localement et dépendre du contexte.
• Adaptabilité : La capacité du modèle à généraliser à des distorsions et des scénarios jamais vus auparavant en fait un candidat idéal pour le déploiement dans des environnements réels et dynamiques ("in-the-wild").

En résumé, DEFNet résout les problèmes de fragmentation informationnelle et d'incertitude rigide des méthodes précédentes, établissant un nouveau standard pour l'évaluation de la qualité d'image robuste et fiable.