A Lightweight Ensemble-Based Face Image Quality Assessment Method with Correlation-Aware Loss

Résumé Technique : Une méthode légère d'évaluation de la qualité des images faciales basée sur un ensemble avec une perte sensible à la corrélation

Énoncé du Problème
L'évaluation de la qualité des images faciales (FIQA - Face Image Quality Assessment) est un garde-fou critique pour les systèmes de reconnaissance et de vérification de visages, particulièrement dans des environnements réels non contrôlés (« in the wild »). Bien qu'il existe des métriques d'évaluation de la qualité d'image sans référence à usage général (par exemple, BRISQUE, NIQE), celles-ci échouent souvent à capturer les dégradations spécifiques au visage telles que la pose, l'illumination et l'occlusion, présentant une faible corrélation avec le succès réel de la reconnaissance. À l'inverse, les modèles de FIQA perceptuels de pointe (SOTA) reposent généralement sur des architectures de deep learning lourdes (par exemple, de grands transformers ou des boucles de diffusion itératives) qui sont coûteuses en calcul. Ce coût d'inférence élevé (de l'ordre de plusieurs GFLOPs) crée un goulot d'étranglement pour le déploiement dans des environnements aux ressources limitées comme les appareils mobiles ou les systèmes embarqués, limitant leur applicabilité pratique malgré une grande précision.

Méthodologie
Les auteurs proposent un cadre de FIQA léger et efficace conçu pour équilibrer une haute précision et un faible coût de calcul. La méthodologie se compose de trois composantes clés :

1. Architecture d'Ensemble Légère :
   Le modèle intègre un ensemble de deux réseaux neuronaux convolutifs (CNN) compacts : MobileNetV3-Small et ShuffleNetV2. Ces deux réseaux sont pré-entraînés sur ImageNet et affinés pour la tâche de FIQA en remplaçant leurs couches de classification finales par des perceptrons multicouches (MLP) afin de produire un score de qualité scalaire unique.

• MobileNetV3-Small : Utilise un vecteur de caractéristiques moyen global (global average pooled) de dimension 576, traité par un MLP à deux couches.
• ShuffleNetV2 : Utilise un vecteur de caractéristiques moyen global de dimension 1024, traité par un MLP à trois couches.
• Stratégie de Fusion : La prédiction finale est générée via un schéma de moyenne à double niveau. Premièrement, les prédictions sont moyennées à travers plusieurs vues augmentées de l'image d'entrée (Augmentation au Temps de Test - TTA). Deuxièmement, les sorties des deux modèles distincts sont moyennées. Cette approche tire parti des forces de représentation complémentaires des deux architectures tout en maintenant un nombre total de paramètres d'environ 2 millions.

2. Fonction de Perte Sensible à la Corrélation (MSECorrLoss) :
   Pour aligner les prédictions du modèle avec les jugements perceptuels humains, les auteurs introduisent une fonction de perte conjointe qui combine l'erreur quadratique moyenne (MSE) avec un régularisateur de corrélation de Pearson.

• La perte est définie par $\mathcal{L} = \mathcal{L}_{MSE} + \alpha \mathcal{L}_{Corr}$.
• $\mathcal{L}_{MSE}$ minimise l'erreur de prédiction directe.
• $\mathcal{L}_{Corr}$ est définie par $1 - \text{Pearson}(q, \hat{q})$, encourageant le modèle à préserver le classement monotone des scores de qualité par rapport à la vérité terrain. Ceci est crucial pour les tâches perceptuelles où l'ordre relatif est souvent plus important que la précision absolue du score.

3. Augmentation au Temps de Test (TTA) :
   Lors de l'inférence, l'image d'entrée est transformée en plusieurs vues augmentées (spécifiquement des retournements horizontaux et verticaux aléatoires). L'ensemble traite ces vues, et le score de qualité final est obtenu en moyennant les prédictions à travers les augmentations et les modèles. Cette stratégie améliore la robustesse et la stabilité sans nécessiter de données d'entraînement supplémentaires.

Contributions Clés
Le document présente trois contributions principales :

• Conception d'Ensemble Compacte : Un ensemble à deux branches fusionnant MobileNetV3-Small et ShuffleNetV2, atteignant une haute précision à une échelle de sous-million de paramètres (environ 2M de paramètres au total) et un faible coût d'inférence (~0,5 GFLOPs).
• MSECorrLoss : Une fonction d'objectif inédite qui minimise simultanément la MSE et maximise la corrélation de Pearson avec les évaluations humaines, resserrant l'alignement avec la vérité terrain perceptuelle.
• Intégration Robuste de la TTA : Une stratégie efficace d'inférence qui moyenne les prédictions à travers les vues augmentées, améliorant la stabilité et réduisant la variance.

Résultats Expérimentaux
La méthode a été évaluée sur le benchmark VQualA FIQA, un ensemble de données à grande échelle issu de situations réelles (« in-the-wild ») contenant environ 30 000 images d'entraînement et 1 000 images de validation. L'évaluation a utilisé le coefficient de corrélation de rang de Spearman (SRCC) et le coefficient de corrélation linéaire de Pearson (PLCC).

• Performance : La méthode proposée a atteint un SRCC de 0,9829 et un PLCC de 0,9894, résultant en un Score Final de 0,9862.
• Comparaison : Ces résultats surpassent de manière significative les approches SOTA existantes. Par exemple, la précédente méthode de pointe spécifique au visage, TOPIQ Swin Face, a obtenu un Score Final de 0,9286 (SRCC 0,9156, PLCC 0,9416). La méthode proposée dépasse celle-ci d'une marge de 0,058 sur le score final.
• Efficacité : Malgré les gains de performance, le modèle reste léger, adapté au déploiement dans le monde réel où les ressources de calcul sont limitées.

Études d'Ablation
Les auteurs ont mené des études d'ablation pour valider la contribution de chaque composante :

• Ensemble : La combinaison de MobileNet et ShuffleNet a amélioré le Score Final de ~0,97 (modèles individuels) à 0,9792, démontant que l'apprentissage d'ensemble réduit la variance de prédiction.
• Fonction de Perte : Le passage de la MSE standard à la MSECorrLoss a encore amélioré le score à 0,9821, confirmant le bénéfice de l'optimisation de la corrélation.
• TTA : L'ajout de l'Augmentation au Temps de Test a permis d'atteindre la performance optimale finale de 0,9862, soulignant son rôle dans la réduction de la variance de prédiction et l'amélioration de la cohérence du classement.

Signification et Revendications
Le papier affirme que son approche répond avec succès au compromis entre précision et efficacité de calcul dans la FIQA. En utilisant un ensemble léger et une perte sensible à la corrélation, la méthode atteint des performances de pointe sur le benchmark VQualA tout en restant dans les contraintes d'efficacité requises pour le déploiement sur des appareils mobiles et embarqués. Les auteurs positionnent ce travail comme une solution pratique pour les scénarios « in-the-wild » où un jugement de qualité automatique, fiable et sensible au visage est essentiel pour des tâches en aval telles que la vérification d'identité, le contrôle d'accès et l'analyse forensique. Ce travail suggère que des stratégies architecturales et d'entraînement simples et bien orchestrées peuvent faire progresser les systèmes de FIQA robustes sans dépendre de backbones extrêmement coûteux en calcul.