Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

Résumé Technique : Amélioration de la reconnaissance faciale à basse résolution sous contrainte de données limitées

Énoncé du problème
Les systèmes de reconnaissance faciale (FR) déployés dans la surveillance sont souvent confrontés à des visages à basse résolution (LR), où la région faciale tombe en dessous de la taille d'entrée standard de 112 × 112 pixels (par exemple, 16–32 pixels). Bien que les données haute résolution (HR) pour l'entraînement soient abondantes, les données nativement LR étiquetées et, plus crucialement, les paires de données nativement LR/HR sont rares. Cette rareté entrave l'entraînement de modèles robustes pour les appareils de bord (edge devices). Une solution de contournement courante consiste à synthétiser des données LR à partir de visages HR disponibles ; cependant, il reste incertain si l'effort investi dans des stratégies de synthèse complexes se traduit par une amélioration de la précision de la reconnaissance sur des données LR réelles. De plus, ce contexte soulève des préoccupations en matière d'équité, car la dégradation peut affecter les groupes démographiques de manière inégale.

Méthodologie
Les auteurs présentent une étude systématique des stratégies de génération de données synthétiques pour une architecture compacte orientée vers les appareils de bord (EdgeFace-S) sous une contrainte de données LR limitées. Ils évaluent cinq stratégies d'adaptation à travers trois niveaux d'« effort de synthèse » :

1. Faible effort (Augmentation par interpolation) : Une chaîne déterministe impliquant le sous-échantillonnage de visages HR à des résolutions spécifiques (56, 28, 14 ou 7 px) via une interpolation cubique ou par aire, suivi d'un suréchantillonnage vers 112 px. Le modèle est réentraîné de bout en bout sur ces données augmentées.
2. Effort moyen (Dégradation générative) : Utilisation d'un pipeline de dégradation stochastique de type Real-ESRGAN (flou aléatoire, redimensionnement, bruit et compression JPEG) pour synthétiser des visages d'entraînement LR réalistes. Cela inclut l'entraînement d'une tige (stem) native de 32 px (remplaçant la tige standard par une convolution 1×1) pour accepter directement les images dégradées.
3. Effort élevé (Front-end de super-résolution appris) : Une approche en deux étapes où un front-end de super-résolution (SR) sensible à l'identité (utilisant des architectures ESPCN ou RRDB) est pré-entraîné pour reconstruire des images de type HR à partir d'entrées de 32 px. Ceci est suivi d'un entraînement contrastif conjoint avec un traducteur Prepended Domain Transformer (PDT), le tout alimentant un backbone plus puissant et gelé (EdgeFace-base).

L'étude évalue également la distillation de connaissances (KD), où un enseignant entraîné sur HR guide un étudiant LR.

Protocole d'évaluation
Les auteurs traitent l'« écart synthétique-réel » en évaluant toutes les stratégies sur deux types de données distincts :

• Benchmarks synthétiques : Jeux de vérification standards (LFW, CFP-FP, AgeDB-30) dégradés synthétiquement à diverses résolutions.
• Réel Native-LR : Le jeu de données TinyFace, une collection réelle de visages LR, évaluée sous deux pipelines d'alignement (crops alignés avec padding et l'Aligneur de Visage Différentiable).

Résultats clés

• L'écart Synthétique–Réel : Le réglage de dégradation qui produit les performances optimales sur les benchmarks synthétiques (28 ↓c/↑a, utilisant le sous-échantillonnage cubique et le suréchantillonnage par aire) performe mal sur les données réelles nativement LR (TinyFace), étant souvent moins bon que la baseline entraînée sur HR. À l'inverse, un réglage synthétique plus léger (56 ↓c/↑a) s'avère le plus efficace sur les données LR réelles.
• Rendements non monotones de l'effort : Un effort de synthèse accru ne garantit pas de meilleurs résultats.
  • Sur l'architecture compacte (EdgeFace-S), la simple augmentation par interpolation (56 ↓c/↑a) est la seule stratégie qui améliore la baseline de feed direct.
  • La distillation de connaissances (KD) produit les gains les plus importants sur les données synthétiques mais échoue à se transférer aux données LR réelles.
  • Front-ends de SR appris : Même avec un pré-entraînement sensible à l'identité et un entraînement conjoint, le pipeline SR appris + PDT ne parvient pas à surpasser un feed direct de l'image LR alignée dans un backbone fort et gelé. La qualité visuelle des visages reconstruits ne se traduit pas par des gains de reconnaissance.
• Équité : Bien que la synthèse sensible à la LR améliore la précision moyenne, elle ne réduit pas systématiquement le biais démographique. La disparité du taux de fausses correspondances (FMR) entre les groupes africains, asiatiques, caucasiens et indiens sur le jeu de données RFW reste incohérente ou s'aggrave selon la résolution d'entraînement.

Signification et Conclusions
L'article conclut que les méthodes génératives pour la reconnaissance faciale LR doivent être validées sur des données LR réelles et par rapport à une baseline de feed direct, plutôt que de se fier uniquement aux benchmarks de dégradation synthétique. Les auteurs soutiennent que :

1. Les réglages optimaux diffèrent selon le domaine : La « meilleure » dégradation synthétique n'est pas la meilleure pour un déploiement réel.
2. La simplicité l'emporte souvent : Pour les modèles compacts ré-entraînables, l'augmentation par interpolation à faible effort est supérieure aux pipelines génératifs complexes.
3. Importance de la baseline : Un front-end de SR appris n'est pas utile comme solution autonome si un backbone fort peut recevoir l'image alignée directement ; les pipelines de restauration ne devraient être revendiqués comme bénéfiques que s'ils surpassent cette baseline de feed direct.
4. Limite de l'équité : Les gains de précision issus de la synthèse ne résolvent pas automatiquement le biais démographique.

Les auteurs publient leur pipeline pour encourager la validation sur des données nativement LR réelles, soulignant qu'il est crucial d'adapter l'effort de synthèse aux contraintes de déploiement (backbone compact vs fort).