Résumé Technique : SteerFace

Énoncé du Problème

Le papier traite d'une limitation critique dans l'utilisation de données faciales synthétiques pour l'entraînement des modèles de Reconnaissance Faciale (FR). Bien que les récentes méthodes basées sur la diffusion génèrent avec succès des images photoréalistes avec une forte adhérence à l'identité et une grande diversité de données, elles présentent un écart de performance significatif lorsqu'elles sont appliquées aux tâches de FR en conditions réelles par rapport aux modèles entraînés sur des données réelles.

Les auteurs identifient la cause profonde comme étant la tendance visuelle (visual tendency) : un biais jusqu'alors sous-exploré où les jeux de données synthétiques présentent une prévalence irréaliste de certains attributs visuels spécifiques (ex. : tonalité de couleur, expression, texture). Ce biais provient du fait que les modèles de diffusion sont conditionnés par des plongements d'identité (identity embeddings) extraits de modèles de FR préexistants. Ces plongements, bien que discriminants, sont entrelacés avec des indices visuels résiduels provenant des images sources. Pendant l'entraînement, le générateur absorbe involontairement ces résidus comme faisant partie de la sémantique de l'identité. Par conséquent, le générateur apprend un couplage biaisé entre l'identité et des indices visuels spécifiques, conduisant à un décalage de distribution qui entrave la généralisation de la FR en aval.

Méthodologie : SteerFace

Pour atténuer ce biais, le papier propose SteerFace, un cadre d'entraînement qui perturbe les plongements d'identité afin de décourager le générateur d'exploiter les indices visuels résiduels tout en préservant l'information d'identité.

1. Perturbation du Résidu Géométrique

Le mécanisme central consiste à orienter géométriquement les plongements d'identité vers des directions orthogonales aléatoires sur l'hypersphère d'embedding.

• Base Théorique : Les plongements d'identité ($c$) sont modélisés comme une composition d'une composante d'identité pure ($c_v$) et d'un terme résiduel ($r$) contenant des indices visuels ($c = \text{norm}(c_v + r)$). Le générateur exploite $r$ comme un raccourci pour la reconstruction.
• Stratégie de Perturbation : Pour briser cette dépendance, la méthode fait pivoter l'embedding $c$ vers un vecteur orthogonal aléatoire $c^\perp$ selon un angle $\theta$. L'embedding perturbé est $\hat{c} = \cos(\theta)c + \sin(\theta)c^\perp$.
• Effet : Cela transforme le résidu déterministe et exploitable $r$ en une composante de type bruit qui varie à chaque étape d'entraînement. Théoriquement, cela agit comme un régularisateur qui pénalise la dépendance du générateur aux composantes non liées à l'identité. Crucialement, comme la perturbation est orthogonale à la direction de l'identité, la structure primaire de l'identité (encodée par la direction angulaire) est préservée, simplement mise à l'échelle par $\cos(\theta)$.

2. Allocation d'Intensité Adaptative

Reconnaissant qu'une intensité de perturbation fixe (ex. : échantillonnage de $\theta$ à partir d'une distribution uniforme $U(0, 1)$) n'est ni statistiquement optimale ni sensible aux échantillons, les auteurs introduisent une stratégie adaptative :

• Paramétrage : L'intensité de la perturbation $\alpha$ (où $\theta = \frac{\pi}{2}\alpha$) est déterminée par un adaptateur MLP léger qui assigne un score de préférence à chaque embedding.
• Optimisation : L'allocation est apprise pour équilibrer deux objectifs :
  1. Rétention de l'Identité : Maintenir une similitude suffisante avec la distribution d'identité originale (régularisée via un objectif de cohérence par rapport à $U(0, 1)$).
  2. Force de Régularisation : Encourager une distribution qui produit une valeur attendue plus élevée de $\sin^2(\theta)$ pour maximiser l'effet de débaisage.
• Résultat : Le système apprend à allouer des perturbations plus fortes aux échantillons où les indices résiduels sont plus prédictifs (souvent des échantillons de plus haute qualité avec des détails plus riches), tout en maintenant un équilibre statistique global.

Principales Contributions

1. Identification de la Tendance Visuelle : Le papier établit la tendance visuelle comme un défi majeur et distinct de la génération de données synthétiques pour la FR, séparé de l'adhérence à l'identité et de la diversité des données. Il démontre que les données synthétiques peuvent être diverses tout en présentant un biais de distribution dû aux indices visuels entrelacés dans les plongements d'identité.
2. Cadre SteerFace : Un schéma d'entraînement simple et efficace qui perturbe les plongements d'identité via une rotation sphérique. Il sert de régularisateur préservant l'identité qui découple efficacement l'identité des indices visuels résiduels.
3. Stratégie de Perturbation Adaptative : Une approche pour apprendre des intensités de perturbation sensibles aux échantillons qui optimisent le compromis entre rétention de l'identité et atténuation du biais, surpassant les distributions uniformes heuristiques.
4. Validation Empirique : Des expériences approfondies démontrant que SteerFace réduit l'écart de distribution synthétique-réel et atteint une performance de FR en aval supérieure aux méthodes de l'état de l'art (SOTA).

Résultats Expérimentaux

Les auteurs ont évalué SteerFace en utilisant un Modèle de Diffusion Latente (LDM) entraîné sur le jeu de données CASIA-WebFace, générant des jeux de données synthétiques de 0,5M et 1,2M d'images. Ceux-ci ont été utilisés pour entraîner un modèle de FR IR-50, évalué sur cinq benchmarks (LFW, CFP-FP, AgeDB, CPLFW, CALFW).

• Performance en Aval : SteerFace a surpassé les 14 méthodes SOTA comparées (incluant les approches basées sur les GAN et les approches basées sur la diffusion comme IDiff-Face, Arc2Face et MorphFace).
  • À l'échelle de 0,5M, il a atteint une précision moyenne de 93,72 %, dépassant le meilleur SOTA (UIFace) de 0,45 %.
  • À l'échelle de 1,2M, il a atteint 94,37 %, dépassant le meilleur SOTA (MorphFace) de 0,20 %.
  • Notamment, SteerFace à 0,5M a surpassé la plupart des SOTA à 1,2M, indiquant une haute efficacité des données.
• Atténuation de la Tendance Visuelle : En utilisant le rendu 3DMM de visages moyens du jeu de données, SteerFace a montré l'erreur quadratique moyenne (MSE) la plus faible par rapport à la vérité terrain réelle (1,02) comparé aux SOTA (allant de 5,63 à 59,97), confirmant la réduction du biais de distribution.
• Analyse de Compromis : SteerFace a atteint un équilibre supérieur dans l'espace "adhérence à l'identité vs diversité des données", se situant près de la frontière de Pareto où les autres méthodes favorisent généralement l'un au détriment de l'autre.
• Généralisabilité : La méthode s'est bien généralisée à travers différents jeux de données d'entraînement (FFHQ, MS1M) et pipelines de génération (UIFace), surpassant systématiquement les bases et les méthodes de perturbation au moment de l'inférence comme IDPerturb.

Signification et Revendications

Le papier affirme que SteerFace s'attaque à une faille fondamentale dans la génération actuelle de données synthétiques pour la FR : l'absorption involontaire de biais visuels dans la sémantique de l'identité. En traitant les indices visuels résiduels comme un bruit à régulariser plutôt que comme des caractéristiques à apprendre, SteerFace aligne la distribution des données synthétiques plus étroitement avec les données réelles.

Les auteurs soulignent que leur approche est distincte du context dropout (qui supprime indistinctement la sémantique) et de la perturbation au moment de l'inférence (qui ne peut pas corriger le biais lors de l'entraînement). Ils affirment que SteerFace fournit une solution simple, efficace et généralisable qui améliore l'utilité des données synthétiques pour l'entraînement de la FR conforme à la légalité, réduisant potentiellement la dépendance aux jeux de données réels éthiquement problématiques. Le travail suggère que les futures métriques de qualité des données synthétiques doivent prendre en compte la tendance visuelle, et pas seulement l'identité et la diversité.