Variational Latent Entropy Estimation Disentanglement: Controlled Attribute Leakage for Face Recognition

1. Problématique et Contexte

Les modèles de reconnaissance faciale apprennent des représentations vectorielles (embeddings) hautement discriminatives pour l'identité. Cependant, ces représentations encodent également involontairement des attributs soft-biométriques sensibles tels que le genre, l'origine ethnique, l'âge ou le style de cheveux, même si le modèle n'a jamais été entraîné pour les prédire.

Cette fuite d'information pose deux problèmes majeurs :

1. Fuite d'information (Privacy Leakage) : Lorsque les embeddings sont stockés ou partagés, des tiers peuvent inférer des attributs sensibles que les sujets n'ont pas l'intention de divulguer.
2. Biais algorithmique (Fairness) : Les systèmes en aval utilisant ces embeddings peuvent prendre des décisions biaisées en s'appuyant sur des signaux démographiques, entraînant des traitements inégaux pour différents groupes protégés.

L'objectif est de transformer les embeddings pré-entraînés pour supprimer la capacité de prédire ces attributs sensibles tout en préservant la précision de la vérification d'identité. La méthode proposée doit être post-hoc (applicable sur des embeddings déjà générés par un modèle figé) et ne pas nécessiter de réentraîner le pipeline de reconnaissance original.

2. Méthodologie : VLEED

Les auteurs proposent VLEED (Variational Latent Entropy Estimation Disentanglement), un cadre de transformation basé sur un Autoencodeur Variationnel (VAE) à espace latent divisé.

Architecture et Principes

Le modèle décompose chaque embedding d'entrée $x$ en deux codes latents complémentaires :

1. Latent Résiduel ($Z_r$) : Contient l'information pertinente pour l'identité mais doit être statistiquement indépendant de l'attribut sensible. C'est ce vecteur qui est libéré pour la vérification.
2. Latent de Classe ($Z_c$) : Encodé spécifiquement pour capturer l'attribut sensible (genre, ethnie). Il utilise une prior conditionnelle à la classe (une distribution gaussienne avec une moyenne apprenable spécifique à chaque classe) pour "absorber" l'information démographique.

Fonction de Perte et Objectif d'Apprentissage

L'objectif global combine trois termes :

1. Reconstruction ($L_{rec}$) : Minimise la distance cosinus entre l'embedding original et la reconstruction issue de la concaténation $[Z_r; Z_c]$. Cela garantit que l'information d'identité est conservée.
2. Régularisation KL : Force les distributions latentes à respecter leurs priors respectifs (Gaussienne isotrope pour $Z_r$, Gaussienne conditionnelle pour $Z_c$).
3. Désentanglement ($L_{dis}$) : C'est le cœur de la contribution. Au lieu d'utiliser des méthodes adverses classiques ou l'appariement de moments, VLEED vise à minimiser l'information mutuelle $I(C; Z_r)$ entre l'attribut sensible $C$ et le latent résiduel $Z_r$.
   • Puisque l'estimation directe de l'information mutuelle est difficile, les auteurs utilisent une surrogée basée sur l'entropie.
   • Un classifieur auxiliaire $q_\phi$ est entraîné pour prédire $C$ à partir de $Z_r$.
   • L'objectif est de maximiser l'entropie conditionnelle $H(C | Z_r)$, c'est-à-dire rendre le classifieur aussi incertain que possible. Si le classifieur ne peut pas faire mieux que le hasard, l'attribut a été efficacement supprimé de $Z_r$.

Procédure d'Entraînement

L'entraînement alterne entre :

1. La mise à jour du classifieur auxiliaire (avec les gradients de l'encodeur détachés) pour qu'il apprenne à prédire l'attribut.
2. La mise à jour du VAE (encodeur/décodeur) pour maximiser l'incertitude du classifieur tout en maintenant la reconstruction.
   Un paramètre de poids $\lambda_{dis}$ permet de contrôler finement le compromis entre la vie privée (réduction de la fuite) et l'utilité (précision de la vérification).

3. Contributions Clés

1. Modèle Variationnel à Latent Divisé : Introduction d'une architecture VAE post-hoc qui sépare explicitement l'information d'identité de l'attribut sensible via des priors conditionnels.
2. Objectif d'Entropie Maximale : Formulation du désentanglement comme une minimisation de l'information mutuelle via une estimation d'entropie conditionnelle, offrant un objectif simple et interprétable (incertitude du classifieur).
3. Contrôle Fin du Compromis : Possibilité de naviguer continûment le long de la courbe de compromis vie privée/utilité en ajustant un seul paramètre ($\lambda_{dis}$).
4. Évaluation Complète : Validation sur des benchmarks standards (IJB-C, RFW, VGGFace2) pour le genre et l'ethnie, comparant la fuite linéaire et non-linéaire ainsi que les métriques d'équité.

4. Résultats Expérimentaux

Les expériences ont été menées sur des embeddings extraits par un modèle IResNet50 (ArcFace) figé.

• Performance de Vérification vs Fuite :

  • VLEED offre une gamme de compromis bien plus large que les méthodes de référence (INLP, IVE, PFRNet).
  • Pour le genre, la suppression de la fuite non-linéaire (via un classifieur Deep MLP) est difficile : elle nécessite souvent une dégradation significative de la vérification. Cependant, VLEED permet de réduire la fuite linéaire (Logistic Regression) vers le niveau du hasard tout en maintenant une vérification utilisable.
  • Pour l'ethnie, la suppression est plus efficace : les classifieurs non-linéaires atteignent le niveau du hasard plus facilement et avec moins de perte de vérification que pour le genre.

• Comparaison avec l'État de l'Art :

  • INLP (Projection dans l'espace nul) préserve bien la vérification mais échoue à supprimer la fuite non-linéaire.
  • IVE (Élimination de dimensions) offre des points de fonctionnement discrets et peut supprimer la fuite non-linéaire, mais au prix d'une chute brutale de la vérification.
  • PFRNet (Appariement de moments) montre une stabilité limitée et ne parvient pas à tracer une courbe de compromis aussi fluide que VLEED, surtout pour la fuite non-linéaire.
  • VLEED surpasse ces méthodes en offrant des points de fonctionnement intermédiaires stables et une suppression plus efficace de la fuite non-linéaire grâce à son objectif variationnel.

• Équité (Fairness) :

  • La réduction de la fuite démographique corrèle généralement avec une réduction des disparités de taux de fausses correspondances (mesurées par le coefficient de Gini).
  • Les réglages de désentanglement les plus agressifs tendent à uniformiser les erreurs entre les groupes, bien que cela s'accompagne souvent d'une baisse globale de la performance de vérification.

5. Signification et Conclusion

VLEED représente une avancée significative dans le domaine de la vie privée par conception pour la biométrie faciale.

• Approche Post-Hoc : Sa capacité à s'appliquer sur des modèles pré-entraînés sans accès aux données d'origine ou aux poids du modèle original le rend immédiatement déployable dans des scénarios réels.
• Garantie Théorique Pratique : En ciblant l'incertitude d'un classifieur (proxy de l'information mutuelle), la méthode offre une garantie opérationnelle plus robuste que les simples contraintes d'orthogonalité ou d'appariement de moments.
• Flexibilité : La capacité à ajuster continûment le niveau de protection permet aux systèmes de s'adapter aux exigences réglementaires spécifiques (ex: RGPD) tout en maintenant un niveau de service acceptable.

En résumé, VLEED démontre qu'il est possible de concevoir des embeddings de reconnaissance faciale qui sont à la fois précis pour l'identité et résistants à la ré-identification des attributs sensibles, en utilisant une formulation variationnelle basée sur l'entropie.