From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

Cet article présente une nouvelle méthode de projection linéaire, appelée ISP, qui permet de quantifier et de supprimer efficacement les fuites d'identité dans les encodages visuels figés tout en préservant leur utilité pour la recherche et la récupération d'images.

L'essentiel

🕵️‍♂️ Le Problème : La "Fuite d'Identité" dans les Photos

Imaginez que vous utilisez un moteur de recherche d'images très puissant (comme CLIP ou DINO) pour trouver des photos similaires. Ces outils sont excellents pour dire : "Cette photo ressemble à celle-ci parce que le ciel est bleu et l'arbre est vert". C'est leur but : comprendre le contexte.

Mais il y a un petit problème caché. Même si ces outils ne sont pas spécialement entraînés pour reconnaître les visages (comme le font les systèmes de déverrouillage de téléphone), ils ont quand même "appris" à voir les gens. C'est comme si vous appreniez à cuisiner en regardant des émissions de cuisine, et que par hasard, vous deveniez aussi un expert en reconnaissance des chefs.

Les chercheurs ont découvert que ces outils "généralistes" contiennent encore des indices secrets sur l'identité des personnes sur les photos. Si un pirate informatique est assez malin, il pourrait utiliser ces indices pour deviner qui est la personne, même si le système n'est pas censé le faire. C'est ce qu'ils appellent une "fuite d'identité".

🛠️ La Solution : Le "Filtre à Identité" (ISP)

Pour régler ce problème, l'équipe a créé une petite pièce détachée magique qu'ils appellent ISP (Projection de Sanitisation d'Identité).

L'analogie du Filtur à Café :
Imaginez que votre photo est une tasse de café.

• Le café (le liquide noir), c'est l'information utile : le style de la photo, le décor, l'objet principal. C'est ce que vous voulez garder pour votre recherche d'images.
• La poudre de café (les grains fins), c'est l'identité de la personne. C'est ce que vous voulez enlever pour protéger la vie privée.

Normalement, quand vous versez le café, les grains partent avec. Mais ici, l'équipe a inventé un filtre ultra-spécial.

1. Ils regardent la tasse.
2. Ils identifient exactement où se trouvent les "grains d'identité".
3. Ils retirent uniquement ces grains.
4. Le café (l'image utile) coule toujours aussi bien, mais il ne contient plus de traces de la personne.

Ce filtre est rapide (il ne prend qu'une fraction de seconde) et simple (il ne faut pas réapprendre tout le système, on ajoute juste ce filtre à la fin).

🧪 Les Tests : Est-ce que ça marche ?

Les chercheurs ont fait passer ce système à l'épreuve du feu avec plusieurs scénarios :

1. Le Test du Détective (Vérification) :
   Ils ont demandé à des détectives (des algorithmes) de deviner qui est sur la photo.

   • Avant le filtre : Les détectives réussissaient parfois, surtout avec le modèle CLIP.
   • Après le filtre : Les détectives sont devenus aveugles. Ils ne faisaient plus mieux que de deviner au hasard (comme lancer une pièce en l'air). L'identité a disparu.

2. Le Test du Sculpteur (Inversion) :
   C'est le test le plus effrayant. Un "sculpteur" (un générateur d'images IA) essaie de reconstruire le visage de la personne juste en regardant les données numériques de la photo.

   • Avant le filtre : Pour les systèmes de reconnaissance faciale classiques, le sculpteur réussit à recréer un visage très réaliste.
   • Après le filtre : Le sculpteur est perdu. Il ne peut rien reconstruire de reconnaissable. Les données sont trop "floues" pour l'identité, mais trop nettes pour le contexte.

3. Le Test de l'Utilité (Le Café est-il toujours bon ?) :
   Le plus important : est-ce que le filtre gâche le café ?

   • Non ! Les chercheurs ont montré que même après avoir retiré l'identité, le système reste excellent pour ses tâches originales : trouver des images similaires, détecter des copies, ou classer des objets. Le filtre est si précis qu'il ne touche qu'à ce qu'il faut.

🌍 Pourquoi c'est important ?

Aujourd'hui, beaucoup d'entreprises (banques, réseaux sociaux, e-commerce) veulent utiliser ces outils puissants pour vérifier des documents ou trouver des arnaques, mais elles ont peur des lois sur la vie privée (comme le RGPD). Elles ne peuvent pas utiliser de reconnaissance faciale "officielle".

Ce papier dit : "Pas de panique !"
Vous pouvez utiliser ces outils puissants, mais en ajoutant ce petit filtre (ISP) à la fin. Vous obtenez la puissance de la recherche d'images sans le risque de révéler qui sont les gens sur les photos. C'est comme avoir un super-héros qui sauve le monde, mais qui porte un masque pour ne pas être reconnu.

En résumé

• Le problème : Les outils d'IA visuels "génériques" savent trop de choses sur les visages, ce qui est dangereux pour la vie privée.
• La solution : Un petit filtre mathématique (ISP) qui retire les "grains d'identité" sans toucher au reste de l'image.
• Le résultat : On peut utiliser ces outils en toute sécurité, sans que les pirates puissent deviner qui est la personne, tout en gardant toute la puissance de l'outil pour ses tâches habituelles.

C'est une victoire pour la vie privée : on garde le super-pouvoir de l'IA, mais on enlève le super-pouvoir de l'espionnage.

Résumé technique

1. Problématique et Contexte

Les encodages visuels figés (frozen visual embeddings), tels que CLIP, DINOv2/v3 et SSCD, sont largement utilisés pour des tâches de recherche, d'intégrité et de détection de manipulations. Cependant, leur application sur des données contenant des visages pose un problème de confidentialité : bien que ces modèles ne soient pas entraînés spécifiquement pour la reconnaissance faciale (FR), ils peuvent contenir des fuites d'identité (identity leakage) résiduelles.

Le défi principal réside dans le fait que :

• Les évaluations de confidentialité existantes se concentrent souvent sur les modèles de FR dédiés ou sur des métriques en ensemble fermé (closed-set).
• Il manque une mesure calibrée pour les opérateurs réels qui doivent fonctionner à des taux de fausses acceptations (FAR) très bas (de l'ordre de $10^{-4}$ à $10^{-6}$) dans des scénarios en ensemble ouvert (open-set).
• Les organisations ont besoin d'outils de vérification d'intégrité qui ne reposent pas sur des données biométriques explicites (pour respecter le RGPD, le CCPA, etc.), mais la nature des fuites d'identité dans les encodeurs non-biométriques reste mal caractérisée face à des menaces d'attaquants.

2. Méthodologie

Les auteurs adoptent une approche "consciente de l'attaquant" (attacker-aware) composée de deux volets : une suite de mesures de fuite et une méthode de mitigation.

A. Suite de Mesures (Audit)

Pour quantifier la fuite d'identité, les auteurs proposent trois diagnostics calibrés :

1. Vérification en ensemble ouvert à faible FAR : Utilisation de sondes linéaires (Ridge) et non linéaires (MLP) pour mesurer le taux de vraie acceptation (TAR) à un FAR fixé (ex: $10^{-4}$) sur des identités jamais vues lors de l'entraînement.
2. Inversion de modèle par diffusion (Template Inversion) : Évaluation de la capacité à reconstruire un visage à partir d'un embedding en utilisant des priors de diffusion (ex: DiffMI) et d'autres méthodes (Bob, Vec2Face, ALSUV). Le succès est jugé par une vérification croisée avec un encodeur FR disjoint.
3. Attribution Face-Contexte : Pour comprendre si l'identité provient du visage ou du contexte (arrière-plan), trois métriques sont introduites avec normalisation de la couverture faciale (FCR) :
   • FII (Face Importance Index) : Compare l'impact de l'occlusion du visage vs l'arrière-plan.
   • CPI (Context Preference Index) : Mesure la préférence pour le contexte lorsque les détails faciaux sont floutés.
   • B (Background Revelation Threshold) :* Détermine la quantité d'arrière-plan nécessaire pour que le contexte prenne le dessus sur l'identité.

B. Mitigation : Projection de Sanitisation d'Identité (ISP)

Les auteurs proposent ISP (Identity Sanitization Projection), un projecteur linéaire one-shot (post-hoc) conçu pour supprimer l'espace sous-espace d'identité tout en préservant l'utilité non-biométrique.

• Principe : Calculer les moyennes par identité, centrer ces moyennes, puis effectuer une décomposition en valeurs singulières (SVD) sur la matrice des moyennes centrées.
• Action : Projeter les embeddings originaux sur l'orthogonal des $r$ vecteurs singuliers principaux (les directions d'identité).
• Avantages : Méthode déterministe, rapide (une seule SVD), exportable sous forme de matrice fixe, et ne nécessitant pas de réentraînement du modèle.

3. Contributions Clés

1. Audit calibré pour la confidentialité faciale : Première évaluation calibrée sur des encodeurs non-FR (DINOv2, DINOv3, SSCD, CLIP) à des points de fonctionnement réalistes (FAR bas, ensemble ouvert).
2. Méthode de mitigation efficace (ISP) : Introduction d'un projecteur linéaire simple qui élimine l'accès linéaire à l'identité tout en conservant l'utilité pour la recherche visuelle.
3. Preuve de transférabilité : Démonstration que l'espace d'identité estimé est compact et transférable entre différents jeux de données (ex: de CelebA à VGGFace2), permettant d'utiliser un seul projecteur pour plusieurs corpus.
4. Outils ouverts : Publication du code, des projecteurs et de la boîte à outils d'évaluation.

4. Résultats Expérimentaux

Les expériences ont été menées sur CelebA-20 et VGGFace2-20 avec des encodeurs CLIP, DINOv2, DINOv3 et SSCD.

• Fuites d'identité initiales :

  • Les encodeurs non-FR montrent une accessibilité linéaire à l'identité modeste mais non nulle à faible FAR (CLIP est plus sensible que DINOv2/SSCD).
  • Inversion : Les encodeurs FR (ArcFace) permettent une reconstruction de visage fiable (67-100% de succès). En revanche, les encodeurs non-FR échouent presque systématiquement (taux de succès proche de 0% pour DiffMI, quelques % pour les autres méthodes), indiquant que le signal d'identité est trop faible pour être exploité par les méthodes génératives actuelles.
  • Attribution : Les encodeurs FR sont dominés par le visage. Les encodeurs non-FR, en revanche, sont souvent dominés par le contexte (arrière-plan) dans des conditions de stress, ce qui explique leur faible performance en reconnaissance faciale pure.

• Impact de l'ISP (Mitigation) :

  • Réduction de la fuite : Après application d'ISP, le TAR en ensemble ouvert chute à des niveaux proches du hasard (souvent < 1-2%) pour tous les encodeurs non-FR, y compris pour les sondes MLP non-linéaires.
  • Préservation de l'utilité : L'ISP préserve presque intégralement l'utilité pour des tâches non-biométriques. Sur ImageNet, la précision de classification (k-NN et Linear Probe) reste à ~98-100% de la baseline. Pour la détection de copies (SSCD), la rétention de Recall@k est supérieure à 95%.
  • Transfert : Un projecteur entraîné sur CelebA fonctionne presque aussi bien sur VGGFace2, confirmant que l'espace d'identité est universel et non spécifique au jeu de données.

5. Signification et Conclusion

Cet article établit un nouveau standard pour l'audit de la vie privée dans les modèles de vision par ordinateur. Il démontre que :

1. Les encodeurs visuels modernes, bien que non conçus pour la biométrie, contiennent des signaux d'identité détectables à des niveaux de sécurité stricts.
2. La suppression par sous-espace linéaire (ISP) est une solution efficace, légère et auditable pour éliminer ces risques sans sacrifier la performance des tâches générales (recherche, intégrité).
3. Contrairement aux méthodes itératives complexes, ISP offre une garantie de confidentialité linéaire certifiable avec une latence négligeable, ce qui le rend idéal pour le déploiement industriel.

En conclusion, les auteurs proposent une voie pragmatique pour utiliser la puissance des grands modèles de vision tout en respectant les contraintes de confidentialité, en transformant les embeddings en outils "sanitisés" prêts pour la production.