From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

Dit onderzoek introduceert een benchmark voor het kwantificeren van identiteitslekken in beeldecoders en stelt een lineaire projectiemethode (ISP) voor die deze privacyrisico's effectief wegneemt zonder de bruikbaarheid voor zoek- en ophaalsystemen aan te tasten.

De kern

Stel je voor dat je een veiligheidscontroleur bent op een vliegveld. Je hebt een nieuwe scanner die foto's van mensen scant. Deze scanner is ontworpen om te kijken of twee foto's van dezelfde persoon zijn (bijvoorbeeld voor een paspoortcontrole), of om te zien of twee foto's dezelfde achtergrond hebben (bijvoorbeeld om te controleren of iemand een nepfoto heeft gebruikt).

Het probleem is: deze scanners zijn zo goed gemaakt, dat ze soms onbedoeld ook heel veel details over iemands gezicht onthouden, zelfs als dat niet de bedoeling is. Het is alsof je een scanner hebt die niet alleen kijkt of het een paspoort is, maar ook onbewust de vorm van je neus, de afstand tussen je ogen en je specifieke gelaatstrekken opslaat. Als hackers deze gegevens stelen, kunnen ze misschien een nepgezicht maken dat eruit ziet als jij.

Deze paper, geschreven door een team van Persona Identities, lost dit probleem op met twee simpele stappen: meten en repareren.

Stap 1: De "Lekkage-meting" (Het Meten)

Eerst wilden de auteurs weten: Hoeveel van iemands identiteit zit er eigenlijk in deze foto's?

Ze gebruikten een creatieve analogie: De "Gezicht- vs. Achtergrond"-test.
Stel je voor dat je een foto van een persoon hebt in een park.

• De oude scanners (zoals CLIP): Kijken vaak meer naar de achtergrond (het park, de bomen) dan naar het gezicht zelf. Als je de achtergrond verwijdert, vergeten ze wie de persoon is.
• De biometrische scanners (zoals ArcFace): Kijken puur naar het gezicht. Als je de achtergrond verwijdert, weten ze nog steeds wie het is.

De auteurs ontdekten dat de nieuwe, populaire scanners (zoals DINOv2 en CLIP) eigenlijk een beetje "verward" zijn. Ze onthouden soms wel een beetje van het gezicht, maar niet genoeg om een paspoort te vervalsen, en ze zijn heel gevoelig voor de achtergrond. Ze maakten een reeks tests om precies te meten hoeveel "gezichtsinformatie" er lekt, zelfs als je probeert te verbergen dat het een gezicht is.

Stap 2: De "Identiteit-veegmachine" (De Oplossing)

Nu ze wisten dat er een klein beetje lek was, bedachten ze een oplossing genaamd ISP (Identity Sanitization Projection).

De Creatieve Analogie: Het "Radio-Filter"
Stel je voor dat een foto-embeddings (de digitale code van een foto) een radio-uitzending is.

• Op deze radio zit een zender met mooie muziek (de nuttige informatie: "dit is een foto van een hond", "dit is een foto van een auto", "dit is een foto van een park").
• Maar er zit ook een stoorzender op de achtergrond die een fluisterend stemmetje afspeelt: "Ik ben Jan, ik heb een litteken op mijn wang, ik ben 30 jaar oud." Dit is de identiteit.

De meeste scanners luisteren naar alles. De auteurs wilden alleen de muziek horen, maar het fluisterende stemmetje (de identiteit) verwijderen.

Hoe werkt ISP?
In plaats van de hele radio te slopen (wat de muziek ook zou vernietigen), bouwen ze een speciaal filter.

1. Ze kijken naar duizenden foto's en berekenen precies waar dat "fluisterende stemmetje" (de identiteit) in de code zit. Het zit in een heel specifiek, smal kanaal.
2. Ze maken een veegmachine (een wiskundige projector) die precies dat ene kanaal uitschakelt.
3. Ze vegen die informatie weg, maar laten de rest van de radio (de muziek, de achtergrond, de objecten) volledig intact.

Wat is het resultaat?

Na het gebruik van deze "veegmachine":

• Voor hackers: Het is alsof ze proberen een stem te horen op een radio die alleen nog maar statisch ruis produceert. Ze kunnen geen gezicht meer reconstrueren. De kans dat ze iemand herkennen, is net zo klein als het raden van een nummer uit een hoed (willekeurig).
• Voor de gebruiker: De scanner werkt nog steeds perfect! Hij kan nog steeds zien of twee foto's van dezelfde hond zijn, of of twee foto's dezelfde achtergrond hebben. De "muziek" klinkt nog steeds prachtig.

Samenvatting in één zin

De auteurs hebben een slimme "veegmachine" bedacht die de geheime code van iemands gezicht uit een foto haalt, zodat hackers die foto niet kunnen gebruiken om iemand na te bootsen, terwijl de foto nog steeds perfect werkt voor andere taken zoals het vinden van vergelijkbare afbeeldingen.

Het is alsof je een foto van je vriend maakt, de details van zijn gezicht verwijdert zodat niemand hem kan herkennen, maar je kunt nog steeds zien dat hij in een park staat met een rode jas aan.

Technische samenvatting

1. Probleemstelling

Moderne visuele encoders (zoals CLIP, DINOv2/v3 en SSCD) worden veel gebruikt voor zoekopdrachten, integriteitscontrole en het detecteren van near-duplicates. Deze modellen zijn vaak "bevroren" (niet specifiek getraind voor gezichtherkenning) en worden ingezet voor niet-biometrische taken.

Het centrale probleem is dat deze encoders, ondanks hun ontwerp voor algemene visuele taken, identiteitsinformatie (gezichten) kunnen lekken.

• Privacyrisico: Gebruikers van deze systemen (bijv. in financiën of e-commerce) willen vaak geen biometrische technologie gebruiken vanwege strikte privacywetgeving (GDPR, CCPA). Ze vertrouwen echter op deze encoders voor taakgerelateerde zoekopdrachten.
• Het meetkloof: Bestaande privacyaudits richten zich voornamelijk op specifieke gezichtsherkenningssystemen (FR) of meten alleen gesloten sets. Er ontbreekt een gestandaardiseerde, "aanvaller-bewuste" meting voor open-set scenario's met lage False Accept Rates (FAR), wat de standaard is in productieomgevingen.
• De afweging: Hoe kunnen we de identiteit uit de embedding verwijderen zonder de nuttige eigenschappen voor de oorspronkelijke taak (zoals zoekopdrachten op kleding of achtergrond) te vernietigen?

2. Methodologie

De auteurs hanteren een aanpak die bestaat uit twee hoofdfasen: meting en mitigatie.

A. Meting (Audit)

De auteurs ontwikkelen een benchmark-suite om identiteitslekken te kwantificeren onder realistische, aanval-gerichte omstandigheden:

1. Open-set Few-Shot Verificatie: Ze testen of een lineaire probe (Ridge-regressie) of een niet-lineaire probe (MLP) identiteit kan herkennen bij onbekende gezichten met een zeer lage FAR (rond $10^{-4}$).
2. Gecalibreerde Template Inversie: Ze gebruiken generatieve modellen (Diffusion, StyleGAN2) om te proberen gezichten te reconstrueren vanuit de embeddings. Succes wordt gemeten via kruisverificatie met een gespecialiseerde FR-encoder.
3. Face-Context Attribution: Om te bepalen waar de identiteitsinformatie zit (in het gezicht of de achtergrond), introduceren ze drie metrics met gelijke oppervlakte-perturbaties:
   • FII (Face Importance Index): Vergelijkt de impact van het verbergen van het gezicht versus de achtergrond.
   • CPI (Context Preference Index): Meet hoe vaak een model context prefereert boven identiteit bij vervaagde gezichten.
   • B (Background Revelation Threshold):* Meet hoeveel achtergrond er nodig is voordat context de identiteit overneemt.

B. Mitigatie: Identity Sanitization Projection (ISP)

Om de lekkage te stoppen, stellen de auteurs ISP voor. Dit is een lichte, post-hoc projectie die een geschatte "identiteits-ruimte" verwijdert.

• Principe: De methode berekent de gemiddelde embeddings per identiteit en vormt een matrix van deze gemiddelden. Via een Singular Value Decomposition (SVD) worden de belangrijkste richtingen (de subruimte die identiteit onderscheidt) geïdentificeerd.
• Projectie: De embeddings worden geprojecteerd op het orthogonale complement van deze top-$r$ richtingen. Dit verwijdert de tussen-klassen gemiddelde structuur (die identiteit encodeert) terwijl de complementaire ruimte (nuttig voor niet-biometrische taken) behouden blijft.
• Efficiëntie: Het is een "one-shot" methode die geen hertraining vereist en een vaste projectiematrix ($P$) produceert die in elke zoekpijplijn kan worden geïmplementeerd met minimale latentie.

3. Belangrijkste Bijdragen

1. Eerste Aanvaller-gecalibreerde Audit: Een uitgebreide benchmark voor niet-FR encoders (CLIP, DINOv2/v3, SSCD) die open-set verificatie, template inversie en attributie combineert.
2. ISP (Identity Sanitization Projection): Een efficiënte, lineaire projectiemethode die identiteitsinformatie verwijdert zonder de encoder opnieuw te hoeven trainen.
3. Empirisch Bewijs van Transferbaarheid: Het bewijs dat de geschatte identiteits-subruimte compact is en overdraagbaar tussen verschillende datasets (bijv. van CelebA naar VGGFace2), wat betekent dat één projectiematrix voor meerdere bronnen kan werken.
4. Open Source Toolkit: De auteurs kondigen aan hun evaluatietoolkit en projectoren open source te maken.

4. Resultaten

De experimenten zijn uitgevoerd op CelebA-20 en VGGFace2-20.

• Leakage in Raw Embeddings:

  • Niet-FR encoders tonen al beperkte lineaire toegang tot identiteit bij lage FAR, maar CLIP toont relatief meer lekkage dan DINOv2/v3 en SSCD.
  • Bij template inversie (reconstructie van gezichten) presteren niet-FR encoders slecht (verificatiesucces < 10%), terwijl gespecialiseerde FR-modellen (ArcFace) zeer hoge successen hebben (67-100%).
  • Niet-FR encoders blijken context-dominant te zijn in strakke crops; de achtergrond heeft vaak meer invloed op de similariteitscore dan het gezicht zelf.

• Effectiviteit van ISP:

  • Privacy: Na toepassing van ISP daalt de True Accept Rate (TAR) voor lineaire probes naar bijna willekeurig niveau (rond 0-3%) op beide datasets, zelfs bij lage FAR.
  • Transfer: Een projector getraind op CelebA werkt bijna even goed op VGGFace2 (en vice versa), wat aantoont dat de identiteitsstructuur universeel is binnen deze encoders.
  • Niet-lineaire Robustheid: Ook voor niet-lineaire MLP-probes daalt de TAR aanzienlijk, hoewel de formele garantie lineair is.
  • Template Inversie: ISP verandert de inversiesuccesrate voor niet-FR encoders niet significant (blijft laag), wat suggereert dat de identiteitsinformatie in deze modellen simpelweg te zwak is om te reconstrueren, en ISP deze zwakke signalen verder dempt.

• Behoud van Nut (Utility):

  • De toepassing van ISP heeft minimale impact op niet-biometrische taken.
  • Op ImageNet (k-NN en lineaire probe classificatie) blijft de nauwkeurigheid >93-100% van de baseline.
  • Voor copy-detection (SSCD op DISC2021) blijft de Recall@k >95%.
  • Dit contrasteert met gespecialiseerde FR-modellen, waar ISP niet van toepassing is (omdat hun hele doel identiteit is).

5. Betekenis en Conclusie

Dit werk is een mijlpaal in het veiligstellen van privacy in visuele AI-systemen die niet specifiek voor biometrie zijn ontworpen.

• Praktische Toepasbaarheid: Het biedt organisaties een concrete, auditable manier om "veilige" visuele zoekopdrachten te implementeren zonder biometrische data op te slaan of te gebruiken, wat cruciaal is voor compliance met privacywetgeving.
• Balans Privacy vs. Utility: Het bewijst dat het mogelijk is om een sterke privacygarantie (verwijdering van identiteitsinformatie) te bereiken zonder de bruikbaarheid van de embeddings voor algemene zoekopdrachten te offeren.
• Toekomstperspectief: Hoewel ISP lineaire aanvallen effectief blokkeert, blijft de discussie open over sterkere niet-lineaire of generatieve aanvallen. De auteurs pleiten voor verdere onderzoek naar train-time integratie en uitbreiding naar andere gevoelige attributen.

Kortom, de paper levert de eerste gestandaardiseerde maatstaf voor identiteitslekken in generieke visuele encoders en introduceert een eenvoudige, effectieve oplossing (ISP) om deze risico's te mitigeren zonder de functionaliteit van de systemen te compromitteren.