From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

Diese Arbeit stellt einen Benchmark zur Quantifizierung von Identitätslecks in eingefrorenen visuellen Embeddings vor und schlägt eine lineare Projektionsmethode (ISP) vor, die biometrische Privatsphäre effektiv schützt, während die Nützlichkeit für Aufgaben wie Bildsuche erhalten bleibt.

Das Wesentliche

Das große Problem: Der „unsichtbare Fingerabdruck"

Stellen Sie sich vor, Sie laden ein Foto von sich auf eine App hoch. Die App nutzt einen modernen KI-Scanner, um zu prüfen, ob das Bild echt ist oder ob jemand das Bild manipuliert hat (z. B. um Betrug zu erkennen). Diese Scanner sind wie superstarke Detektive, die das Bild analysieren und in eine Art „Zahlen-Code" (einen Vektor) umwandeln.

Das Problem ist: Diese Detektive sind so gut darin, Gesichter zu verstehen, dass sie unbeabsichtigt auch Ihren persönlichen Fingerabdruck in diesen Zahlen-Code einschmuggeln. Selbst wenn die App behauptet, sie speichert keine biometrischen Daten, könnte ein cleverer Hacker den Code zurückrechnen und Ihr Gesicht rekonstruieren. Es ist, als würde man einen Brief schreiben, der eigentlich nur über das Wetter handeln soll, aber in der Tinte des Briefes ist Ihr ganzer Lebenslauf versteckt.

Die Lösung: Der „Identitäts-Sanitäter" (ISP)

Die Autoren dieses Papiers haben eine clevere Lösung gefunden, die sie ISP (Identity Sanitization Projection) nennen.

Stellen Sie sich den Zahlen-Code des Bildes wie einen großen, bunten Cocktail vor.

• Ein Teil des Cocktails ist das Gesicht (die Identität).
• Ein anderer Teil ist der Hintergrund (die Kleidung, das Café, das Wetter).
• Ein dritter Teil ist das Objekt (ein Auto, ein Hund).

Normalerweise ist der „Gesicht-Teil" im Cocktail so stark vermischt, dass man ihn kaum herausfiltern kann, ohne den ganzen Drink zu verderben. Wenn man den Gesichtsteil entfernt, ist der Cocktail oft nicht mehr genießbar (die App kann keine Bilder mehr vergleichen).

Was macht ISP?
Die Forscher haben einen magischen Sieb entwickelt.

1. Sie analysieren tausende Cocktails und finden heraus: „Aha! Der Geschmack, der alle Personen unterscheidet, sitzt in diesen drei spezifischen Ecken des Glases."
2. Sie bauen ein Sieb, das genau diese drei Ecken herausfiltert.
3. Der Rest des Cocktails (Hintergrund, Objekte, allgemeine Bildqualität) bleibt zu 99 % unberührt.

Das Ergebnis: Der Cocktail schmeckt immer noch toll (die App kann immer noch Bilder vergleichen und Manipulationen erkennen), aber niemand kann mehr herausfinden, wer auf dem Bild ist. Der „Geschmack" der Identität wurde entfernt, ohne den Drink zu zerstören.

Was haben sie getestet?

Die Forscher haben verschiedene KI-Modelle (wie CLIP, DINOv2) getestet, die oft in Apps verwendet werden.

1. Der Test: Sie haben versucht, mit Hilfe von Hackern-Tools aus den Zahlen-Codes wieder Gesichter zu rekonstruieren.

   • Ohne den Sieb: Bei einigen Modellen (wie CLIP) gelang es den Hackern, Gesichter zu erraten. Es war wie ein offenes Fenster.
   • Mit dem Sieb (ISP): Die Hacker schafften es nicht mehr. Die Gesichter waren verschwunden. Es war, als hätte man das Fenster zugemacht und die Vorhänge zugezogen.

2. Der Nutzen: Die wichtigste Frage war: „Funktioniert die App danach noch?"

   • Die Antwort war ein klares JA. Die Fähigkeit, Bilder zu finden, die ähnlich aussehen (z. B. um doppelte Profilbilder zu finden), blieb fast zu 100 % erhalten. Der „Cocktail" schmeckte immer noch genauso gut.

Warum ist das wichtig?

Viele Firmen (Banken, soziale Netzwerke) wollen Betrug verhindern, dürfen aber aus Datenschutzgründen (wie der DSGVO) keine biometrischen Daten speichern.

• Früher: Sie mussten sich entscheiden: Entweder wir nutzen die super-guten Scanner (aber riskieren Datenschutzverletzungen) ODER wir nutzen keine Scanner (und lassen Betrug zu).
• Heute: Mit diesem neuen „Sieb" (ISP) können sie die Scanner nutzen, ohne die Privatsphäre zu verletzen. Es ist wie ein Sicherheitscheck, der Ihre Identität respektiert.

Zusammenfassung in einem Satz

Die Forscher haben einen cleveren mathematischen „Filter" erfunden, der die persönlichen Gesichtsmerkmale aus den Daten von KI-Scannern entfernt, damit Hacker sie nicht missbrauchen können, während die KI trotzdem weiter hervorragend funktioniert, um Bilder zu vergleichen und Betrug zu erkennen.

Die Moral von der Geschichte: Man kann die Privatsphäre schützen, ohne die Technologie aufzugeben. Man muss nur wissen, wo man den „Identitäts-Knopf" drückt, ohne den ganzen Schalter zu zerlegen.

Technische Zusammenfassung

1. Problemstellung

Frostige (frozen) visuelle Embeddings wie CLIP, DINOv2/v3 und SSCD bilden die Grundlage für große Such- und Integritätssysteme (z. B. Near-Duplicate-Suche, Manipulationserkennung). Da diese Modelle oft ohne explizite biometrische Identitätsüberwachung trainiert wurden, werden sie häufig für nicht-biometrische Aufgaben eingesetzt.

Das zentrale Problem ist jedoch das unbekannte Risiko eines Identitätslecks (Identity Leakage): Selbst wenn diese Encoder nicht primär für Gesichtserkennung (FR) trainiert wurden, können sie bei Daten mit Gesichtern dennoch biometrische Informationen enthalten.

• Lücke in der Messung: Bisherige Sicherheitsaudits konzentrierten sich entweder auf dedizierte FR-Modelle oder untersuchten CLIP isoliert. Es fehlte eine kalibrierte Messung für open-set (unbekannte Identitäten) bei niedrigen False-Accept-Raten (FAR), wie sie in der Praxis (z. B. 10⁻⁴ bis 10⁻⁶) gefordert werden.
• Fehlende Abhilfe: Es gab keine leicht einsetzbare Methode, um diese Identitätsinformationen zu entfernen, ohne die Nützlichkeit der Embeddings für andere Aufgaben (wie Bildsuche) zu zerstören.

2. Methodik

Die Autoren verfolgen einen „angreiferbewussten" (attacker-aware) Ansatz, der aus zwei Hauptkomponenten besteht: einem umfassenden Audit-Framework und einer neuen Mitigationsmethode.

A. Audit-Framework (Messung)

Um das Ausmaß des Identitätslecks zu quantifizieren, wurde ein Test-Set entwickelt, das folgende Komponenten umfasst:

1. Open-Set Few-Shot Verifikation: Es wird geprüft, wie gut lineare Proben (Ridge-Regression) und nicht-lineare Proben (MLP) Identitäten bei niedrigen FARs (ca. 10⁻⁴) unterscheiden können.
2. Template-Inversion: Es wird getestet, ob aus den Embeddings Gesichter rekonstruiert werden können, die sich mit einem FR-System verifizieren lassen. Dafür wurden vier Angriffsmethoden genutzt: DiffMI (diffusionsbasiert), Bob (algebraisch), Vec2Face (regressionsbasiert) und ALSUV (Latent-Space-Optimierung).
3. Face-Context Attribution: Um zu verstehen, woher die Identitätsinformation stammt, wurden drei Metriken eingeführt, die den Einfluss von Gesicht vs. Hintergrund messen:
   • FII (Face Importance Index): Misst den Unterschied in der Ähnlichkeit, wenn Gesicht oder Hintergrund gleichermaßen verdeckt werden.
   • CPI (Context Preference Index): Misst, wie stark die Ähnlichkeit bei unscharfen Gesichtern vom Kontext dominiert wird.
   • B (Background Revelation Threshold):* Bestimmt, wie viel Hintergrund sichtbar sein muss, damit der Kontext die Identität übertrifft.
   • Wichtig: Alle Störungen wurden mittels Face-Coverage-Ratio (FCR) normalisiert, um faire Vergleiche zwischen verschiedenen Bildausschnitten zu gewährleisten.

B. Mitigation: Identity Sanitization Projection (ISP)

Die Autoren schlagen ISP vor, eine einstufige (one-shot), lineare Projektionsmethode, um den Identitäts-Unterraum zu entfernen.

• Prinzip: Unter der Annahme, dass Identitäten eine gemeinsame Kovarianzstruktur teilen, liegen die diskriminativen Richtungen im Unterraum der zwischen-Klassen-Mittelwerte (Between-Class Mean).
• Algorithmus:
  1. Berechnung der Mittelwerte pro Identität und des globalen Mittelwerts.
  2. Bildung einer Matrix der zentrierten Mittelwerte.
  3. Durchführung einer Singulärwertzerlegung (SVD).
  4. Projektion der Embeddings auf den orthogonalen Komplementraum der top-r Singulärvektoren (die die Identitätsrichtung repräsentieren).
• Vorteile: ISP ist rechnerisch effizient (O(dm²)), benötigt kein adversäres Training, ist deterministisch und erzeugt eine feste Projektionsmatrix $P$, die in jede Such-Pipeline integriert werden kann.

3. Wichtige Beiträge

1. Erster kalibrierter Audit: Das Paper liefert die erste umfassende, angreiferkalibrierte Bewertung der Gesichtssicherheit für nicht-FR-Encoder (DINOv2/v3, SSCD, CLIP) unter realistischen Bedingungen (Open-Set, niedrige FAR).
2. ISP-Methode: Einführung einer leichten, nachträglichen Projektion, die Identitätsinformationen effektiv entfernt, während die Nützlichkeit für nicht-biometrische Aufgaben erhalten bleibt.
3. Transferierbarkeit: Der Nachweis, dass der geschätzte Identitäts-Unterraum kompakt und über verschiedene Datensätze hinweg (z. B. von CelebA auf VGGFace2) transferierbar ist. Ein einmal auf einem Datensatz trainierter Projektor funktioniert auch auf anderen mit minimalem Leistungsabfall.
4. Open-Source: Die Autoren planen, den Code, die Projektoren und das Evaluierungstoolkit öffentlich zugänglich zu machen.

4. Ergebnisse

Die Experimente wurden auf den Datensätzen CelebA-20 und VGGFace2-20 durchgeführt.

• Leckage-Messung:

  • Roh-Embeddings zeigen bei niedrigen FARs eine gewisse lineare Zugänglichkeit für Identitäten. CLIP zeigt dabei eine relativ höhere Leckage als DINOv2/v3 oder SSCD.
  • Template-Inversion: Während FR-Modelle (ArcFace, AdaFace) mit hohen Raten (67–100 %) erfolgreich rekonstruiert werden konnten, blieben nicht-FR-Encoder (CLIP, DINOv2, etc.) bei allen Angriffsmethoden nahe Null. Dies deutet darauf hin, dass die Identitätssignale in diesen Modellen für aktuelle Generatoren zu schwach sind.
  • Kontext vs. Gesicht: Nicht-FR-Encoder sind in engen Bildausschnitten oft kontextdominiert (der Hintergrund beeinflusst die Ähnlichkeit stärker als das Gesicht), während FR-Modelle gesichtsdominiert sind.

• Wirksamkeit von ISP:

  • Privatsphäre: Nach Anwendung von ISP sinkt die True-Accept-Rate (TAR) für lineare Angreifer auf fast Zufallsniveau (nahe 0–1 %) bei gleichzeitigem Erhalt der niedrigen FAR.
  • Nicht-lineare Robustheit: Auch nicht-lineare MLP-Proben zeigten nach ISP einen drastischen Rückgang der TAR auf nahezu Null.
  • Nützlichkeit (Utility): Die Anwendung von ISP hatte kaum negative Auswirkungen auf nicht-biometrische Aufgaben. Die Genauigkeit bei ImageNet-Klassifizierung und Copy-Detection (SSCD) blieb bei über 95–100 % des ursprünglichen Wertes.
  • Transfer: Ein Projektor, der auf CelebA trainiert wurde, funktionierte auf VGGFace2 fast genauso gut wie ein spezifisch trainierter Projektor, was die Universalität des Identitäts-Unterraums bestätigt.

5. Bedeutung und Fazit

Dieses Paper adressiert eine kritische Lücke im Einsatz von KI-Modellen für die Privatsphäre. Es zeigt, dass:

1. Nicht-biometrische Encoder zwar weniger anfällig sind als FR-Modelle, aber dennoch messbare Identitätslecks aufweisen können.
2. Diese Lecks durch eine einfache, lineare Subraum-Entfernung (ISP) effektiv und nachweisbar eliminiert werden können.
3. Dies ohne Kompromisse bei der Leistung für die eigentlichen Anwendungsfälle (Suche, Integritätsprüfung) geschieht.

Die Arbeit bietet somit einen praktischen Weg für Organisationen, um visuelle Embeddings in regulierten Umgebungen (z. B. Finanzwesen, E-Commerce) einzusetzen, ohne gegen Datenschutzbestimmungen (wie GDPR/CCPA) zu verstoßen, da die biometrische Information mathematisch „herausprojiziert" und damit für Angreifer unzugänglich gemacht wird. Die Methode ist auditierbar, skalierbar und leicht in bestehende Infrastrukturen integrierbar.