From Measurement to Mitigation: Quantifying and Reducing Identity Leakage in Image Representation Encoders with Linear Subspace Removal

Questo lavoro presenta un benchmark per valutare la perdita di identità negli encoder visivi congelati e propone una proiezione lineare a colpo singolo (ISP) che rimuove efficacemente le informazioni biometriche preservando al contempo l'utilità per il recupero delle immagini.

L'essenziale

🕵️‍♂️ Il Problema: Le "Impronte Digitali" Nascoste nelle Foto

Immagina di avere una macchina fotografica magica (chiamata Encoder) che guarda una foto e ne crea una "carta d'identità matematica" (un vettore). Questa carta d'identità serve a trovare foto simili, a capire se due immagini sono copie l'una dell'altra o a cercare oggetti in un database.

Il problema è che molte di queste macchine fotografiche moderne (come CLIP, DINO, ecc.) sono state addestrate per essere bravissime a riconoscere oggetti e scene, non volti. Tuttavia, quando guardano una foto di una persona, finiscono per "rubare" involontariamente i dettagli del viso.

L'analogia:
Pensa a queste macchine fotografiche come a un detective molto attento. Se gli mostri una foto di un amico in vacanza, il detective non solo ti dice "È una foto di mare!", ma nota anche: "Ah, è Mario! Ha quel neo sulla guancia e porta quella maglietta rossa".
Anche se il detective non è stato assumato per riconoscere Mario (il suo compito è solo dire "è una foto di mare"), il suo cervello ha memorizzato Mario. Questo è un rischio per la privacy: se qualcuno ruba la "carta d'identità matematica" di Mario, potrebbe ricostruire la sua faccia o usarla per ingannare i sistemi di sicurezza.

🛡️ La Soluzione: Il "Filtro Anti-Identità" (ISP)

Gli autori del paper hanno pensato: "Come possiamo pulire queste carte d'identità matematiche per rimuovere i dettagli del viso, ma mantenere le informazioni utili (come il fatto che è una foto di mare)?"

Hanno creato una soluzione chiamata ISP (Identity Sanitization Projection).

L'analogia creativa:
Immagina che la carta d'identità matematica sia un vassoio di frutta mista.

• C'è la frutta che ci interessa (le mele, le pere, le arance) = Il contesto (il mare, la maglietta, l'edificio).
• C'è un frutto specifico che non vogliamo = Il viso (Mario).

Il problema è che il frutto "Mario" è mescolato con gli altri. Se provi a toglierlo a mano, rischi di rovinare tutto il vassoio.
L'ISP è come un setaccio magico.

1. Analizza il vassoio e capisce esattamente in che direzione spaziale si trova il frutto "Mario" (il "sottospazio dell'identità").
2. Crea un filtro che blocca solo quella direzione.
3. Fa passare tutto il resto.

Risultato? Il vassoio è ancora pieno di frutta utile (puoi ancora cercare foto di mare), ma il frutto "Mario" è sparito. Se qualcuno prova a ricostruire la faccia di Mario da questa nuova carta d'identità pulita, troverà solo... buco.

🔍 Come hanno verificato che funziona?

Gli autori non si sono fidati solo della teoria. Hanno fatto tre tipi di test, come se fossero dei "giocatori di ruolo" che cercano di violare il sistema:

1. Il Riconoscitore (Prova di Riconoscimento):
   Hanno chiesto a un sistema di riconoscere persone usando queste carte d'identità pulite.

   • Risultato: Il sistema ha fallito miseramente. È come se avesse cercato di indovinare il nome di un estraneo lanciando una moneta. La privacy è salva.

2. Il Ricreatore (Prova di Inversione):
   Hanno usato un'intelligenza artificiale generativa (come DALL-E o Midjourney) per provare a ridisegnare la faccia partendo dalla carta d'identità.

   • Risultato: Con le carte d'identità originali, l'IA riusciva a ridisegnare facce molto somiglianti. Con le carte pulite dall'ISP, l'IA produceva solo macchie di colori o volti che non assomigliavano a nessuno.

3. L'Utilità (La Prova della Funzionalità):
   Hanno chiesto: "Ma ora che abbiamo tolto il viso, la macchina fotografica è ancora utile per il suo lavoro?"

   • Risultato: Sì! Se devi cercare "foto di persone che fanno surf", il sistema funziona quasi perfettamente come prima. Ha solo perso la capacità di dire "Quella è Mario".

🌍 Perché è importante?

Oggi molte aziende (banche, social network, app di viaggio) vogliono usare queste tecnologie per verificare che un documento non sia falso o per trovare foto rubate, ma non possono usare il riconoscimento facciale classico perché le leggi sulla privacy (come il GDPR) lo vietano o lo rendono troppo rischioso.

Questo paper ci dice:

"Ehi, potete usare queste potenti macchine fotografiche per i vostri compiti di sicurezza, MA prima dovete passare attraverso il nostro setaccio magico (ISP). In questo modo, avrete la sicurezza di non violare la privacy delle persone, mantenendo però l'efficacia del vostro sistema."

In sintesi

• Il Problema: Le intelligenze artificiali che analizzano le foto "vedono" i volti anche quando non dovrebbero, creando rischi per la privacy.
• La Soluzione: Un filtro matematico (ISP) che rimuove i dettagli del viso come se fosse un setaccio, lasciando intatto il resto della scena.
• Il Risultato: Un sistema sicuro che protegge l'identità delle persone (nessuno può ricostruire la faccia) ma che rimane super utile per cercare immagini simili o verificare documenti.

È come avere una telecamera di sicurezza che registra tutto ciò che succede in una stanza, ma che ha un "oblò magico" sul viso delle persone: vede che c'è una persona che cammina, ma non può dire chi è.

Sommario tecnico

1. Il Problema

Gli encoder visivi "congelati" (frozen), come CLIP, DINOv2/v3 e SSCD, sono ampiamente utilizzati per sistemi di recupero (retrieval) e integrità dei dati (es. rilevamento di duplicati o manipolazioni). Tuttavia, quando questi modelli vengono applicati a dati contenenti volti, esiste un rischio di perdita di identità (identity leakage) non misurato.

• Il Dilemma: Gli operatori devono bilanciare la robustezza del modello per compiti non biometrici (come la ricerca semantica) con la necessità di proteggere la privacy degli individui.
• Il Vuoto nella Ricerca: A differenza dei sistemi di riconoscimento facciale (FR) specifici, che sono progettati per essere biometrici e operano a tassi di falsi positivi (FAR) estremamente bassi, gli encoder generici non sono stati valutati in scenari "open-set" (identità sconosciute) a bassi FAR. Non esiste un metodo calibrato per certificare se questi encoder siano "sicuri" da un punto di vista della privacy.
• La Minaccia: Anche se non addestrati specificamente per il riconoscimento facciale, questi encoder potrebbero contenere residui di informazioni biometriche accessibili tramite attacchi lineari o generativi (inversione di template).

2. Metodologia

Gli autori propongono un approccio basato sulla consapevolezza dell'attaccante ("attacker-aware"), diviso in due fasi principali: misurazione e mitigazione.

A. Suite di Misurazione (Audit)

Per quantificare la perdita di identità, il paper introduce tre metriche chiave calibrate per punti operativi biometrici (basso FAR):

1. Verifica Open-Set a Basso FAR: Utilizza sonde lineari (Ridge Regression) e non lineari (MLP) per misurare il True Acceptance Rate (TAR) a un FAR fissato (es. $10^{-4}$). Questo simula un attaccante che cerca di identificare persone sconosciute.
2. Inversione di Template Calibrata: Utilizza modelli di diffusione (DiffMI) e altri metodi (Bob, Vec2Face, ALSUV) per tentare di ricostruire un volto partendo solo dall'embedding. Il successo è misurato tramite la verifica incrociata con un encoder FR dedicato.
3. Attribuzione Volto-Contesto: Introduce tre diagnostiche per capire se l'identità risiede nel volto o nel contesto circostante (sfondo, abbigliamento):
   • FII (Face Importance Index): Confronta l'impatto dell'occlusione del volto rispetto a quella dello sfondo.
   • CPI (Context Preference Index): Misura quanto un modello preferisce il contesto rispetto all'identità quando i dettagli del volto vengono sfocati.
   • $B^*$ (Background Revelation Threshold): Determina quanto sfondo deve essere rivelato affinché il contesto sovrasti l'identità.

B. Mitigazione: Identity Sanitization Projection (ISP)

Per ridurre la perdita di identità senza riaddestrare l'encoder, gli autori propongono ISP, un proiettore lineare "one-shot" (in un singolo passaggio).

• Concetto: L'identità in uno spazio vettoriale ad alta dimensionalità può essere approssimata come un sottospazio lineare definito dalle medie delle classi (identità).
• Algoritmo:
  1. Calcolare le medie per ogni identità ($\mu_i$) e la media globale ($\mu_C$).
  2. Costruire la matrice delle medie centrate $M = [\mu_1 - \mu_C, \dots, \mu_m - \mu_C]$.
  3. Eseguire una SVD (Singular Value Decomposition) su $M$ per ottenere i vettori singolari principali che definiscono il "sottospazio dell'identità".
  4. Proiettare i vettori originali sullo spazio ortogonale complementare a questi vettori principali, rimuovendo così la struttura della media tra le classi.
• Vantaggi: È un processo one-shot, non richiede addestramento di avversari iterativi, è computazionalmente efficiente e produce una matrice di proiezione fissa ($P$) che può essere esportata e applicata in inferenza con latenza trascurabile.

3. Contributi Chiave

1. Audit Calibrato per Attaccanti: La prima valutazione aperta, a basso FAR, della privacy di encoder non-FR (DINOv2, DINOv3, SSCD, CLIP) che include sia sonde lineari che inversione generativa.
2. ISP (Identity Sanitization Projection): Un metodo leggero e auditabile per rimuovere il sottospazio dell'identità preservando l'utilità per compiti non biometrici.
3. Evidenza di Trasferibilità: Dimostrazione che il sottospazio dell'identità è compatto e trasferibile tra dataset diversi (es. addestrato su CelebA, efficace su VGGFace2), permettendo l'uso di un proiettore fisso su corpora diversi.
4. Open Source: Rilascio del toolkit di valutazione e dei proiettori per l'adozione industriale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CelebA-20 e VGGFace2-20.

• Misurazione della Perdita:

  • Gli encoder non-FR mostrano una perdita di identità lineare modesta ma misurabile (CLIP è più vulnerabile di DINOv2/SSCD).
  • Inversione: Gli encoder FR (ArcFace, AdaFace) permettono una ricostruzione del volto con tassi di successo elevati (67-100%). Al contrario, gli encoder non-FR falliscono quasi completamente nell'inversione (tassi vicini allo 0%), indicando che il segnale biometrico è debole o non navigabile per i prior generativi attuali.
  • Attribuzione: Gli encoder FR sono dominati dal volto. Gli encoder non-FR, specialmente in crop stretti, tendono a essere dominati dal contesto (sfondo), rendendo l'identità meno stabile rispetto al contesto.

• Efficacia di ISP:

  • Privacy: ISP riduce il TAR@FAR=$10^{-4}$ per gli encoder non-FR a livelli vicini al caso casuale (spesso < 1-2%), anche contro sonde non lineari (MLP).
  • Utilità: L'applicazione di ISP preserva quasi interamente l'utilità per compiti non biometrici (es. classificazione ImageNet, rilevamento di copie DISC2021), con perdite di accuratezza minime o nulle.
  • Trasferibilità: Un proiettore ISP addestrato su un dataset (es. CelebA) mantiene la sua efficacia quando applicato a un altro dataset (es. VGGFace2), confermando che il sottospazio dell'identità è una proprietà universale dell'encoder e non specifica del dataset.

5. Significato e Implicazioni

Questo lavoro colma un divario critico tra l'uso pratico di potenti modelli visivi e i requisiti di privacy normativa (GDPR, CCPA).

• Certificabilità: ISP fornisce un "certificato" matematico contro attacchi lineari, permettendo alle organizzazioni di utilizzare encoder potenti per il recupero e l'integrità dei dati senza violare le restrizioni sull'uso di dati biometrici.
• Scalabilità: La natura "one-shot" e la trasferibilità di ISP lo rendono ideale per la distribuzione su larga scala, evitando la necessità di riaddestramento costoso o di architetture complesse.
• Sicurezza Proattiva: Il paper dimostra che è possibile ottenere un compromesso forte tra privacy e utilità, rendendo i modelli di visione artificiale più sicuri per il deployment nel mondo reale, specialmente in settori sensibili come finanza e e-commerce.

In sintesi, il paper trasforma la privacy da un vincolo passivo a una proprietà misurabile e mitigabile, fornendo strumenti pratici per "sanificare" le rappresentazioni visive mantenendone la potenza funzionale.