Variational Latent Entropy Estimation Disentanglement: Controlled Attribute Leakage for Face Recognition

1. Il Problema

I modelli di riconoscimento facciale profondo apprendono embedding (rappresentazioni vettoriali) altamente discriminativi per l'identità, ma questi vettori codificano involontariamente anche attributi sensibili (come genere, etnia, età) e caratteristiche transitorie (acconciatura, occhiali).
Questo crea due problemi fondamentali:

1. Perdita di informazioni (Information Leakage): Quando gli embedding vengono archiviati o condivisi, terze parti possono inferire attributi sensibili che l'utente non intendeva rivelare, violando la privacy.
2. Bias Algoritmico: I sistemi a valle che utilizzano questi embedding possono prendere decisioni basate su segnali demografici, portando a trattamenti disparati tra gruppi protetti (es. tassi di falso positivo diversi per diverse etnie).

L'obiettivo è trasformare gli embedding pre-addestrati in modo da rimuovere o disaccoppiare le informazioni sugli attributi sensibili, mantenendo intatta l'accuratezza nella verifica dell'identità.

2. Metodologia: VLEED

Gli autori propongono VLEED (Variational Latent Entropy Estimation Disentanglement), un metodo di trasformazione post-hoc (da applicare dopo l'estrazione degli embedding) basato su un Variational Autoencoder (VAE) con architettura a latenti divisi.

Architettura e Funzionamento

Il modello scompone ogni embedding di input $x$ in due codici latenti complementari:

1. Latente Residuo ($z_r$): Deve contenere tutte le informazioni rilevanti per l'identità, ma deve essere statisticamente indipendente dall'attributo sensibile $C$. Questo è il vettore che verrà rilasciato per la verifica.
2. Latente di Classe ($z_c$): Deve codificare specificamente l'attributo sensibile. Viene vincolato da un prior condizionato alla classe (una distribuzione Gaussiana con media specifica per ogni classe demografica), agendo come un "contenitore" designato per le informazioni sensibili.

Obiettivo di Disaccoppiamento (Disentanglement)

A differenza di metodi precedenti che usano allineamento di momenti statistici o training avversariali puri, VLEED formula il disaccoppiamento come la minimizzazione dell'informazione mutua $I(C; Z_r)$ tra l'attributo sensibile e il latente residuo.
Poiché calcolare direttamente l'informazione mutua è intrattabile, il metodo utilizza un surrogato basato sull'entropia:

• Viene addestrato un classificatore ausiliario $q_\phi(c | z_r)$ per prevedere l'attributo sensibile dal latente residuo.
• L'obiettivo di training massimizza l'entropia condizionata $H(C | Z_r)$ (o minimizza la perdita di cross-entropia del classificatore), rendendo le previsioni del classificatore il più incerte possibile (casuali).
• Se il classificatore non può prevedere l'attributo meglio del caso, l'informazione mutua è nulla.

Funzione di Perdita (Loss Function)

L'obiettivo totale combina quattro termini:

1. Ricostruzione ($L_{rec}$): Distanza coseno tra l'embedding originale e quello ricostruito dal decoder, per preservare la geometria dell'identità.
2. KL Divergence ($L_{KL}$): Regolarizza i latenti verso i loro prior (Gaussiana isotropa per $z_r$, Gaussiana condizionata per $z_c$).
3. Disaccoppiamento ($L_{dis}$): La perdita basata sull'entropia del classificatore ausiliario, che guida la rimozione dell'attributo sensibile da $z_r$.
4. Peso di Disaccoppiamento ($\lambda_{dis}$): Un parametro unico che permette di controllare finemente il compromesso tra privacy e utilità.

3. Contributi Chiave

1. Modello VAE a Latenti Divisi: Introduzione di un framework probabilistico che separa esplicitamente l'informazione identitaria da quella sensibile tramite prior condizionati, evitando stime statistiche instabili.
2. Obiettivo basato sull'Entropia: Formulazione del disaccoppiamento come minimizzazione dell'informazione mutua tramite un classificatore ausiliario, offrendo un'interpretazione operativa chiara: più il classificatore è incerto, maggiore è la privacy.
3. Controllo del Trade-off: Capacità di esplorare sistematicamente il compromesso privacy-utilità variando un singolo parametro ($\lambda_{dis}$), permettendo di trovare punti operativi specifici.
4. Valutazione Completa: Analisi empirica su benchmark standard (IJB-C, RFW, VGGFace2) che include non solo la rimozione lineare, ma anche la resistenza contro classificatori non lineari (MLP profondi) e metriche di equità (coefficiente di Gini).

4. Risultati Sperimentali

Il metodo è stato valutato su IJB-C, RFW e VGGFace2 per la rimozione di genere ed etnia, confrontato con metodi state-of-the-art come INLP, IVE, PFRNet e ASPECD.

• Compromesso Privacy-Utilità: VLEED offre una curva di compromesso più ampia e continua rispetto ai metodi esistenti. Mentre metodi come INLP riducono efficacemente la perdita lineare ma falliscono contro classificatori non lineari, VLEED riesce a ridurre significativamente anche la perdita non lineare (MLP profondi) mantenendo un'utilità di verifica accettabile.
• Disaccoppiamento Non Lineare:
  • Per il genere, la rimozione non lineare richiede un aumento significativo di $\lambda_{dis}$, portando a un calo più brusco dell'accuratezza di verifica, suggerendo che alcune strutture non lineari sono essenziali per l'identità.
  • Per l'etnia, la rimozione è più efficace e graduale; VLEED riesce a portare l'accuratezza del classificatore profondo vicino al livello di caso (chance level) con una perdita di verifica inferiore rispetto alla rimozione del genere.
• Equità (Fairness): La rimozione degli attributi sensibili riduce il coefficiente di Gini delle differenze di FMR (False Match Rate) tra gruppi demografici. Sebbene la relazione non sia strettamente monotona, i punti operativi con disaccoppiamento più forte tendono a produrre tassi di errore più uniformi tra i gruppi, mitigando il bias algoritmico.
• Confronto con PFRNet: Rispetto a PFRNet (che usa l'adeguamento dei momenti), VLEED mostra una maggiore stabilità durante l'addestramento e una capacità superiore di ridurre la perdita non lineare, grazie alla natura distribuzionale dell'obiettivo basato sull'entropia.

5. Significato e Implicazioni

VLEED rappresenta un avanzamento significativo nella privacy per il riconoscimento biometrico.

• Flessibilità Operativa: Essendo un metodo post-hoc, può essere applicato a qualsiasi sistema di riconoscimento facciale già distribuito senza bisogno di riaddestrare il modello base (backbone), rendendolo ideale per scenari reali.
• Controllo Granulare: La possibilità di sintonizzare il livello di privacy in modo continuo permette agli amministratori di sistema di scegliere il livello di protezione desiderato in base ai requisiti normativi o di sicurezza, senza dover sacrificare completamente l'accuratezza.
• Mitigazione del Bias: Dimostra che la rimozione controllata degli attributi sensibili non è solo una questione di privacy, ma uno strumento efficace per migliorare l'equità dei sistemi di riconoscimento, riducendo le disparità di prestazioni tra diversi gruppi demografici.

In sintesi, VLEED offre un approccio robusto e teoricamente fondato per trasformare embedding facciali in rappresentazioni "privacy-preserving", bilanciando efficacemente la necessità di sicurezza, privacy ed equità.