Variational Latent Entropy Estimation Disentanglement: Controlled Attribute Leakage for Face Recognition

1. O Problema

Os modelos modernos de reconhecimento facial aprendem embeddings (representações vetoriais) altamente discriminativos para identificar indivíduos. No entanto, essas representações não codificam apenas a identidade; elas também capturam inadvertidamente atributos sensíveis (como gênero, etnia, idade e estilo de cabelo), mesmo quando o modelo não foi treinado explicitamente para prever esses atributos.

Isso gera dois problemas principais:

1. Vazamento de Informação (Privacy Leakage): Quando os embeddings são armazenados ou compartilhados, terceiros podem inferir atributos sensíveis dos sujeitos dos dados, violando a privacidade.
2. Viés Algorítmico (Fairness Bias): Sistemas downstream que consomem esses embeddings podem tomar decisões baseadas em sinais demográficos, levando a tratamentos desiguais entre grupos protegidos (ex: taxas de falsos positivos diferentes para diferentes etnias).

O objetivo é transformar os embeddings pré-treinados para remover a informação sobre atributos sensíveis (desentrelaçamento), mantendo ao mesmo tempo a precisão na verificação de identidade.

2. Metodologia: VLEED

Os autores propõem o VLEED (Variational Latent Entropy Estimation Disentanglement), um método de transformação post-hoc (aplicado após o treinamento do modelo de reconhecimento) baseado em um Autoencoder Variacional (VAE) de latentes divididos.

Arquitetura e Funcionamento:

• Decomposição do Latente: O modelo recebe um embedding de entrada ($x$) e o decompõe em dois códigos latentes:
  1. Latente Residual ($z_r$): Projetado para conter toda a informação relevante para a identidade, mas ser estatisticamente independente do atributo sensível.
  2. Latente de Classe ($z_c$): Projetado para codificar o atributo sensível (ex: gênero ou etnia).
• Priors Condicionais: O latente de classe é regularizado por uma distribuição Gaussiana condicional à classe do atributo sensível, forçando o modelo a agrupar informações demográficas nesse espaço específico.
• Objetivo de Desentrelaçamento (Minimização de Informação Mútua):
  • O núcleo da proposta é minimizar a Informação Mútua (MI) entre o atributo sensível ($C$) e o latente residual ($Z_r$).
  • Como calcular a MI diretamente é difícil, o VLEED utiliza uma estimativa baseada em entropia. Um classificador auxiliar ($q_\phi$) é treinado para prever o atributo sensível a partir de $z_r$.
  • O objetivo é maximizar a entropia condicional $H(C|Z_r)$, ou seja, tornar a distribuição de saída do classificador auxiliar o mais incerta possível (próxima de uma distribuição uniforme). Se o classificador não consegue prever o atributo melhor que o acaso, a informação foi removida.
• Reconstrução: Um decodificador tenta reconstruir o embedding original a partir da concatenação de $z_r$ e $z_c$, garantindo que a geometria da identidade seja preservada no latente residual.

Treinamento:

O treinamento alterna entre atualizar o classificador auxiliar (para estimar a entropia) e atualizar o VAE (para maximizar essa entropia e minimizar a perda de reconstrução). O tradeoff entre privacidade e utilidade é controlado por um único parâmetro ($\lambda_{dis}$).

3. Contribuições Principais

1. Modelo Variacional Split-Latent: Introdução de um framework VAE que separa explicitamente o latente residual (identidade) do latente de classe (atributo sensível) usando priors condicionais.
2. Objetivo Baseado em Entropia: Formulação do desentrelaçamento como a minimização da informação mútua, realizada através de um classificador auxiliar que maximiza a incerteza, oferecendo uma interpretação operacional clara e um objetivo de treinamento estável.
3. Controle Fino do Tradeoff: Capacidade de ajustar continuamente o nível de privacidade versus utilidade através do peso de desentrelaçamento ($\lambda_{dis}$), permitindo explorar pontos de operação específicos.
4. Avaliação Abrangente: Demonstração empírica de que o método supera ou oferece um espectro de tradeoffs superior a métodos lineares (IVE, INLP) e não lineares (PFRNet) existentes.

4. Resultados Experimentais

O VLEED foi avaliado nos conjuntos de dados IJB-C, RFW e VGGFace2 para os atributos de gênero e etnia, comparado a métodos state-of-the-art (INLP, IVE, PFRNet/ASPECD).

• Desentrelaçamento Não-Linear:
  • Métodos lineares (como INLP) conseguem remover bem a informação linear, mas falham em remover vazamentos não-lineares detectáveis por redes neurais profundas (MLP profundo).
  • O VLEED consegue reduzir significativamente a previsibilidade até mesmo por classificadores não-lineares profundos, algo que o PFRNet (baseado em correspondência de momentos) não conseguiu fazer de forma consistente.
• Tradeoff Privacidade-Utilidade:
  • O VLEED oferece uma curva de tradeoff suave e contínua. É possível reduzir o vazamento de atributos gradualmente com uma degradação controlada na precisão de verificação (TMR).
  • Em contraste, métodos como IVE (eliminação de dimensões) ou PFRNet mostram comportamentos "tudo ou nada" ou degradação abrupta da utilidade.
• Generalização: O método funciona bem em cenários de cross-dataset (treinado em VGGFace2, testado em IJB-C e RFW), embora a sensibilidade à mudança de domínio (domain shift) seja observada, especialmente no conjunto RFW.
• Mitigação de Viés: A redução do vazamento de atributos correlacionou-se com a redução da disparidade nas taxas de falsos positivos (medida pelo coeficiente de Gini), indicando que o desentrelaçamento contribui para a justiça algorítmica, embora o efeito varie conforme o conjunto de dados.

5. Significado e Conclusão

O VLEED representa um avanço significativo na privacidade de biometria facial ao abordar a limitação de métodos anteriores que dependem de heurísticas ou correspondência de momentos de baixa ordem.

• Inovação Teórica: Ao focar na maximização da entropia (incerteza) via um classificador auxiliar, o método ataca diretamente a dependência estatística entre a representação liberada e o atributo sensível, oferecendo uma garantia mais robusta contra vazamentos não-lineares.
• Aplicabilidade Prática: Por ser um método post-hoc, ele pode ser aplicado a sistemas de reconhecimento facial já implantados sem a necessidade de retreinar o modelo base (backbone), o que é crucial para a adoção em larga escala.
• Equilíbrio: O trabalho demonstra que é possível obter um equilíbrio controlável entre a privacidade do usuário (removendo atributos sensíveis) e a utilidade do sistema (mantendo a capacidade de verificação), superando as limitações de métodos que sacrificam drasticamente a precisão para garantir privacidade.

Em resumo, o VLEED oferece uma solução flexível, estável e eficaz para o desentrelaçamento de atributos sensíveis em embeddings faciais, promovendo tanto a privacidade quanto a equidade em sistemas de reconhecimento facial.