Variational Latent Entropy Estimation Disentanglement: Controlled Attribute Leakage for Face Recognition

Resumen Técnico: VLEED para Desacoplamiento de Atributos en Reconocimiento Facial

1. El Problema

Los modelos de reconocimiento facial profundo aprenden incrustaciones (embeddings) altamente discriminativas para la identidad, pero estos vectores también codifican inadvertidamente atributos de biometría suave (género, etnia, edad, etc.). Esto genera dos problemas críticos:

• Fuga de Información (Privacy Leakage): Cuando las incrustaciones se almacenan o comparten, terceros pueden inferir atributos sensibles que el sujeto no pretendía revelar.
• Sesgo Algorítmico (Algorithmic Bias): Los sistemas aguas abajo pueden tomar decisiones basadas en señales demográficas, lo que conduce a un trato dispar entre grupos protegidos (ej. tasas de falsas coincidencias diferentes por etnia o género).

El objetivo es transformar las incrustaciones preentrenadas para eliminar la información de atributos sensibles (desacoplar) sin sacrificar la precisión en la verificación de identidad. Los métodos existentes suelen basarse en heurísticas (proyecciones lineales, entrenamiento adversarial) que a menudo no garantizan la independencia estadística completa o requieren reentrenar el pipeline completo.

2. Metodología: VLEED

Los autores proponen VLEED (Variational Latent Entropy Estimation Disentanglement), un marco de transformación post-hoc (posterior) basado en un Autoencoder Variacional (VAE) de latentes divididos.

• Arquitectura:

  • Entrada: Incrustaciones faciales preentrenadas (ej. de IResNet50 + ArcFace).
  • Codificador: Descompone la entrada en dos latentes:
    1. Latente Residual ($Z_r$): Diseñado para contener información de identidad, pero ser estadísticamente independiente del atributo sensible.
    2. Latente de Clase ($Z_c$): Diseñado para codificar el atributo sensible (género o etnia) mediante priores condicionales a la clase.
  • Decodificador: Reconstruye la incrustación original a partir de la concatenación de $Z_r$ y $Z_c$.
  • Clasificador Auxiliar: Se adhiere al latente residual $Z_r$ para estimar la predictibilidad del atributo sensible.

• Objetivo de Entrenamiento (Función de Pérdida):
  El método minimiza la Información Mutua $I(C; Z_r)$ entre el atributo sensible $C$ y el latente residual $Z_r$. Esto se logra maximizando la entropía condicional $H(C | Z_r)$.

  • Pérdida de Reconstrucción ($L_{rec}$): Mantiene la geometría de identidad (distancia coseno).
  • Pérdidas KL ($L_{KL}$): Regularizan los latentes hacia sus priores (Gaussiana isotrópica para $Z_r$ y Gaussiana condicional para $Z_c$).
  • Pérdida de Desacoplamiento ($L_{dis}$): Se calcula como la entropía de las predicciones del clasificador auxiliar sobre $Z_r$. Al maximizar esta entropía (hacer que el clasificador esté tan incierto como sea posible), se minimiza la información mutua.

• Entrenamiento: Se utiliza un enfoque de minimización-maximización (min-max) donde se entrena el clasificador para predecir el atributo y luego se congelan sus parámetros para actualizar el VAE, maximizando la incertidumbre del clasificador.

3. Contribuciones Clave

1. Modelo Variacional de Latentes Divididos: Introducen un marco post-hoc que separa la identidad del atributo sensible mediante priores condicionales, evitando la manipulación de estimaciones puntuales y modelando distribuciones completas.
2. Formulación basada en Entropía: Plantean el desacoplamiento como la minimización de la información mutua, utilizando un sustituto práctico basado en un clasificador auxiliar. Esto ofrece una interpretación operativa clara: mayor incertidumbre del clasificador = menor fuga de información.
3. Control Sintonizable: Introducen un parámetro único ($\lambda_{dis}$) que permite un control fino y continuo sobre la compensación entre privacidad (fuga de atributos) y utilidad (precisión de verificación).
4. Evaluación Exhaustiva: Validación en múltiples benchmarks (IJB-C, RFW, VGGFace2) comparando contra métodos lineales (INLP, IVE) y no lineales (PFRNet, ASPECD).

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos principales evaluando la eliminación de género y etnia.

• Compensación Privacidad-Utilidad:

  • VLEED logra un rango de puntos de operación mucho más amplio y continuo que los métodos baselines.
  • A medida que aumenta $\lambda_{dis}$, la precisión de los clasificadores lineales (LR, MLP superficial) cae rápidamente hacia la línea base de la clase mayoritaria, mientras que la verificación (TMR) se mantiene utilizable en configuraciones moderadas.
  • Desacoplamiento No Lineal: VLEED es superior en la supresión de fugas no lineales (detectadas por MLPs profundos). Mientras que métodos como PFRNet o IVE luchan por eliminar la información no lineal sin colapsar la verificación, VLEED logra reducir significativamente la predictibilidad de MLPs profundos, aunque esto requiere valores altos de $\lambda_{dis}$ que impactan más la utilidad.

• Comparación con Baselines:

  • INLP: Preserva bien la utilidad y elimina fugas lineales, pero falla en fugas no lineales.
  • IVE (Eliminación de Variables): Ofrece puntos discretos; la eliminación agresiva de dimensiones destruye la identidad.
  • PFRNet/ASPECD: Basados en coincidencia de momentos. Muestran poca sensibilidad al parámetro de desacoplamiento y no logran un rango de compensación tan amplio como VLEED. Además, son más inestables numéricamente.

• Justicia (Fairness):

  • La reducción de la fuga demográfica generalmente conduce a una reducción de la disparidad en las tasas de falsas coincidencias (medida por el coeficiente de Gini).
  • VLEED logra los coeficientes de Gini más bajos (mayor equidad) en configuraciones de desacoplamiento fuerte, aunque esto suele ir acompañado de una mayor pérdida en la precisión general de verificación.

• Diferencias entre Género y Etnia:

  • La etnia es más fácil de desacoplar que el género en este contexto. La información de etnia lineal se elimina más rápido y la supresión no lineal es más completa para la etnia que para el género.

5. Significado e Impacto

• Viabilidad de Despliegue: Al ser un método post-hoc, VLEED puede aplicarse a sistemas de reconocimiento facial ya desplegados sin necesidad de reentrenar los modelos base (backbones), lo cual es crucial para la adopción práctica en la industria.
• Garantía de Independencia: A diferencia de los métodos adversarios que dependen de la capacidad de un clasificador específico, VLEED busca una independencia estadística más robusta al modelar distribuciones enteras, ofreciendo una protección teóricamente más sólida contra ataques de inferencia.
• Control Operativo: La capacidad de ajustar finamente el nivel de privacidad permite a los operadores elegir el punto óptimo según los requisitos legales o éticos específicos de su aplicación, equilibrando la protección de datos con la funcionalidad del sistema.

En conclusión, VLEED representa un avance significativo en la privacidad de la biometría, demostrando que es posible transformar incrustaciones faciales para eliminar sesgos y fugas de información sensibles de manera controlada y efectiva, superando a las técnicas de proyección lineal y métodos de coincidencia de momentos existentes.