CounterFace: A Synthetic Face Dataset for Fine-Grained Counterfactual Evaluation of Face Recognition Systems

Resumen Técnico: CounterFace

Planteamiento del Problema
Los sistemas de Reconocimiento Facial (FR) están ampliamente desplegados, pero suelen exhibir sesgos y sensibilidad a factores específicos como la iluminación, la pose y el tono de piel. Los bancos de pruebas de evaluación estándar (p. ej., LFW, CelebA) dependen típicamente de conjuntos de datos del mundo real que capturan variaciones de grano grueso (envejecimiento, pose), pero carecen de variaciones finas y controladas en atributos faciales como peinados, maquillaje o accesorios. Si bien la evaluación contrafactual ofrece un método para aislar el impacto de atributos específicos en la robustez del modelo, los conjuntos de datos contrafactuales sintéticos existentes sufren limitaciones significativas. Los enfoques anteriores dependen de datos sintéticos ruidosos y no verificados o requieren una costosa verificación humana para seleccionar muestras conformes. Este proceso de intervención humana limita la escala de la cobertura de atributos y demografía, impidiendo un análisis exhaustivo de los modos de falla de los sistemas de FR en diversas poblaciones.

Metodología
Los autores proponen CounterFace, un flujo de trabajo totalmente automatizado para generar un conjunto de datos de rostros contrafactuales sintéticos. El núcleo de la metodología es un marco de Muestreo de Rechazo (RS) que integra generadores de imágenes comerciales con verificadores automatizados personalizados.

1. Flujo de Generación (Etapa 1):

   • Rostros de Origen: El flujo genera rostros de origen utilizando modelos de difusión (Realistic Vision) y GANs. Para asegurar la consistencia de la identidad a través de las variaciones, los autores utilizan GPT-4o para compilar nombres de celebridades para demografías específicas, generando múltiples variaciones por identidad.
   • Modificación de Atributos: Los rostros de origen se modifican para añadir o eliminar atributos específicos mediante técnicas de edición. Los autores emplean SEGA (basado en difusión) y StyleCLIP (basado en GAN), seleccionando el método óptimo para cada uno de los 20 atributos objetivo basándose en pruebas preliminares.
   • Pares Candidatos: Esta etapa produce un gran grupo de pares de rostros candidatos (origen vs. modificado) para cada combinación de atributo-demografía.

2. Muestreo de Rechazo (Etapa 2):

   • Los candidatos se filtran contra tres requisitos contrafactuales estrictos:
     • Validez: El rostro modificado debe ser semánticamente correcto, manteniendo la identidad original y libre de artefactos antinaturales.
     • Corrección: El atributo objetivo debe haberse añadido o eliminado con éxito.
     • Especificidad: Solo el atributo objetivo debe cambiar; todos los demás atributos deben permanecer constantes.
   • Verificadores Automatizados:
     • Detectores de Artefactos: Un SVM lineal entrenado con embeddings de CLIP (para salidas de difusión/SEGA) y un Modelo de Lenguaje-Visión (MOLMO-72B para salidas de GAN/StyleCLIP) detectan distorsiones antinaturales.
     • Detectores de Atributos: Se utilizan Modelos de Lenguaje-Visión propietarios (GPT-4o, Claude 3.5 Sonnet, Gemini-Pro) para verificar la presencia/ausencia de atributos. El modelo con mejor rendimiento se selecciona para cada combinación de atributo-demografía basándose en un conjunto de validación anotado por humanos.
   • Preservación de la Identidad: Crucialmente, el flujo de trabajo no utiliza un modelo de FR para verificar la preservación de la identidad, evitando el sesgo hacia sistemas de reconocimiento específicos. En su lugar, la consistencia de la identidad se asegura mediante un ajuste riguroso de los hiperparámetros de los métodos de edición.

Contribuciones Clave

• Dataset CounterFace: Un nuevo conjunto de datos sintético que comprende 11.821 pares de rostros contrafactuales. Cubre 20 atributos faciales (p. ej., mascarilla, maquillaje pesado, vello facial, gafas de sol) y 8 factores demográficos (combinaciones de 2 sexos y 4 etnias), totalizando 160 combinaciones de atributo-demografía. Esto representa una expansión de 14 atributos y 2 demografías sobre los conjuntos de datos sintéticos previos.
• Flujo de Verificación Automatizada: Un novedoso flujo de trabajo de muestreo de rechazo totalmente automatizado que elimina la necesidad de verificación humana, reduciendo significativamente los costos y permitiendo la escalabilidad.
• Validación de Fidelidad: Un estudio de usuario post-hoc ($n=900$) confirma la calidad del dataset, mostrando que el 96.9% de los pares muestreados mantuvieron la identidad y el 84.04% cumplieron con todos los requisitos contrafactuales.
• Evaluación Exhaustiva de FR: El dataset se utiliza para evaluar seis sistemas de FR (dos comerciales: AWS Rekognition, Face++; cuatro de código abierto: AdaFace, MagFace, ArcFace, FaceNet) a través de todas las 160 combinaciones.

Resultos

• Varianza del Rendimiento del Sistema: La degradación del rendimiento varía significativamente entre atributos y demografías para los seis sistemas. Los modelos más nuevos (AdaFace, MagFace) y los sistemas comerciales (AWS, Face++) generalmente demuestran una mayor robustez que los modelos de código abierto más antiguos (FaceNet, ArcFace).
• Atributos de Oclusión: Los atributos que ocluyen el rostro, como mascarillas y gafas de sol, degradan universalmente el rendimiento en todos los sistemas y demografías, aunque la magnitud de la caída varía.
• Sensibilidad Demográfica: Se aislaron modos de falla específicos. Por ejemplo, todos los sistemas tuvieron dificultades con el vello facial en rostros femeninos y barbas espesas en hombres de Asia Oriental, lo que sugiere que los modelos tienen problemas con combinaciones de atributos-demografía fuera de la distribución.
• Atributos Periféricos: Los atributos en la periferia del rostro (p. ej., color de cabello, diademas, bufandas) generalmente tienen efectos insignificantes en el rendimiento, excepto en casos específicos como el cabello a la altura de los hombros en hombres de Asia Oriental.
• Estudios de Ablación:
  • Tamaño del Modelo: Los modelos más grandes (ResNet-100) superan a los más pequeños (ResNet-50) en la generalización a cambios contrafactuales.
  • Factores Confundentes: Relajar el criterio de "Especificidad" (permitiendo factores confundentes) conduce a tasas de Falsos No Coincidencia (FNMR) significativamente más altas, demostrando la necesidad de un aislamiento estricto de atributos para una evaluación fiable.
  • Umbrales: Los sistemas muestran una mejora en la robustez en entornos enfocados en la utilidad (FMR=1%) en comparación con entornos enfocados en la seguridad (FMR=0.1%), aunque los atributos de oclusión siguen siendo un desafío.

Significado
El artículo posiciona a CounterFace como una herramienta para el diagnóstico de grano fino de los sistemas de FR. A diferencia de los bancos de pruebas estándar que proporcionan precisión promedio, CounterFace permite aislar modos de falla precisos vinculados a combinaciones específicas de atributo-demografía. Esto permite a los desarrolladores de modelos identificar exactamente dónde y por qué falla un sistema (p. ej., dificultades específicas con el vello facial en ciertas demografías) y ajustar sus sistemas en consecuencia. El trabajo demuestra que los datos sintéticos automatizados y verificados pueden reemplazar eficazmente los procesos costosos de intervención humana para la evaluación contrafactual, proporcionando un camino escalable hacia sistemas biométricos más robustos y justos. Los autores señalan que el dataset está restringido y destinado estrictamente para la evaluación de investigación, no para entrenamiento, para evitar su uso indebido.