Benchmarking Face Recognition without Real Faces

Resumen Técnico: Evaluación Comparativa de Reconocimiento Facial sin Rostros Reales

Planteamiento del Problema
Si bien los conjuntos de datos de rostros sintéticos han avanzado hasta el punto en que los modelos entrenados enteramente con datos artificiales logran una precisión de reconocimiento que rivaliza con aquellos entrenados con fotografías reales, el proceso de evaluación sigue dependiendo de datos biométricos del mundo real. Las prácticas de investigación actuales requieren el uso de evaluaciones de rostros reales (por ejemplo, LFW, IJB-C) para validar modelos entrenados con datos sintéticos. Esta dependencia deja la carga ética y de privacidad de la recolección de datos biométricos solo parcialmente resuelta, ya que la fase de evaluación aún requiere el acceso a identidades reales sensibles. Además, la investigación existente sobre conjuntos de datos de evaluación sintéticos es limitada y carece de una guía clara sobre su aplicabilidad práctica, lo que plantea preocupaciones sobre desajustes distribucionales, falta de separabilidad de identidad y sesgos demográficos en los datos sintéticos.

Metodología
Los autores llevaron a cabo una evaluación empírica exhaustiva para determinar si los conjuntos de datos sintéticos pueden reemplazar de manera confiable a los referentes (benchmarks) reales. El estudio consistió en:

• Conjuntos de Datos: Una comparación de 12 conjuntos de datos de reconocimiento facial sintético (generados mediante GANs, Modelos de Difusión y enfoques híbridos de morfología 3D) frente a 7 referentes reales establecidos (LFW, CPLFW, CALFW, AgeDB-30, CFP-FP, IJB-B e IJB-C).
• Modelos: Evaluación a través de 24 modelos de reconocimiento facial preentrenados, que abarcan tanto Redes Neuronales Convolucionales (CNN) como Vision Transformers (ViT). Notablemente, el estudio incluyó modelos entrenados enteramente con datos sintéticos.
• Métricas: La evaluación utilizó métricas de verificación biométrica estándar, incluyendo la precisión de reconocimiento, la Tasa de Error Igual (EER), la Tasa de Falsos Emparejamientos (FMR) en varios umbrales (FMR100, FMR1000), ZeroFMR y la Tasa de Aceptación Verdadera (TAR).
• Análisis Estadístico: Para evaluar la fidelidad de la evaluación comparativa, los autores midieron:
  • Acuerdo Lineal: El coeficiente de correlación de Pearson ($r$) entre las puntuaciones en los conjuntos de datos sintéticos y reales.
  • Consistencia de Clasificación: La correlación de rango de Spearman ($\rho$) para determinar si se preserva el orden relativo de los modelos.
  • Propiedades Distribucionales: La Distancia de Inception de Fréchet (FID) para cuantificar la brecha de dominio entre las distribuciones sintéticas y reales, y el análisis de las distribuciones de puntuación de similitud para pares emparejados frente a no emparejados.
• Protocolos: El estudio se adhirió a los protocolos de evaluación específicos de cada conjunto de datos real (por ejemplo, Unrestricted with Labeled Outside Data para LFW, basado en plantillas para IJB-B/C) y aplicó un protocolo consistente de 3,000 pares emparejados/3,000 no emparejados para los conjuntos de datos sintéticos.

Contribuciones Clave

1. Primer Estudio Exhaustivo de Evaluación Comparativa: El artículo proporciona la primera evaluación sistemática de 12 conjuntos de datos sintéticos como referentes a través de 24 modelos diversos, comparándolos directamente contra 7 estándares del mundo real.
2. Desglose de Rendimiento: Ofrece un análisis detallado del rendimiento de la evaluación comparativa a través de la precisión de reconocimiento y múltiples métricas biométricas estándar (EER, FMR, ZeroFMR).
3. Identificación de Sustitutos Viables: El estudio identifica a MorphFace y Vec2Face como los candidatos sintéticos más fuertes, demostrando que pueden servir como sustitutos confiables para los referentes reales.
4. Análisis de Factores: Los autores investigan los factores subyacentes que influyen en la utilidad de la evaluación comparativa, vinculando específicamente el rendimiento con la brecha de dominio (FID), la separabilidad de identidad y la diversidad intra-clase.
5. Reproducibilidad: El código y los protocolos de evaluación se ponen a disposición pública para promover la investigación reproducible.

Resultados

• Fidelidad Variable: La fidelidad de la evaluación comparativa varía significamente entre los candidatos sintéticos. Mientras que algunos conjuntos de datos (por ejemplo, ControlFace10k, SynMulti-PIE) mostraron correlaciones negativas o débiles con los referentes reales, otros funcionaron excepcionalmente bien.
• Mejores Desempeños: MorphFace y Vec2Face lograron la mayor alineación con los referentes reales. Sus valores de Pearson's $r$ y Spearman's $\rho$ cayeron dentro de los niveles de desacuerdo natural observados entre los propios conjuntos de datos reales.
  • Para el Pearson's $r$ medio, ambos lograron 0.90.
  • Para el Spearman's $\rho$ medio, ambos lograron 0.87.
  • Sus intervalos de confianza del 95% se superpusieron con los niveles de acuerdo de los pares de conjuntos de datos reales-reales.
• Sensibilidad de la Métrica: Los conjuntos de datos sintéticos generalmente mostraron correlaciones más fuertes bajo EER y correlaciones más débiles bajo ZeroFMR. La brecha de ZeroFMR se atribuyó a distribuciones antinaturales de valores atípicos (pares no emparejados altamente similares) en algunos conjuntos sintéticos.
• Perspectivas Distribucionales:
  • Los puntajes bajos de FID eran necesarios pero no suficientes para un buen desempeño de la evaluación comparativa. Por ejemplo, CemiFace tenía un FID menor que MorphFace y Vec2Face, pero funcionaba peor como referente.
  • Los conjuntos de datos sintéticos exitosos (MorphFace, Vec2Face) exhibieron distribuciones de puntuación de similitud que se asemejan estrechamente a las de los conjuntos de datos reales desafiantes (como AgeDB-30 y CFP-FP), indicando suficiente diversidad intra-clase y una clara separabilidad de identidad.
  • Los de bajo desempeño, como ControlFace10k, sufrieron de baja variabilidad entre clases y pobre separabilidad de identidad, lo que llevó a altas tasas de falsos emparejamientos entre pares no emparejados.
• Entrenamiento vs. Evaluación Comparativa: Se observó una correlación donde los conjuntos de datos que funcionaban bien para el entrenamiento también tendían a funcionar bien para la evaluación comparativa, aunque la relación no es estrictamente uno a uno (por ejemplo, SynFace era débil para el entrenamiento pero relativamente más fuerte para la evaluación comparativa).

Significancia y Reivindicaciones
El artículo sostiene que los conjuntos de datos sintéticos bien construidos pueden sustentar una evaluación comparativa confiable para el reconocimiento facial. Los resultados demuestran que es posible acercar el campo a un flujo de trabajo totalmente sintético y preservador de la privacidad, tanto para el entrenamiento como para la evaluación.

Los autores afirman que:

• Los referentes sintéticos no son meros ejercicios académicos; pueden reemplazar prácticamente a los datos reales para la evaluación de modelos si cumplen con criterios específicos.
• Los determinantes primarios de la calidad de la evaluación comparativa son la diversidad de datos (variación intra-clase) y la separabilidad de identidad (distinción clara entre pares genuinos e impostores).
• Los futuros conjuntos de datos sintéticos destinados a la evaluación comparativa deben demostrar empíricamente la alineación con los referentes reales, asegurando que no excedan los niveles de desacuerdo natural encontrados entre los datos reales y mantengan el acuerdo en puntos operativos críticos (EER, FMR100, FMR1000).

El estudio concluye que, si bien no todos los datos sintéticos son adecuados, conjuntos de datos sintéticos de alta fidelidad específicos como MorphFace y Vec2Face han alcanzado un nivel de madurez en el que pueden reducir eficazmente la dependencia de los datos faciales reales sensibles a la privacidad para la evaluación de sistemas de reconocimiento facial.