Resumen Técnico: Mitigación de Sesgos en el Reconocimiento Facial mediante Aprendizaje Contrastivo Supervisado Basado en Demografía

1. Declaración del Problema

Los sistemas de reconocimiento facial (FR, por sus siglas en inglés), particularmente aquellos basados en aprendizaje profundo, exhiben un sesgo significativo entre grupos demográficos (por ejemplo, género, edad, etnia). Este sesgo se manifiesta como tasas de error disparatadas, donde ciertos grupos sufren mayores Tasas de Falsos Emparejamientos (FMR) o Tasas de Falsos No Emparejamientos (FNMR). Si bien el desequilibrio en los datos de entrenamiento es un contribuyente conocido, el simple hecho de equilibrar el conjunto de datos de entrenamiento no mitiga completamente el problema.

El desafío central reside en el despliegue operativo de los sistemas de FR, que típicamente funcionan en tasas de falsos emparejamientos muy bajas (la "cola" de la distribución de puntuación de no emparejamiento). Las técnicas estándar de equilibrio de clases suelen mejorar la media de las distribuciones de puntuación, pero no logran abordar el comportamiento en la cola, donde la equidad es más crítica. Además, las estrategias de mitigación existentes suelen enfrentar un compromiso: los métodos que eliminan la información demográfica sensible de los embeddings para prevenir el sesgo a menudo degradan el rendimiento de verificación general, mientras que la normalización de puntuación post-hoc requiere información demográfica durante el despliegue, lo cual no siempre está disponible o es deseable.

2. Metodología: DeSCon

Los autores proponen DeSCon (Aprendizaje Contrastivo Supervisado basado en Demografía), un marco que integra el aprendizaje contrastivo supervisado en los marcos estándar de softmax basados en márgenes (por ejemplo, ArcFace). El enfoque tiene como objetivo mejorar la equidad mediante el abordaje explícito de la cola de la distribución de la puntuación de no emparejamiento sin sacrificar el poder discriminativo.

Mecanismo Central

DeSCon combina dos objetivos complementarios:

1. Pérdida basada en centroides (ej. ArcFace): Atrae los embeddings hacia su centro de clase y los aleja de otros centros de clase para asegurar la separabilidad interclase.
2. Pérdida Contrastiva Supervisada (SupCon): Opera directamente sobre los embeddings, uniendo pares "emparejados" (misma identidad) y separando pares "no emparejados" (distintas identidades).

La innovación clave es la selección de pares consciente de la demografía dentro del componente SupCon. A diferencia del aprendizaje contrastivo estándar, que trata todos los pares no emparejados por igual, DeSCon guía la selección de pares negativos basándose en etiquetas demográficas para apuntar específicamente a la separación dentro de cada grupo.

Estrategias de Muestreo

El artículo explora tres estrategias específicas para seleccionar pares no emparejados ($N(a)$) para el denominador de la pérdida contrastiva:

• DeSCon-All: Aplica la pérdida contrastiva a todos los pares no emparejados en el lote (batch), independientemente del grupo demográfico.
• DeSCon-WG (Dentro del Grupo - Within-Group): Restringe el muestreo de pares no emparejados a muestras que pertenecen al mismo grupo demográfico que el ancla. Esto mejora el equilibrio local y la separación intra-grupo.
• DeSCon-Hard: Se enfoca en los pares no emparejados más difíciles (hardest) dentro del mismo grupo demográfico (los $K$ ejemplos más similares de los no emparejados). Esta estrategia apunta específicamente a la cola de la distribución de no emparejamiento, con el objetivo de maximizar la regularización de la equidad donde más se necesita.

Objetivo de Entrenamiento

La función de pérdida total combina ArcFace y la SupCon ponderada por demografía:
$$L_{total} = \frac{1}{B} \sum_{b=1}^{B} w_d [L_{arc}(x_b) + \lambda \cdot L_{sup}(x_b)]$$
Donde $w_d$ es un peso consciente del grupo para compensar el desequilibrio demográfico en los datos de entrenamiento, y $\lambda$ equilibra los dos objetivos. El marco está diseñado para ser compatible con diversos backbones y pérdidas basadas en márgenes (ej. ArcFace, AdaFace).

3. Contribuciones Clave

• Introducción de DeSCon: Una función de pérdida consciente de la equidad que aumenta las pérdidas basadas en centroides con aprendizaje contrastivo supervisado para mejorar conjuntamente la precisión y la equidad.
• Muestreo Estratégico de Pares: La exploración de tres estrategias de muestreo (All, WG, Hard) para equilibrar la separación global, la consistencia intra-grupo y la regularización de negativos difíciles.
• Evaluación Exhaustiva: Experimentos extensos a través de múltiples backbones (IResNet50, IResNet100) y benchmarks (RFW, BFW, VGGFace2, IJB-C) utilizando regímenes de entrenamiento tanto equilibrados como desequilibrados.
• Métricas Estandarizadas: Una evaluación rigurosa que se adhiere a los estándares ISO/IEC 19795-10, utilizando el coeficiente de Gini para medir la desigualdad en FMR (FPD) y FNMR (FND) entre grupos, en lugar de depender únicamente de la precisión por grupo con umbrales separados.

4. Resultados Experimentales

Los autores evaluaron DeSCon contra métodos de mitigación de sesgo de vanguardia (ej. RamFace, MixFairFace, DeFT, ScoreNorm) y líneas base (baselines).

• Equidad vs. Rendimiento: Las variantes de DeSCon mejoraron consistentemente las métricas de equidad (reducción de FPD y FND) manteniendo un rendimiento de verificación competitivo (TMR).
• Superioridad de DeSCon-Hard: En escenarios de entrenamiento tanto equilibrados como desequilibrados, DeSCon-Hard emergió como la variante más robusta. Logró el mejor equilibrio entre el rendimiento de verificación y la equidad, entregando reducciones consistentes tanto en FPD como en FND.
  • En el conjunto de datos RFW (test equilibrado), DeSCon-Hard redujo significativamente el FPD en comparación con la línea base de ArcFace.
  • En VGGFace2 (test desequilibrado), DeSCon-Hard mantuvo mejoras de equidad robustas donde otros métodos mostraron resultados mixtos.
• Hallazgos de Ablación:
  • Reemplazar SupCon con otras pérdidas de pares (ej. Triplet, Multi-Similarity) degradó el rendimiento, confirmando la necesidad de la agregación basada en SoftMax sobre todos los pares no emparejados para dar forma a la cola de la distribución.
  • El minado de negativos difíciles (DeSCon-Hard) fue identificado como la estrategia de muestreo más efectiva.
  • El método se generalizó bien a pérdidas de margen más fuertes como AdaFace.
• Rendimiento en Benchmarks: En los benchmarks de verificación estándar (LFW, CPLFW, AgeDB, IJB-C), las variantes de DeSCon mantuvieron una precisión comparable a la línea base de ArcFace, observándose algunas mejoras en el desafiante conjunto de datos IJB-C.

5. Significado y Afirmaciones

El artículo afirma que DeSCon ofrece una solución práctica al compromiso entre equidad y rendimiento. Su importancia radica en:

1. Equidad Adaptada: Al enfocarse en los pares no emparejados "difíciles" dentro de los grupos demográficos, el método aborda directamente la cola operativa de la distribución de puntuación, lo cual es crítico para el despliegue en el mundo real.
2. Sin Sobrecarga de Inferencia: A diferencia de los métodos de normalización post-hoc, DeSCon no requiere información demográfica ni cálculos adicionales durante la fase de inferencia (verificación).
3. Robustez: El enfoque sigue siendo efectivo incluso cuando los datos de entrenamiento están demográficamente desequilibrados, un escenario común en el mundo real.
4. Rigor Metodológico: Los autores enfatizan la importancia de adherirse a los estándares internacionales (ISO/IEC 19795-10) para la evaluación de la equidad, argumentando que muchas métricas existentes (como la precisión por grupo con umbrales separados) proporcionan evaluaciones excesivamente optimistas e irreales de la equidad.

Los autores concluyen que, si bien DeSCon-Hard proporciona las mejoras de equidad más robustas, la elección de la estrategia de muestreo y la pérdida base son decisiones de diseño críticas para el entrenamiento consciente de la equidad. Señalan que el trabajo futuro debería centrarse en extender este enfoque a conjuntos de datos a gran escala (ej. WebFace-260M) donde las anotaciones demográficas actualmente no están disponibles o no son fiables.