Resumen Técnico: Calibración Adaptativa para el Reconocimiento Facial Justo y de Alto Rendimiento

Planteamiento del Problema

Los sistemas modernos de reconocimiento facial mapean imágenes de rostros a embeddings de alta dimensión y utilizan la similitud de coseno como puntuación de emparejamiento. Si bien estos sistemas han alcanzado una alta precisión, exhiben disparidades demográficas significativas, con tasas de error que suelen ser un orden de magnitud superiores para individuos con tonos de piel oscuros en comparación con aquellos con tonos de piel más claros.

El problema central identificado es un desajuste fundamental entre el objetivo de entrenamiento y la operacionalización del sistema. El entrenamiento emplea típicamente objetivos basados en la distancia (por ejemplo, pérdidas de contraste o de margen angular) que aseguran que los emparejamientos correctos estén más cerca que los incorrectos, pero no realizan suposiciones sobre las distancias absolutas. En consecuencia, la misma distancia de coseno puede corresponder a diferentes probabilidades de un emparejamiento correcto dependiendo de la región del espacio de embeddings. Los grupos demográficos subrepresentados suelen ocupar regiones de menor densidad en este espacio, donde el comportamiento de los embeddings está menos restringido. Cuando se aplica un umbral global a las distancias de coseno puras, este falla al no tener en cuenta estas variaciones locales, lo que conduce a errores desproporcionados (falsos rechazos o falsos aceptes) para los grupos minoritarios. Los métodos de posprocesamiento existentes suelen depender de mapeos monotónicos globales (como el escalado de Platt) o heurísticas de agrupamiento discretas que no logran capturar las necesidades de calibración continuas y específicas de cada región, o bien requieren metadatos demográficos en la inferencia, los cuales a menudo no están disponibles en despliegues del mundo real.

Metodología: Calibración Adaptativa (AC)

Los autores proponen la Calibración Adaptativa (AC), una estrategia de calibración post-hoc que mapea las puntuaciones de similitud de coseno y el contexto local del embedding a probabilidades bien calibradas sin requerir anotaciones de grupos demográficos durante el entrenamiento o la inferencia.

Concepto Central

AC aborda el desajuste mediante el aprendizaje de una función de calibración continua y localmente variable. Postula que la probabilidad de un emparejamiento depende no solo de la similitud de coseno ($s$), sino también de la ubicación del par dentro del espacio de embeddings.

Representación de Pares

Para capturar el contexto local, AC utiliza el promedio normalizado del embedding ($\bar{z}$) de un par de rostos:
$$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$$
donde $z_1$ y $z_2$ son los embeddings normalizados de los dos rostros. Esta representación se elige porque:

1. Es simétrica (el orden de la sonda/galería no importa).
2. Reside en la misma hiperesfera unitaria que los embeddings del backbone, preservando las propiedades geométricas.
3. Varía continuamente, evitando los saltos discretos asociados con los métodos basados en clústeres.

Variantes del Modelo

AC entrena un clasificador secundario para predecir la probabilidad de emparejamiento $p$ dada la representación del par y la puntuación de similitud. Se proponen tres variantes:

1. AC-MLP: Un Perceptrón Multicapa ligero que mapea el vector concatenado $[\bar{z}, s]$ a una probabilidad mediante una salida sigmoide.
2. AC-Linear: Un modelo de regresión logística sobre $[\bar{z}, s]$. Esto preserva el orden local de la similitud de la puntuación mientras permite desplazamientos específicos de la región.
3. AC-Density: Un enfoque híbrido que incorpora una medida de densidad local. Calcula la distancia euclidiana media a los $k$-vecinos más cercanos en el conjunto de entrenamiento ($\rho(\bar{z})$) para identificar regiones dispersas. Luego aplica una regresión de Ridge para predecir el error residual de una puntuación base calibrada con Platt, combinando la puntuación base, la densidad local y las características lineales.

Entrenamiento e Inferencia

El método se entrena en un conjunto de división de calibración utilizando entropía cruzada binaria para minimizar la diferencia entre las probabilidades predichas y las etiquetas de emparejamiento reales. Crucialmente, no requiere etiquetas demográficas durante el entrenamiento o la inferencia. Teóricamente, si los grupos son recuperables a partir del espacio de embeddings, un modelo suficientemente expresivo entrenado para minimizar la entropía cruzada estará calibrado por grupo para cualquier grupo de este tipo.

Contribuciones Clave

1. Nueva Estrategía de Calibración: Introducción de la Calibración Adaptativa, que mapea el contexto local del embedding y las puntuaciones de similitud de coseno a probabilidades calibradas, abordando las deficiencias tanto en precisión como en equidad.
2. Rendimiento Superior: Demostración de que AC domina a las técnicas de calibración post-hoc existentes (como FairCal, FALCON y FRAPP´E) en una amplia gama de conjuntos de datos (RFW, BFW, LFW) y backbones (ArcFace, AdaFace, MagFace, FaceNet).
3. Equidad Sin Etiquetas: El método logra una calibración equitativa sin requerir anotaciones de grupos demográficos en la inferencia, lo que lo hace práctico para despliegues donde tales metadatos no están disponibles.
4. Evitación del "Nivelación hacia Abajo" (Leveling Down): A diferencia de algunas intervenciones de equidad que degradan el rendimiento de los grupos mayoritarios para igualar los resultados, AC mejora la calibración y la precisión global, particularmente para los grupos donde el sistema tiene un peor desempeño.
5. Generalizabilidad: El enfoque proporciona calibración de grupo para cualquier grupo recuperable del espacio de embeddings (por ejemplo, etnia, género u otros atributos como accesorios para la cabeza), no solo para ejes demográficos predefinidos.

Resultados

El artículo evalúa AC contra líneas base de vanguardia en tres bancos de pruebas estándar:

• Conjuntos de Datos: Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW) y Labeled Faces in the Wild (LFW).
• Backbones: ArcFace (R50, R100), AdaFace, MagFace y FaceNet.
• Métricas:
  • Precisión: Tasa de Verdaderos Positivos (TPR) global en una Tasa de Falsos Positivos (FPR) de $10^{-3}$.
  • Equidad: Peor AUROC de grupo y Brier Score del peor grupo.
  • Nivelación hacia Abajo (Leveling-Down): Una métrica (LU-AUROC) que mide cuántos de los grupos con peor desempeño mejoran sin degradar a otros.

Hallazgos Clave:

• Precisión y Equidad: AC-Linear y AC-Density logran consistentemente los mejores o casi mejores resultados sin etiquetas en una amplia variedad de datasets y backbones. Por ejemplo, en RFW con MagFace, AC-Density mejoró el AUROC del peor grupo de 94.19 a 96.02 (una reducción de ~30% en el error residual) sin degradar a otros grupos.
• Calidad de la Calibración: AC reduce significativamente el Brier score para los grupos peor calibrados en comparación con líneas base como FairCal y FSN.
• Nivelación hacia Abajo: Las variantes de AC frecuentemente alcanzan la puntuación máxima de "Nivelación hacia Arriba" (donde todos los grupos mejoran), mientras que métodos como FRAPP´E y FSN a menudo fallan en mejorar los peores grupos sin dañar a otros.
• Comparación con Métodos Conscientes de la Demografía: Aunque los métodos que requieren etiquetas demográficas reales (Oracle, GST, DemoNorm) sirven como límites superiores, AC se acerca a su rendimiento en muchos entornos sin necesidad de esas etiquetas en la inferencia.

Significado y Reivindicaciones

El artículo sostiene que la Calibración Adaptativa proporciona una solución práctica para el reconocimiento facial equitativo. Al convertir las distancias en probabilidades calibradas mediante una función localmente variable, AC corrige el desajuste fundamental entre los objetivos de entrenamiento y los umbrales operativos.

Los autores enfatizan que su enfoque:

• Mejora el Rendimiento General: No se limita a redistribuir errores, sino que a menudo potencia la precisión global.
• Evita la "Nivelación hacia Abajo": Mejora el rendimiento para los grupos peor atendidos sin sacrificar el rendimiento de los grupos mejor atendidos, abordando un modo de fallo común en las intervenciones de equidad.
• Es Desplegable: No requiere metadatos demográficos en la inferencia, lo que lo hace adecuado para aplicaciones del mundo real donde tales datos no están disponibles.
• Es Flexible: Puede integrarse en tuberías de verificación existentes con un código personalizado mínimo, particularmente las variantes lineales.

El trabajo sugiere que, al centrarse en el contexto local del embedding, los sistemas pueden lograr una equidad y precisión robustas simultáneamente, ofreciendo un camino hacia un despliegue más equitativo de la tecnología de reconocimiento facial.