WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation

Resumen Técnico: WIDER-FAIR

Planteamiento del Problema
El despliegue de modelos de detección de rostros en dominios de alto riesgo (p. ej., aplicación de la ley, contratación) plantea preocupaciones significativas con respecto a la equidad y los resultados discriminatorios. Un obstáculo principal para estudiar y mitigar estos sesgos es la falta de conjuntos de datos de detección de rostros que incluyan anotaciones para características sensibles como la etnia y el sexo. Aunque los benchmarks existentes como WIDER-FACE son ampliamente utilizados, carecen de información demográfica, lo que impide la evaluación de las disparidades de rendimiento entre diferentes grupos. Además, la legislación como la Ley de IA de la UE exige la detección y mitigación del sesgo, lo que requiere conjuntos de datos que se alineen con las definiciones legales de clases protegidas (p. ej., origen étnico en lugar de solo el tono de piel).

Metodología
Para abordar esta brecha, los autores presentan WIDER-FAIR, un subconjunto del conjunto de datos WIDER-FACE anotado manualmente. La metodología implica los siguientes pasos:

1. Selección y Filtrado de Datos: Los autores seleccionaron imágenes del benchmark WIDER-FACE. Para asegurar la fiabilidad de la anotación y la detectabilidad del modelo, filtraron imágenes que contenían rostros con oclusión extrema, desenfoque extremo o cajas delimitadoras extremadamente pequeñas (área relativa < 0.15% de la imagen).
2. Proceso de Anotación: Un único anotador humano etiquetó manualmente la etnia y el sexo percibidos para cada rostro.
   • Categorías de Etnia: Asiático, Negro, Indio y Blanco.
   • Categorías de Sexo: Masculino y Femenino.
   • Criterios de Exclusión: Si un rostro era demasiado difícil de clasificar o el valor sensible no estaba claro, se etiquetaba como "Indeterminado". Si una imagen contenía cualquier rostro de este tipo, la imagen completa se descartaba para evitar forzar etiquetas inciertas.
   • Alcance: El conjunto de datos final comprende 16,256 imágenes que cubren los cuatro grupos étnicos y las dos categorías de sexo.
3. Garantía de Calidad: La consistencia de las anotaciones se validó mediante:
   • Embeddings Faciales: Un modelo de reconocimiento facial generó vectores de embedding de 128 dimensiones.
   • Clasificación: Se entrenó un clasificador de K-Vecinos Más Cercanos (KNN) sobre estos embeddings para predecir características sensibles. Una alta precisión en esta tarea de clasificación sugirió coherencia en la anotación.
   • Visualización: La visualización t-SNE demostró que los rostros con los mismos atributos sensibles se agrupaban en el espacio de embedding.
4. Evaluación Experimental: Los autores entrenaron un modelo de detección de rostros YOLOv5 para evaluar la utilidad del conjunto de datos. Realizaron estudios de ablación utilizando un enfoque de "Dejar Uno Fuera" (Leave One Out):
   • Dejar una Etnia Fuera (LOEO - Leave One Ethnicity Out): Entrenar modelos excluyendo un grupo étnico del conjunto de entrenamiento.
   • Dejar un Sexo Fuera (LOSO - Leave One Sex Out): Entrenar modelos excluyendo un sexo del conjunto de entrenamiento.
   • Métricas: El rendimiento se midió utilizando el Recall en varios umbrales de Intersección sobre Unión (IoU). La equidad se evaluó mediante la Igualdad de Oportunidades, cuantificada por la disparidad (desviación estándar) del recall a través de los grupos sensibles.

Resultos Clave

• Calidad de la Anotación: El clasificador KNN logró una alta precisión en la predicción de las características sensibles anotadas, y las visualizaciones t-SNE confirmaron que los grupos formaban clústeres distintos, lo que indica que las anotaciones son coherentes.
• Disparidades de Rendimiento Base: Al ser entrenado con el conjunto de datos completo, el modelo exhibió un menor rendimiento de detección (recall) para individuos negros en comparación con individuos asiáticos, indios y blancos. Los individuos blancos mostraron un rendimiento ligeramente inferior al de los grupos asiático e indio. Se observó una brecha de rendimiento menor entre sexos, siendo los rostros masculinos ligeramente más difíciles de detectar que los femeninos.
• Hallazgos de la Ablación:
  • Etnia: Excluir al grupo negro del entrenamiento resultó en la caída más significativa del rendimiento para ese grupo específico y causó el mayor aumento de la disparidad en comparación con otros escenarios LOEO. Esto sugiere que la presencia de rostros negros en los datos de entrenamiento es crítica para la generalización y la equidad del modelo.
  • Sexo: Excluir los rostros femeninos redujo la disparidad, pero disminuyó la capacidad del modelo para detectar mujeres. Excluir los rostros masculinos aumentó la disparidad, sugiriendo que los rostros masculinos también son importantes para la generalización.

Significancia y Reivindicaciones
El artículo afirma que WIDER-FAIR proporciona un recurso necesario para que la comunidad evalúe y comprenda el sesgo en los modelos de detección de rostros, basándose en un benchmark bien conocido. Los autores enfatizan que el conjunto de datos está destinado a apoyar tareas de evaluación de equidad al proporcionar anotaciones demográficas alineadas con las definiciones legales de características protegidas.

Los autores mantienen un tono modesto respecto a las limitaciones de su conjunto de datos, declarando explícitamente:

• Las anotaciones fueron realizadas por un solo humano basado en la etnia y el sexo percibidos, no en la autoidentificación de la verdad fundamental (ground-truth).
• No se puede garantizar que el conjunto de datos esté libre de sesgos no deseados o errores de anotación.
• La exclusión de imágenes difíciles (desenfoque/oclusión) involucró umbrales arbitrarios.

Consecuentemente, el artículo posiciona a WIDER-FAIR como una herramienta para iniciar la investigación sobre la equidad en la detección de rostros, alentando a futuros investigadores a tratar el conjunto de datos con la precaución apropiada mientras aprovechan su potencial para identificar disparidades de rendimiento, como la notable desventaja enfrentada por las personas negras en los modelos de detección actuales.