Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

Título: Equidad Demográfica en Modelos de Lenguaje Multimodal (MLLM): Una Evaluación de Sesgos de Género y Etnia en la Verificación Facial

1. Problema y Motivación

Los Modelos de Lenguaje Multimodal (MLLM) han emergido como una alternativa prometedora a los sistemas tradicionales de reconocimiento facial basados en embeddings. A diferencia de estos últimos, que requieren entrenamiento especializado en identidades faciales para generar representaciones numéricas, los MLLM abordan la verificación facial mediante preguntas visuales (visual prompting) y razonamiento general, sin necesidad de entrenamiento específico para la tarea.

Sin embargo, existe una brecha crítica en la investigación:

• Falta de evaluación de equidad: Mientras que la equidad demográfica en sistemas de reconocimiento facial tradicionales está bien estudiada, no existe un análisis comparable para los MLLM.
• Riesgo de sesgo: Los sistemas biométricos han demostrado históricamente tasas de error desiguales entre grupos demográficos (etnia, género), lo cual es inaceptable en aplicaciones de alto riesgo. No está claro si los patrones de sesgo de los sistemas tradicionales se trasladan a los MLLM o si surgen nuevos patrones debido a su arquitectura diferente.
• Compromiso precisión-equidad: Se desconoce si los modelos más precisos son también los más justos, o si los modelos con bajo rendimiento pueden parecer "justos" simplemente por tener errores uniformemente altos.

2. Metodología

El estudio presenta un benchmark sistemático para evaluar la equidad demográfica en la verificación facial utilizando MLLM.

• Modelos Evaluados: Se evaluaron 9 MLLM de código abierto de 6 familias diferentes (rango de 2B a 8B parámetros).
  • Modelos de propósito general: Idefics3, LLaVA-NeXT, Ovis, Qwen2-VL, Qwen2.5-VL, Valley2.
  • Modelo especializado: FaceLLM-8B (el único fine-tuneado específicamente para análisis facial).
  • Todos los modelos se evaluaron en configuración zero-shot (sin fine-tuning ni ejemplos en contexto para la tarea).
• Protocolos y Conjuntos de Datos:
  • IJB-C: Submuestreado a 10,000 pares de plantillas. Incluye etiquetas de género (Masculino/Femenino) y etnia (Africana, Asiática Oriental, Asiática del Sur, Caucásica).
  • RFW (Racial Faces in-the-Wild): Diseñado específicamente para estudiar sesgo étnico (4 grupos, 3,000 pares genuinos e impostores cada uno). No tiene etiquetas de género.
• Método de Inferencia:
  • Se utiliza un prompt de texto que pide al modelo asignar un puntaje de similitud (0-100) a un par de imágenes faciales.
  • Para plantillas con múltiples imágenes (frames de video), se calcula el promedio de todos los pares de imágenes posibles para obtener un puntaje final de plantilla.
• Métricas de Evaluación:
  • Precisión: Tasa de Error Igual (EER) y Tasa de Coincidencia Verdadera (TMR) en puntos operativos fijos (FMR del 10%, 1%, 0.1%).
  • Equidad (Fairness): Se cuantifican cuatro métricas basadas en la Tasa de Falsas Coincidencias (FMR) por grupo demográfico:
    1. Diferencial Máximo ($\Delta$): Diferencia absoluta entre el grupo con mayor y menor error.
    2. Ratio Máximo ($R$): Cociente entre el peor y el mejor grupo.
    3. Ratio a la Media Geométrica ($M$): Normalización del peor grupo frente a la media geométrica de todos.
    4. Coeficiente de Gini ($G$): Medida de desigualdad global en la distribución de errores.
  • Índice de Decidibilidad ($d'$): Para medir la separación entre distribuciones de coincidencias genuinas e impostoras.

3. Contribuciones Clave

1. Primer Benchmark de Equidad en MLLM: Establece el primer estudio exhaustivo que evalúa sesgos demográficos en MLLM aplicados a verificación facial.
2. Descubrimiento de Patrones de Sesgo Inversos: Identifica que los patrones de sesgo en MLLM difieren fundamentalmente de los sistemas tradicionales de reconocimiento facial (donde los grupos de piel oscura suelen ser los más perjudicados).
3. Análisis de la Relación Precisión-Equidad: Demuestra que la alta precisión no garantiza equidad, y que una baja precisión puede enmascarar una falsa apariencia de equidad.
4. Validación de Modelos Especializados: Confirma que los modelos especializados en rostros (FaceLLM) superan significativamente a los modelos de propósito general en esta tarea específica.

4. Resultados Principales

• Rendimiento General (Precisión):

  • FaceLLM-8B es el modelo superior en ambos benchmarks, logrando un EER global de 5.13% en IJB-C y 29.46% en RFW.
  • Los modelos de propósito general tienen un rendimiento significativamente inferior. Por ejemplo, en RFW, modelos como Ovis1.5 y Qwen2-VL-2B alcanzan un EER cercano al 50% (equivalente a adivinar al azar).
  • La diferencia de rendimiento entre IJB-C y RFW se atribuye al tamaño de las plantillas: IJB-C tiene más imágenes por identidad (20.3 en promedio) que RFW (3.6), lo que permite a los MLLM promediar mejor el ruido.

• Patrones de Sesgo (Equidad):

  • Etnia en IJB-C: Un hallazgo notable es que, en 5 de los 8 modelos, el grupo Caucásico tuvo la mayor tasa de error (EER), lo contrario a lo observado en sistemas tradicionales.
  • Etnia en RFW: Aquí, el grupo Africano fue el más perjudicado en todos los modelos. FaceLLM-8B, aunque el más preciso, mostró la mayor disparidad absoluta ($\Delta_F = 0.478$) en este conjunto de datos.
  • Género: Las disparidades de género fueron consistentemente menores que las de etnia en todos los modelos. FaceLLM-8B mostró una equidad de género excepcionalmente alta en IJB-C ($\Delta_F = 0.001$, $G_F = 0.004$).

• Compromiso Precisión-Equidad:

  • La paradoja de la "justicia" en modelos deficientes: Modelos con bajo rendimiento (como Ovis1.5 en RFW) mostraron los coeficientes de Gini más bajos (más "justos"), no porque trataran a todos los grupos por igual, sino porque fallaron en distinguir a todos los grupos por igual (errores uniformemente altos).
  • FaceLLM-8B logra combinar la mejor precisión con una equidad de género superior, demostrando que precisión y equidad no son mutuamente excluyentes cuando las distribuciones de puntuación están bien separadas.

5. Significado e Implicaciones

• Advertencia sobre el uso de MLLM: Los MLLM de propósito general actuales no están listos para la verificación facial práctica debido a su baja precisión y alta variabilidad en la equidad.
• Necesidad de Especialización: La especialización (fine-tuning en datos faciales) es crucial tanto para la precisión como para la gestión del sesgo, aunque no elimina el problema por completo.
• Cambio de Paradigma en Sesgo: Los investigadores y reguladores no deben asumir que los sesgos de los sistemas tradicionales se replican en los MLLM. Los grupos más afectados pueden cambiar según el modelo y el conjunto de datos.
• Interpretación de Métricas: Se destaca la importancia de no confiar únicamente en métricas de equidad relativas (como el Gini) sin considerar la precisión global, ya que un sistema ineficaz puede parecer injustamente "justo".

En conclusión, el artículo establece una base crítica para el desarrollo ético de MLLM en biometría, señalando que, aunque el potencial es alto, la brecha de rendimiento y los patrones de sesgo impredecibles requieren una atención inmediata antes de su despliegue en escenarios reales.