Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos

1. Problema: La Atribución bajo Confusión Visual

El artículo aborda un desafío crítico en la evaluación de los Modelos Visión-Lenguaje (VLM): la medición precisa del sesgo social (específicamente basado en raza y género) en imágenes del mundo real.

• El Reto Principal: En las imágenes reales, los atributos demográficos (como el tono de piel o la estructura facial) están intrínsecamente entrelazados con factores de confusión visuales (fondo, ropa, iluminación, pose, contexto de la escena).
• La Limitación Actual: Los benchmarks existentes sufren de una dicotomía:
  • Fotos reales: Tienen alta validez ecológica pero carecen de control, lo que hace imposible distinguir si un modelo es sesgado por la raza/género o por correlaciones espurias con el contexto (ej. un fondo de oficina vs. una cocina).
  • Imágenes sintéticas: Permiten un control estricto pero a menudo carecen de realismo o introducen artefactos propios del generador, alejándose de la distribución de datos reales.
• Consecuencia: Sin un control estricto, es difícil atribuir las disparidades en las salidas del modelo a los atributos demográficos faciales en lugar de a otros factores visuales.

2. Metodología: El Paradigma de Contrafactuales Solo de Rostro

Para resolver este problema, los autores proponen un nuevo paradigma de evaluación que combina el realismo de las fotos reales con el control riguroso de los contrafactuales.

A. Dataset FOCUS (Face-Only CounterfactUalS)

Se construyó un dataset de 480 imágenes derivadas de fotos reales.

• Procedimiento: Se tomaron 48 fotos originales de alta calidad (8 por cada una de las 6 ocupaciones: CEO, médico, cocinero, enfermero, profesor, abogado).
• Edición Controlada: Utilizando un modelo de edición de imágenes (Gemini-3-Pro-Image), se generaron variantes contrafactuales modificando únicamente los atributos faciales relacionados con la raza (5 categorías: Blanca, Negra, Asiática, Latino, Medio Oriente) y el género (Masculino, Femenino).
• Invarianza: Se mantuvieron fijos todos los demás factores: fondo, ropa, pose, iluminación, expresión facial aproximada y calidad fotográfica.
• Resultado: Un conjunto de imágenes donde la única variable que cambia es la presentación demográfica del rostro, permitiendo una atribución limpia del sesgo.

B. Benchmark REFLECT

Sobre la base de FOCUS, se introduce REFLECT, una suite de evaluación orientada a la toma de decisiones, compuesta por tres tareas complementarias:

1. Elección Forzada de Dos Alternativas (2AFC): El modelo compara dos variantes contrafactuales de la misma foto (A vs. B) y debe elegir cuál tiene mayor probabilidad de asociarse con:
   • Ingresos más altos.
   • Mayor nivel educativo.
   • Mayor seguridad percibida (con quién se sentiría más cómodo acercarse).
2. Preguntas de Opción Múltiple (MCQ): El modelo ve una sola imagen y debe seleccionar una categoría:
   • Rango salarial anual (6 opciones).
   • Nivel educativo (4 opciones).
3. Recomendación de Salario: Dada una ocupación, una biografía estandarizada (sin nombres ni pronombres demográficos) y un retrato, el modelo debe generar un número entero específico de salario anual en USD.

3. Contribuciones Clave

1. Paradigma de Evaluación Controlada: Propone el uso de contrafactuales "solo de rostro" sobre fotos reales para aislar el efecto de los atributos demográficos faciales, eliminando el ruido del contexto de la escena.
2. Dataset FOCUS: Un recurso nuevo y rigurosamente controlado que cubre 6 ocupaciones y 10 grupos demográficos (5 razas × 2 géneros), validado mediante un pipeline de control de calidad (97.9% de precisión en la atribución de etiquetas).
3. Benchmark REFLECT: Una evaluación multidimensional que prueba el sesgo en formatos comparativos, categóricos y numéricos, revelando cómo la formulación de la tarea afecta la detección del sesgo.
4. Análisis Exhaustivo: Evaluación de 5 VLMs de última generación (GPT-5, Gemini-2.5-Pro, Qwen-3-VL, DeepSeek-VL2, Llama-3.2-90B) demostrando que las disparidades persisten incluso bajo control visual estricto.

4. Resultados Principales

Los experimentos revelaron que el sesgo demográfico es persistente, pero su manifestación es compleja y depende de la tarea:

• Persistencia del Sesgo: Incluso cuando el fondo, la ropa y la pose son idénticos, cambiar solo el rostro altera significativamente las predicciones del modelo.
• Variabilidad por Tarea:
  • 2AFC (Ingresos): Muestra una polarización fuerte. Los modelos tienden a favorecer consistentemente a las variantes masculinas y blancas sobre las femeninas y negras.
  • 2AFC (Seguridad Percibida): El patrón se invierte; los modelos favorecen a las variantes femeninas, sugiriendo un sesgo de "amenaza" hacia ciertos grupos raciales masculinos.
  • MCQ (Salario): Existe una ventaja consistente para los hombres sobre las mujeres en la estimación salarial. Las variantes blancas reciben salarios más altos que las no blancas.
• Dependencia del Modelo: La magnitud y dirección del sesgo varían sustancialmente entre diferentes VLMs. Por ejemplo, GPT y Gemini muestran sesgos raciales más pronunciados en la estimación de salarios que Llama o Qwen.
• Interacción Ocupación-Sesgo: El efecto del sesgo no es uniforme; es más fuerte en ocupaciones de alto estatus (como CEO) y puede atenuarse o invertirse en otras (como enfermero o cocinero).
• Robustez: Los hallazgos se mantienen estables bajo pruebas de ruido (cambios de orientación, recortes, diferentes editores de imágenes) y no son artefactos de la edición facial.

5. Significado e Impacto

• Necesidad de Auditoría Controlada: El estudio demuestra que los benchmarks basados en imágenes reales sin control (como VisBias) pueden sobreestimar o malinterpretar el sesgo debido a correlaciones espurias. La evaluación contrafactual es esencial para una auditoría justa.
• Diseño de Tareas Crítico: La forma en que se formula la pregunta (comparativa vs. categórica vs. numérica) influye drásticamente en la detección del sesgo. No existe una métrica única; se requiere una evaluación multidimensional.
• Implicaciones para el Despliegue: Dado que los VLMs se utilizan cada vez más en procesos de contratación, evaluación educativa y seguridad, la persistencia de estos sesgos bajo condiciones controladas indica un riesgo real de discriminación sistémica y trato desigual en aplicaciones del mundo real.
• Herramienta para el Futuro: REFLECT y FOCUS proporcionan un marco estándar y reproducible para auditar y, eventualmente, mitigar el sesgo en modelos multimodales, moviendo el campo más allá de la simple observación de correlaciones hacia la atribución causal de los atributos faciales.

En resumen, el paper establece que el sesgo en los VLMs es un problema real y medible que persiste incluso cuando se eliminan las señales contextuales, y que la única forma de entenderlo correctamente es mediante evaluaciones contrafactuales rigurosas sobre datos reales.