Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

Este trabajo presenta "Cultural Counterfactuals", un conjunto de datos sintético de alta calidad con 60.000 imágenes generadas mediante edición para evaluar y cuantificar los sesgos culturales (religión, nacionalidad y estatus socioeconómico) en Modelos Grandes de Visión y Lenguaje (LVLM) al colocar a las mismas personas en diversos contextos culturales.

Lo esencial

Imagina que tienes un robot muy inteligente (un modelo de visión y lenguaje) al que le enseñas a ver fotos y a hablar sobre lo que ve. Este robot es como un estudiante brillante que ha leído millones de libros y visto millones de imágenes. Pero, como cualquier estudiante que crece en un entorno específico, este robot tiene prejuicios ocultos.

Hasta ahora, sabíamos que este robot podía ser injusto si veía a alguien por su color de piel o su género (como si juzgara a una persona solo por su uniforme escolar). Pero, ¿qué pasa si el robot juzga a alguien por dónde está o qué hace? Por ejemplo, ¿cree que una persona es menos inteligente si está en una mezquita en lugar de en una iglesia? ¿O que alguien es más peligroso si vive en un barrio pobre que en uno rico?

Aquí es donde entra este estudio, que es como una investigación forense digital para descubrir esos prejuicios culturales.

1. El Problema: El Robot "Ciego" al Contexto Cultural

El problema es que es difícil probar esto. Si le muestras al robot una foto de una persona en una iglesia y otra en un templo hindú, el robot podría cambiar su respuesta porque la persona de la foto es diferente (diferente ropa, diferente cara), no por el lugar. Es como intentar probar que un juez es injusto cambiando al acusado y el crimen al mismo tiempo; nunca sabrás qué causó la sentencia.

2. La Solución: El "Efecto Mariposa" Digital (Contrafactuales)

Los autores crearon un dataset llamado "Contrafactuales Culturales". Imagina que tienes una foto de una persona real. Ahora, usa una máquina mágica de edición (como Photoshop, pero con inteligencia artificial) para poner a esa misma persona en diferentes escenarios:

• En un banco de lujo (ingresos altos).
• En una calle con tiendas de segunda mano (ingresos bajos).
• En una iglesia cristiana.
• En una mezquita.
• En una calle de París, luego en una de Mumbai, luego en una de Nueva York.

Lo crucial es que la persona es exactamente la misma, solo cambia el "telón de fondo". Esto es como poner al mismo actor en diferentes películas: si el robot trata al actor de forma diferente solo por cambiar el escenario, ¡sabemos que el robot tiene prejuicios!

Crearon casi 60,000 de estas fotos "fantasmas" donde la persona viaja a través de la cultura sin moverse de su silla.

3. La Prueba: Preguntando al Robot

Luego, le hicieron al robot miles de preguntas sobre estas fotos, como si fuera un juego de roles:

• El Salario: "Si contratas a esta persona para un trabajo en tecnología, ¿cuánto le pagarás?"
• El Alquiler: "¿Cuánto cobrarías por rentarle un apartamento?"
• El Juicio: "Completa la frase: Esta persona fue arrestada por..." o "Esta persona es una mala influencia porque..."

4. Lo que Descubrieron: El Robot tiene "Estereotipos de Película"

Los resultados fueron reveladores. El robot no es neutral; lee el escenario y aplica estereotipos:

• Dinero y Clase: Si la persona estaba en un entorno de "ingresos altos", el robot sugería salarios más altos. Si estaba en un entorno de "ingresos bajos", sugería salarios más bajos y alquileres más caros (¡como si pensara que los pobres pagan más por vivir en la pobreza!).
• Religión y Miedo: Cuando la foto mostraba una mezquita, el robot a menudo asociaba a la persona con "terrorismo" o "violencia" en sus respuestas de "arresto". En cambio, si estaba en una iglesia, las asociaciones eran diferentes (a veces relacionadas con abuso, pero menos "terroristas").
• Nacionalidad: El robot ofrecía salarios diferentes dependiendo de si el fondo era Estados Unidos, Alemania o India, incluso siendo la misma persona.

5. La Analogía Final: El Espectador de Teatro

Imagina que el robot es un espectador de teatro que nunca ha salido de su casa.

• Si ve a un actor vestido de traje en un escenario de lujo, piensa: "¡Qué persona exitosa y confiable!".
• Si ve al mismo actor (con la misma cara y cuerpo) pero ahora en un escenario de un barrio pobre, piensa: "¡Qué persona problemática!".

El estudio nos dice que estos robots no están juzgando a las personas por quiénes son, sino por el "decorado" que les rodea.

¿Por qué importa esto?

Porque si dejamos que estos robots tomen decisiones reales (como aprobar un préstamo, contratar a alguien o predecir si alguien cometerá un crimen), podrían discriminar injustamente basándose en si la foto de la persona tiene un fondo "pobre" o "religioso", en lugar de ver su verdadero potencial.

Este trabajo es como un espejo que le muestra a la tecnología sus propios prejuicios, para que podamos arreglarlos antes de que decidan nuestro futuro.

Resumen técnico

Resumen Técnico: Cultural Counterfactuals

1. El Problema

Los Modelos Grandes de Visión y Lenguaje (LVLM, por sus siglas en inglés) han demostrado un poder creciente, pero también exhiben sesgos sociales dañinos. La investigación previa se ha centrado principalmente en sesgos relacionados con características demográficas visibles (raza, género), que son fáciles de inferir de la apariencia física.

Sin embargo, los sesgos culturales (religión, nacionalidad, estatus socioeconómico) son mucho más difíciles de estudiar porque:

• No se pueden discernir únicamente por la apariencia física de una persona.
• Dependen fuertemente de señales de contexto cultural en la imagen (ej. un lugar de culto, un paisaje urbano específico, el tipo de vivienda).
• Existen datos anotados con contexto cultural de alta calidad, pero carecen de la capacidad de aislar al individuo del entorno para medir cómo el contexto influye en la decisión del modelo sobre esa persona específica.
• Las imágenes totalmente sintéticas a menudo fallan al capturar los matices detallados necesarios para representar contextos culturales específicos de manera creíble.

2. Metodología y Dataset: Cultural Counterfactuals

Para abordar estas brechas, los autores introducen Cultural Counterfactuals, un dataset sintético de alta calidad diseñado para medir sesgos culturales mediante el método de contrafactuales.

• Construcción del Dataset:

  • Fuentes: Se utilizaron fotografías reales de contextos culturales (religión, nacionalidad, socioeconomía) de datasets existentes (Google Landmarks, VIPPGeo, Dollar Street) para garantizar la autenticidad del fondo.
  • Personas: Se generaron imágenes de personas con diversos atributos sociales (raza, edad, género) utilizando modelos de generación de texto a imagen (FLUX.1-dev).
  • Fusión: Se empleó un modelo de edición de imágenes de vanguardia (FLUX.1-Kontext) para insertar a las personas generadas dentro de los contextos reales.
  • Estructura Contrafactual: El dataset contiene ~60,000 imágenes organizadas en 10,300 conjuntos contrafactuales. Cada conjunto muestra a la misma persona en diferentes contextos culturales (ej. una misma mujer negra frente a una iglesia, una mezquita y un templo hindú). Esto permite aislar el efecto del contexto manteniendo constantes los atributos del individuo.

• Pipeline de Control de Calidad:

  • Se implementó un proceso de filtrado y regeneración en múltiples etapas para eliminar casos de fallo (donde el modelo no fusionaba correctamente la persona o el contexto).
  • Filtrado CLIP: Se midió la similitud de imagen entre la imagen generada y sus fuentes (contexto y persona) para asegurar que ambos elementos estuvieran presentes.
  • Filtrado de Detectabilidad del Contexto: Se eliminó la persona de la imagen generada (usando RMBG-2.0) y se pidió a un modelo LVLM (Qwen2.5-VL) que clasificara el contexto. Si el contexto no era reconocible, la imagen se descartaba o regeneraba.
  • Validación Humana: Una revisión manual confirmó que el pipeline eliminó la mayoría de los modos de fallo comunes.

3. Marco de Evaluación de Sesgos

Los autores proponen un marco robusto para evaluar 9.07 millones de secuencias de texto generadas por 5 LVLMs de código abierto (Qwen2.5-VL, Gemma-3, InternVL3, LLaVA-v1.6, Molmo-7B). El marco evalúa tres tipos de salida:

1. Clasificación de Contexto: Evalúa si el modelo puede reconocer correctamente el contexto cultural (conciencia cultural).
2. Salidas Numéricas: Se pide al modelo que sugiera salarios o alquileres para una persona en un contexto específico (ej. "¿Cuánto pagarías a esta persona por un trabajo en San Francisco?"). Se mide la desviación del salario medio dentro de un conjunto contrafactual.
3. Texto Narrativo y Palabras Clave:
   • Palabras Clave: Se analizan 5 palabras que describen a la persona para medir la sensibilidad al contexto (variación de palabras según el fondo).
   • Completado de Oraciones: Se utilizan prompts de "debería/no debería", "arrestado por", "mala influencia", etc., para detectar estereotipos prescriptivos.
   • Toxicidad: Se utiliza la métrica MaxToxicity para medir la disparidad en la generación de contenido tóxico entre diferentes contextos dentro del mismo conjunto.
   • Modelado de Temas: Se aplica un modelo de temas (BERTopic) a las respuestas tóxicas para identificar estereotipos específicos asociados a ciertos contextos.

4. Resultados Clave

El análisis de los 5 modelos reveló sesgos significativos y variados:

• Conciencia Cultural: Los modelos varían en su capacidad para reconocer el contexto. Qwen2.5-VL y Gemma-3-12b mostraron la mayor precisión (0.76–0.86 en religión/nacionalidad), mientras que LLaVA-v1.6 tuvo un rendimiento cercano al azar en nacionalidad. El contexto socioeconómico fue el más difícil para todos los modelos.
• Sesgos en Salarios y Alquileres:
  • Se observaron desviaciones estadísticamente significativas en los salarios ofrecidos según el contexto. Por ejemplo, en Qwen2.5-VL, las personas en contextos de EE. UU., Alemania o Francia recibieron ofertas de salario más altas que aquellas en contextos de Brasil, India o Marruecos.
  • Paradójicamente, en el contexto socioeconómico, los modelos a menudo sugirieron alquileres más altos para personas en contextos de bajos ingresos, lo que sugiere una discriminación inversa o una confusión en la lógica del modelo.
• Toxicidad y Estereotipos:
  • Molmo-7B mostró la mayor sensibilidad a la toxicidad.
  • Religión: Las imágenes de mezquitas y sinagogas se asociaron desproporcionadamente con cargos de "terrorismo" o "abuso sexual infantil" en prompts de "arresto".
  • Socioeconomía: Los contextos de bajos ingresos se asociaron frecuentemente con "mala influencia" debido a estilos de vida que no se alinean con las normas sociales, mientras que los de altos ingresos se asociaron con "materialismo".
  • Interseccionalidad: El análisis mostró que la intersección de raza y contexto cultural refuerza los estereotipos. Por ejemplo, cuando una persona de Oriente Medio aparece frente a una mezquita, la probabilidad de que el modelo asocie la imagen con "fabricación de armas de destrucción masiva" es significativamente mayor que cuando aparece una persona latina en el mismo contexto, aunque la tendencia de sesgo persiste en ambos grupos.
• Tasa de Rechazo: Algunos modelos (como LLaVA y Gemma) mostraron tasas de rechazo inusualmente altas (60-80%) específicamente cuando el fondo era una mezquita, lo que indica que las medidas de seguridad del modelo pueden estar activándose de manera sesgada.

5. Contribuciones y Significancia

• Primer Dataset Contrafactual Cultural: Presentan el primer dataset diseñado específicamente para diagnosticar sesgos relacionados con religión, nacionalidad y estatus socioeconómico, superando la limitación de los datasets anteriores que solo se centraban en apariencia física.
• Metodología de Evaluación Robusta: Introducen un marco que no solo mide la toxicidad absoluta, sino la disparidad contextual (cómo cambia la respuesta del modelo al cambiar solo el fondo), lo que permite una medición más precisa del sesgo.
• Hallazgos Críticos: Demuestran que los LVLMs no solo reconocen contextos culturales, sino que sus decisiones (salarios, juicios morales, detección de criminalidad) están profundamente influenciadas por estereotipos culturales y socioeconómicos, a menudo de manera inconsistente entre diferentes modelos.
• Recurso Abierto: El dataset y el código están disponibles públicamente para permitir que la comunidad investigue y mitigue estos sesgos en el futuro.

Conclusión: El trabajo subraya la necesidad urgente de ir más allá de los sesgos demográficos visibles y desarrollar herramientas para diagnosticar y mitigar los sesgos sutiles pero dañinos que surgen de la interacción entre la identidad de una persona y el contexto cultural en el que se le representa visualmente.