Culture in Action: Evaluating Text-to-Image Models through Social Activities

Este artículo presenta CULTIVate, un nuevo marco de evaluación que analiza la fidelidad cultural de los modelos de texto a imagen al centrarse en actividades sociales en lugar de objetos, revelando sesgos sistemáticos hacia el hemisferio norte y proponiendo métricas que correlacionan mejor con el juicio humano.

Lo esencial

¡Claro que sí! Imagina que la Inteligencia Artificial (IA) que crea imágenes a partir de texto es como un chef novato que ha leído millones de recetas en internet, pero nunca ha salido de su propia cocina.

Este paper, titulado "CULTURE IN ACTION" (La cultura en acción), es como una inspección de cocina muy estricta para ver si ese chef sabe cocinar platos auténticos de todo el mundo, o si solo está sirviendo "comida rápida" estereotipada.

Aquí te lo explico con analogías sencillas:

1. El Problema: El Chef que solo conoce su barrio

Hasta ahora, los expertos probaban a estos chefs (los modelos de IA) preguntando cosas muy simples: "¿Puedes dibujar una pizza italiana?" o "¿Un templo en Egipto?".

• El error: La IA suele acertar porque son objetos fáciles de reconocer (una pizza es una pizza).
• La realidad: La cultura no son solo objetos; es cómo hacemos las cosas. ¿Cómo se sientan para comer en Irán? ¿Cómo se saludan en Nigeria? ¿Cómo bailan en Brasil?
• El hallazgo: La IA suele fallar aquí. En lugar de mostrar a gente sentada en el suelo alrededor de una alfombra tradicional (como en Irán), a veces dibuja mesas occidentales. O peor aún, inventa cosas que no existen (alucinaciones) o exagera los estereotipos (como poner elefantes en un juego que no tiene nada que ver con ellos).

2. La Solución: El "Menú de Actividades" (CULTIVate)

Los autores crearon un nuevo examen llamado CULTIVate.

• En lugar de pedir "un objeto", les pidieron a la IA que dibuje 576 actividades sociales (bailar, saludar, comer, celebrar) en 16 países diferentes.
• Es como si le dijeras al chef: "No me hagas solo una pizza, hazme un banquete de boda tradicional en India, un desayuno familiar en México y un juego de niños en Nigeria".
• Recopilaron miles de fotos reales de gente haciendo estas cosas para tener una "guía de referencia".

3. El Nuevo Sistema de Calificación: AHEaD

Antes, para calificar si una imagen era buena, se usaban dos métodos que fallaban:

1. Humanos: Contratar a gente para que mire las fotos y diga "esto se ve bien". Es muy caro y lento.
2. Medidores automáticos viejos (ITA): Eran como un detector de palabras clave. Si la imagen tenía "elefante" y el texto decía "juego de elefante", le daban una nota alta, aunque el juego en realidad no tuviera elefantes. ¡Era como calificar un examen de historia solo por si el alumno escribió la palabra "Roma" en la respuesta!

Aquí entra la estrella del paper: AHEaD.
Es un sistema de calificación automático que actúa como un crítico de arte muy detallista. No solo mira la imagen, sino que la descompone en piezas para ver qué pasa. Usa cuatro dimensiones (las siglas AHEaD):

• A (Alignment / Alineación): ¿Están los ingredientes correctos? (Ej: ¿Hay una alfombra en el suelo para la cena en Irán?).
• H (Hallucination / Alucinación): ¿Inventó el chef ingredientes que no existen? (Ej: ¿Puso un elefante en un juego de manos?).
• E (Exaggeration / Exageración): ¿Puso demasiados ingredientes estereotipados? (Ej: ¿Puso banderas gigantes y sombreros en todas las personas de un país que no los usa así?).
• D (Diversity / Diversidad): ¿Mostró variedad o siempre lo mismo?

La magia: AHEaD no solo te da una nota (como un 7/10), sino que te dice exactamente qué está mal: "Oye, te faltó la alfombra, pusiste un elefante que no toca, y exageraste con los turbantes". Esto permite corregir la imagen paso a paso.

4. Los Resultados: El Sesgo Norte-Sur

El estudio descubrió algo preocupante pero importante:

• El "Norte Global" (EE.UU., Europa): La IA dibuja muy bien estas culturas. Las imágenes son fieles y realistas.
• El "Sur Global" (África, Asia, Latinoamérica): La IA falla mucho más. Tiende a inventar cosas, exagerar estereotipos (poner todo en colorido y caótico) o simplemente no entender la cultura.
• Analogía: Es como si el chef hubiera vivido toda su vida en París y nunca hubiera visitado el resto del mundo. Cuando le pides un plato francés, lo hace perfecto. Cuando le pides un plato de Nigeria, intenta adivinar y termina sirviendo una mezcla extraña que no es auténtica.

5. ¿Por qué importa esto?

Imagina que quieres hacer una película o un anuncio publicitario sobre una cultura específica. Si usas una IA vieja, podrías terminar con una imagen que ofenda a la gente local o que simplemente se vea falsa (como la película Ratatouille que menciona el paper: si no capturan la esencia de París, la película no funciona).

En resumen:
Este paper nos da una herramienta de diagnóstico (AHEaD) y un banco de pruebas (CULTIVate) para enseñar a las IAs a respetar y entender la cultura humana en sus detalles más finos, no solo en sus objetos más obvios. Nos ayuda a pasar de "dibujar un sombrero mexicano" a "entender cómo se vive una fiesta en México".

¡Es un paso gigante para que la tecnología deje de ser "ciega" a la diversidad cultural y empiece a ser una verdadera ventana al mundo!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "CULTURE IN ACTION: EVALUATING TEXT-TO-IMAGE MODELS THROUGH SOCIAL ACTIVITIES", presentado en ICLR 2026.

1. El Problema

Los modelos de generación de imágenes a partir de texto (T2I) actuales presentan sesgos culturales significativos, entrenados principalmente con datos web que reflejan una visión "WEIRD" (Occidental, Educada, Industrializada, Rica y Democrática).

• Limitación de los Benchmarks actuales: Las evaluaciones existentes se centran en artefactos estáticos y centrados en objetos (comida, ropa, monumentos), ignorando las actividades sociales. Las actividades son contextuales, composicionales y dependen de interacciones y relaciones espaciales, lo que hace que su representación cultural sea mucho más compleja y variable.
• Fallo de las métricas actuales: Las métricas basadas en la alineación imagen-texto (ITA), como CLIPScore, o la evaluación humana costosa, son insuficientes. Las métricas ITA a menudo premian la exageración y la alucinación de elementos estereotipados (ej. generar elefantes para un juego de manos en Indonesia) en lugar de la fidelidad cultural real. Además, carecen de interpretabilidad para guiar la mejora de los modelos.

2. Metodología

El trabajo introduce un marco integral compuesto por un nuevo benchmark y una métrica de evaluación diagnóstica.

A. Benchmark: CULTIVate

Se presenta CULTIVate, un benchmark de evaluación cultural centrado en actividades sociales:

• Escala: 576 actividades en 9 categorías (baile, saludo, comedor, juegos, celebraciones, etc.) cubriendo 16 países.
• Datos: Incluye más de 19,000 imágenes generadas por 6 modelos T2I de última generación (3 públicos y 3 propietarios) y 3,000 imágenes de referencia reales.
• Categorización: Los países se dividen en "Global North" (GN) y "Global South" (GS) para analizar disparidades.

B. Marco de Evaluación: AHEaD

Se propone AHEaD (Alignment, Hallucination, Exaggeration, and Diversity), un marco explicativo que evalúa la fidelidad cultural a través de descriptores visuales en lugar de puntuaciones globales opacas.

1. Generación de Descriptores de Referencia ($D_{ref}$):
   • Se utiliza un enfoque de Proposer-Refiner (Propositor-Refinador) con LLMs. Múltiples "propositores" generan candidatos de descriptores culturales (fondo, vestimenta, objetos, interacciones, disposición espacial) y un "refinador" elimina duplicados y errores. Esto crea una base de verdad sin depender de imágenes reales para la definición conceptual.
2. Extracción de Descriptores Predichos ($D_{pred}$):
   • Se utilizan Modelos de Lenguaje Multimodal (MLLMs) para extraer descriptores visuales de las imágenes generadas.
3. Cálculo de Métricas:
   • Alineación (Alignment): Mide la cobertura de los elementos culturales esperados (qué descriptores de referencia están presentes).
   • Alucinación (Hallucination): Cuantifica elementos incorrectos o no soportados por la referencia cultural.
   • Exageración (Exaggeration): Detecta la sobre-representación de estereotipos (comparando la intensidad de elementos estereotipados en imágenes generadas vs. imágenes reales).
   • Diversidad: Mide la variación semántica en los elementos culturales generados.
   • FAITH: Una métrica compuesta que combina Alineación, 1-Hallucinación y 1-Exageración para obtener una puntuación final de fidelidad.

3. Contribuciones Clave

1. CULTIVate: El primer benchmark escalable centrado en actividades sociales para evaluar la fidelidad cultural de modelos T2I.
2. AHEaD: Un marco de evaluación automatizado y explicativo que no requiere anotación humana masiva, proporcionando retroalimentación a nivel de descriptor para la refinación iterativa de imágenes.
3. Hallazgos sobre Métricas: Demostración de que la alineación sola es insuficiente y que las métricas de ITA tradicionales correlacionan pobremente con el juicio humano. La combinación de Alineación, Alucinación y Exageración es necesaria para una evaluación precisa.
4. Detección de Sesgos: Identificación sistemática de disparidades donde los modelos generan imágenes más fieles para países del Global Norte que para el Global Sur.

4. Resultados Principales

• Correlación con Juicio Humano:
  • Las métricas ITA (CLIPScore, ImageReward) tienen una correlación muy baja con los humanos (a menudo < 0.15 o negativa).
  • La métrica compuesta FAITH logra una correlación un 27% mayor que los baselines de MLLM-as-Judge y supera significativamente a las métricas ITA.
• Complementariedad de Métricas:
  • La alineación por sí sola no captura la fidelidad. La alucinación y la exageración son componentes críticos que deben penalizarse.
  • Se observa una correlación negativa fuerte entre Alineación y tanto Alucinación como Exageración, validando que una imagen fiel debe evitar elementos incorrectos y estereotipados.
• Disparidades Globales (GN vs. GS):
  • Todos los modelos evaluados muestran un sesgo consistente: las imágenes generadas para países del Global Norte tienen una alineación 4-8% más alta y menos alucinaciones/exageraciones que las del Global Sur.
  • Los modelos luchan más con actividades culturalmente arraigadas (ej. celebraciones específicas) que con actividades universales (ej. comer, conciertos).
• Utilidad para la Edición:
  • El feedback de AHEaD permite la edición dirigida de imágenes. Al identificar qué descriptores están alucinados o exagerados, se pueden crear prompts de edición para corregir la imagen, mejorando la fidelidad cultural de forma iterativa.

5. Significado e Impacto

Este trabajo cambia el paradigma de la evaluación de modelos generativos culturales:

• De lo Estático a lo Dinámico: Pasa de evaluar objetos aislados a evaluar interacciones sociales complejas, que son el núcleo de la expresión cultural.
• Escalabilidad y Explicabilidad: Ofrece una alternativa viable y escalable a la evaluación humana costosa, proporcionando no solo una puntuación, sino una explicación diagnóstica (qué falta, qué sobra, qué está mal) que puede ser utilizada para mejorar los modelos.
• Conciencia de Sesgo: Pone de manifiesto la brecha de rendimiento entre culturas del Norte y Sur global, impulsando la necesidad de desarrollar modelos más inclusivos y culturalmente competentes para aplicaciones en publicidad, entretenimiento y medios de comunicación.

En resumen, el paper establece que la fidelidad cultural no es solo "parecerse" al texto (alineación), sino evitar estereotipos y errores contextuales, y proporciona las herramientas métricas y de datos necesarias para medir y mejorar esto sistemáticamente.