Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models

Este trabajo presenta un nuevo benchmark que evalúa la capacidad de los modelos de difusión texto-imagen para representar contextos históricos, revelando que tienden a estereotipar épocas pasadas mediante estilos visuales implícitos, anacronismos y representaciones demográficas poco plausibles.

Lo esencial

Imagina que tienes un mago digital muy potente (llamado "modelo de difusión") que puede pintar cualquier escena que le pidas con solo una frase. Si le dices "dibuja a alguien cocinando", te hará un cuadro precioso. Pero, ¿qué pasa si le pides "dibuja a alguien cocinando en el siglo XVII"?

Este es el problema que investigan Maria-Teresa De Rosa Palmini y Eva Cetini´c en su nuevo estudio. Han creado un "examen de historia" para ver si estos magos digitales realmente entienden el pasado o si solo están inventando cosas basándose en estereotipos.

Aquí te explico sus hallazgos con analogías sencillas:

1. El "Disfraz" Erróneo (Estilo Visual)

Imagina que le pides a un actor que interprete a un rey del siglo XVII. Si el actor siempre se pone una peluca blanca y un traje de terciopelo, aunque tú no se lo hayas pedido, eso es un disfraz automático.

• Lo que descubrieron: Los modelos de IA tienen "disfraces" predefinidos para cada época.
  • Si les pides el siglo XVII o XVIII, automáticamente pintan como si fuera un grabado antiguo (dibujos en blanco y negro con líneas finas), aunque tú no lo pidas.
  • Si les pides el siglo XIX, a veces hacen pinturas al óleo.
  • Si les pides el siglo XX, de repente todo se vuelve fotografía en blanco y negro.
• El problema: La IA no está "viendo" la historia; está adivinando el "estilo de archivo" que cree que corresponde a esa fecha. Es como si un cineasta hiciera todas las películas de la Edad Media en blanco y negro solo porque "así se veían las fotos antiguas", ignorando que la gente vivía en colores.

2. Los "Objetos del Futuro" en el Pasado (Anacronismos)

Imagina que ves una película de piratas del siglo XVII, pero de repente el capitán saca un iPhone para hacer una selfie. Eso es un anacronismo: algo que no debería estar ahí.

• Lo que descubrieron: La IA es muy mala respetando la línea del tiempo.
  • En escenas del siglo XVIII, a veces aparecen auriculares modernos o ordenadores.
  • En el siglo XIX, aparecen aspiradoras o tostadoras que no existían.
  • En los años 30, la gente usa móviles.
• La analogía: Es como si la IA tuviera una "caja de juguetes" donde mezcla todas las épocas. Cuando le pides "alguien escuchando música en el 1700", la IA piensa: "¡Música! ¡Pongo unos auriculares modernos!" en lugar de pensar: "En el 1700 la gente escuchaba música con instrumentos de cuerda o la voz". La IA prioriza la idea de la actividad sobre el contexto histórico.

3. El "Casting" Desigual (Demografía)

Imagina que haces una obra de teatro sobre la historia mundial y, sin que nadie te lo pida, decides que todos los médicos son hombres blancos y todas las amas de casa son mujeres, incluso para épocas donde la realidad era más diversa.

• Lo que descubrieron: La IA tiende a repetir los prejuicios actuales o los estereotipos de sus datos de entrenamiento.
  • En épocas antiguas, la IA dibuja casi exclusivamente a hombres blancos, incluso en actividades donde históricamente había mucha participación femenina o de otras razas.
  • A veces, la IA "olvida" que en el pasado la gente de diferentes etnias vivía y trabajaba juntas, y en su lugar crea una versión muy blanca y masculina de la historia.
• El problema: Esto distorsiona nuestra memoria colectiva. Si la IA nos muestra siempre el mismo tipo de gente en el pasado, empezamos a creer que esa fue la única forma en que existió la humanidad.

¿Por qué es importante esto?

Los autores crearon un banco de pruebas llamado HistVis (como un "laboratorio de historia") con 30.000 imágenes generadas para probar estos modelos.

Su conclusión es que, aunque estas IAs son increíbles para crear arte, no son historiadores. Están "alucinando" el pasado basándose en clichés visuales y datos desequilibrados.

La moraleja: Si usamos estas herramientas para enseñar historia o crear contenido cultural, debemos tener cuidado. No podemos confiar ciegamente en que la IA nos muestre el pasado tal como fue; a menudo, nos muestra una versión de fantasía, estereotipada y llena de errores del pasado, como si fuera un espejo roto que refleja más nuestros prejuicios actuales que la realidad histórica.

El estudio nos invita a ser críticos: cuando veas una imagen generada por IA sobre el pasado, pregúntate: "¿Esto es realmente así, o es solo el 'disfraz' que le gusta usar a la máquina?".

Resumen técnico

Resumen Técnico: Synthetic History

1. El Problema

A medida que los modelos de difusión de Texto-a-Imagen (TTI) se integran en la creación de contenido, su impacto sociocultural es cada vez mayor. Si bien la investigación previa ha abordado ampliamente los sesgos demográficos (género y raza) y culturales (perspectiva occidental), existe una brecha significativa en la evaluación de la capacidad de estos modelos para representar contextos históricos con precisión.

Los modelos actuales no solo pueden perpetuar estereotipos, sino que también distorsionan la memoria cultural al:

• Asociar estilos visuales específicos a épocas históricas de manera implícita y estereotipada (ej. grabados para el siglo XVII).
• Introducir anacronismos (objetos modernos en contextos antiguos).
• Fallar en reflejar patrones demográficos históricamente plausibles.

El caso de Google Gemini generando soldados nazis racialmente diversos ("Black Nazi Problem") ilustra los desafíos de mantener la precisión histórica. Sin embargo, las evaluaciones actuales se centran en hitos o figuras famosas, ignorando cómo los modelos construyen interpretaciones visuales de actividades humanas universales a lo largo del tiempo.

2. Metodología y Propuesta

Para abordar esta brecha, los autores introducen HistVis, un benchmark y conjunto de datos diseñado para evaluar sistemáticamente la representación histórica en modelos generativos.

A. El Conjunto de Datos HistVis:

• Escala: 30,000 imágenes sintéticas generadas.
• Fuentes: Tres modelos de difusión de vanguardia de código abierto: Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) y FLUX.1 Schnell.
• Diseño de Prompts: Se utilizan 100 prompts neutrales que describen actividades humanas universales (ej. "cocinar", "viajar", "trabajar") combinadas con 10 periodos históricos (siglos XVII al XXI y décadas específicas del siglo XX).
• Estrategia: Al evitar referencias a figuras o eventos específicos, el diseño aísla las representaciones internas del modelo sobre el tiempo, minimizando sesgos externos en el prompt.

B. Protocolo de Evaluación en Tres Dimensiones:

1. Asociaciones Estilísticas Implícitas:

   • Objetivo: Determinar si los modelos recurren a estilos visuales predeterminados (ej. monocromo, grabado, fotografía) para ciertas épocas sin que se solicite explícitamente.
   • Método: Se entrenó un clasificador de estilo (basado en DINOv2) utilizando un corpus de WikiArt (dibujos, grabados, ilustraciones, pinturas, fotografía).
   • Métrica: Se define el Visual Style Dominance (VSD), que mide la proporción máxima de imágenes generadas para un periodo que caen en una sola categoría de estilo.

2. Consistencia Histórica (Detección de Anacronismos):

   • Objetivo: Identificar objetos, comportamientos o entornos modernos en contextos pre-modernos.
   • Método: Un pipeline de dos etapas:
     1. Propuesta: Un LLM (GPT-4o) genera una lista de posibles anacronismos y preguntas binarias para cada prompt.
     2. Detección: Tres Modelos Visuales-Lingüísticos (VLMs: GPT-4o, LLaMA-3.2, Qwen2.5) responden las preguntas sobre las imágenes generadas. Se usa votación mayoritaria para reducir errores.
   • Métricas:
     • Frecuencia: Proporción de imágenes donde se detecta el anacronismo.
     • Severidad: Consistencia con la que el modelo introduce el anacronismo una vez propuesto.
   • Validación: Se realizó un estudio con usuarios humanos (5,400 anotaciones) para validar la alineación del método automático con el juicio humano (acuerdo del 75%).

3. Representación Demográfica:

   • Objetivo: Evaluar si las distribuciones de género y raza en las imágenes generadas se alinean con expectativas históricas plausibles.
   • Método:
     1. Extracción: Uso del clasificador de rostros FairFace para detectar género y raza en las imágenes generadas.
     2. Línea Base: Se utilizan LLMs (GPT-4o) para estimar las distribuciones demográficas históricamente plausibles basadas en el contexto de la actividad y el periodo (ya que no existen datos históricos globales exhaustivos para todas las categorías).
     3. Comparación: Se calculan métricas de subrepresentación y sobrerrepresentación comparando las predicciones del clasificador con las estimaciones del LLM.

3. Resultados Clave

• Sesgos Estilísticos Sistémicos:

  • Los modelos muestran una fuerte convergencia hacia estilos específicos por época. Por ejemplo, SDXL tiende a generar grabados para los siglos XVII y XVIII, mientras que SD3 y FLUX.1 prefieren pinturas.
  • Para las décadas tempranas del siglo XX (1910-1950), todos los modelos muestran una dominancia de fotografía en blanco y negro, incluso cuando no se especifica.
  • La ingeniería de prompts (pedir "fotorrealismo" o evitar "blanco y negro") tiene un efecto limitado; los sesgos estilísticos arraigados son difíciles de mitigar solo con prompts.

• Inconsistencias Históricas (Anacronismos):

  • Los modelos introducen frecuentemente objetos modernos. SD3 es el más propenso, con un 20% de sus imágenes del siglo XIX y un 25% de las de la década de 1930 conteniendo anacronismos.
  • Los anacronismos más severos incluyen dispositivos de audio modernos (auriculares, smartphones) en escenas de los siglos XVIII y XIX, y electrodomésticos modernos en contextos del siglo XIX.
  • Esto sugiere que los modelos priorizan las señales conceptuales del prompt (ej. "escuchar música") sobre el condicionamiento temporal.

• Desviaciones Demográficas:

  • Existe una sobrerrepresentación sistemática de figuras masculinas y blancas en periodos anteriores al siglo XX, incluso en actividades donde la línea base histórica sugeriría una mayor diversidad o presencia femenina (ej. cocina en siglos anteriores).
  • La diversidad racial aumenta significativamente solo a partir del siglo XX, reflejando a menudo expectativas contemporáneas o sesgos de entrenamiento en lugar de datos históricos.
  • Las desviaciones son consistentes a través de los modelos, aunque varían en magnitud.

4. Contribuciones Principales

1. HistVis Dataset: El primer conjunto de datos a gran escala (30k imágenes) diseñado específicamente para evaluar la representación histórica en TTI, cubriendo 5 siglos y 20 categorías de actividades universales.
2. Protocolo de Evaluación Reproducible: Un marco metodológico que combina clasificación de estilo, detección de anacronismos mediante VLMs/LLMs y análisis demográfico, aplicable a cualquier modelo TTI.
3. Evidencia de Sesgos Históricos: Demostración empírica de que los modelos actuales no "entienden" el tiempo histórico de manera coherente, sino que aplican estereotipos visuales y demográficos que distorsionan la memoria cultural.
4. Herramientas de Mitigación Limitadas: Evidencia de que la ingeniería de prompts es insuficiente para corregir estos sesgos profundos, sugiriendo la necesidad de mejoras arquitectónicas o en los datos de entrenamiento.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Cuestiona la "Fidelidad Histórica": Muestra que la capacidad de generar imágenes "históricas" no equivale a una comprensión histórica real. Los modelos pueden generar imágenes convincentes pero factualmente erróneas.
• Riesgos Educativos y Culturales: Destaca el peligro de utilizar estas herramientas en educación o patrimonio cultural, donde la distorsión de la memoria colectiva puede ser perjudicial.
• Nueva Dirección de Investigación: Establece la representación histórica como una dimensión crítica de la razonamiento cultural en IA generativa, alejándose de la evaluación puramente factual (reconocimiento de objetos) hacia la evaluación contextual y semántica.
• Ética y Diversidad: Plantea el dilema ético de cómo equilibrar la precisión histórica (que puede reflejar desigualdades pasadas) con la necesidad de evitar narrativas excluyentes, proponiendo que la "plausibilidad histórica" es un punto de partida para el análisis, no un estándar absoluto.

En conclusión, el artículo proporciona la base para desarrollar modelos TTI más precisos y sensibles al contexto histórico, identificando que los sesgos actuales son sistémicos y requieren intervenciones más allá de la simple corrección de prompts.