Resumen Técnico: TEMPVIZ – Sobre la Evaluación del Conocimiento Temporal en Modelos de Texto a Imagen

Planteamiento del Problema

El tiempo altera fundamentalmente la apariencia visual de los entes en el mundo real, incluyendo objetos, lugares, animales y paisajes. Si bien existe una investigación sustancial sobre el conocimiento y el razonamiento temporal en el Procesamiento de Lenguaje Natural (NLP), el panorama de los recursos y los métodos de evaluación para el conocimiento temporal en los modelos de Texto a Imagen (T2I) permanece prácticamente inexplorado. Los usuarios esperan que los modelos T2I generen imágenes contextualmente relevantes basadas en instrucciones temporales (por ejemplo, un paisaje en invierno frente a verano, o un edificio antes frente a después de un evento histórico específico). Sin embargo, actualmente no está claro qué tan bien los modelos T2I existentes pueden interpretar y aplicar estas señales temporales, ni existe un método confiable para evaluar automáticamente tales capacidades.

Metodología

Para abordar esta brecha, los autores presentan TEMPVIZ, un conjunto de datos y un marco de evaluación novedosos diseñados para evaluar de manera holística el conocimiento temporal en la generación de imágenes.

1. El Conjunto de Datos TEMPVIZ

El conjunto de datos consta de 7.940 prompts que abarcan cinco categorías de sujetos distintas, elegidas para reflejar casos de uso comunes donde los efectos temporales son visualmente observables:

• Paisajes: Evalúa la variación estacional y diaria (por ejemplo, "un lago en enero en Europa").
• Animales: Evalúa el envejecimiento biológico a través de las etapas de la vida (por ejemplo, "un alpaca de un mes de edad"), utilizando datos de esperanza de vida de HAGR.
• Edificios: Evalúa la existencia histórica y la destrucción (por ejemplo, "el Muro de Berlín el 23/10/1983"), centráéndose en estructuras con fechas conocidas de inicio y demolición.
• Mapas: Evalúa los cambios geopolíticos de fronteras a lo largo del tiempo (por ejemplo, "un mapa de Europa en 1938").
• Obras de Arte: Evalúa la adherencia a periodos e estilos históricos del arte específicos (por ejemplo, "una obra de arte al estilo del Impresionismo").

Para cada prompt, los autores generaron cuatro variaciones parafraseadas. El conjunto de datos incluye >600 imágenes de referencia (obtenidas de Wikidata, Google Arts & Culture y OpenHistoricalMap) y "valores esperados" (descriptores textuales de atributos visuales) para apoyar la anotación. Notablemente, el conjunto de datos excluye sujetos humanos para evitar complicaciones éticas relacionadas con el sesgo demográfico y el refuerzo de estereotipos.

2. Protocolo de Evaluación

El estudio emplea un enfoque de evaluación dual:

• Evaluación Humana: Dos anotadores evaluaron una muestra estratificada de 500 imágenes generadas en cinco modelos T2I (Stable Diffusion v1.5, SDXL-Turbo, SDXL-Base, SD 3.5 y FLUX.1-dev). Los anotadores respondieron a tres preguntas binarias:
  1. ¿Está la imagen libre de errores de generación visual?
  2. ¿Está presente el sujeto correcto?
  3. ¿Aplicó el modelo correctamente el conocimiento temporal requerido?
• Evaluación Automática: Los autores probaron varios métodos automatizados establecidos contra los juicios humanos para determinar su confiabilidad en la detección de señales temporales. Estos incluyeron:
  • CLIPScore: Midiendo la similitud de la incrustación (embedding) entre texto e imagen.
  • Captioning (Generación de subtítulos): Generar subtítulos de imagen y compararlos con el prompt.
  • VQA Descomponencial: Utilizar un LLM para desglosar los prompts en preguntas detalladas respondidas por un Modelo de Lenguaje-Visión (VLM).
  • Juicio Directo de VLM: Solicitar a los VLMs (Qwen2.5-VL, GPT-4o mini, GPT-5) que juzguen directamente si la imagen coincide con las restricciones temporales del prompt.

Resultados Clave

Hallazgos de la Evaluación Humana

• Baja Competencia Temporal: En los cinco modelos y categorías, la competencia temporal es generalmente débil. Ningún modelo superó el 75% de precisión al aplicar correctamente las señales temporales para cualquier categoría individual.
• Varianza de Categoría: La categoría de Mapas resultó ser la más desafiante, con incluso el mejor modelo (FLUX) logrando solo un 50% de generación libre de errores. Las Obras de Arte mostraron las tasas más altas de generación sin errores, aunque esto puede deberse a que los anotadores interpretaron los errores de generación como variaciones estilísticas.
• Desempeño del Sujeto vs. Temporal: Aunque los modelos generalmente funcionaron bien en la presencia del sujeto (Q2), esto no se correlacionó con la precisión temporal (Q3). Por ejemplo, FLUX logró puntuaciones altas en calidad de imagen y presencia de sujeto, pero solo un 38% de precisión temporal, mientras que SD v1.5 logró la mayor precisión temporal promedio (46%) a pesar de tener una menor coherencia general.
• Conclusión: La calidad general de la imagen no es un indicador de la codificación del conocimiento temporal. Los modelos T2I actuales luchan por integrar las señales temporales de manera consistente, incluso en categorías que parecen más simples.

Hallazgos de la Evaluación Automática

• Ineficacia de las Métricas Tradicionales: CLIPScore no mostró una correlación significativa con los juicios humanos respecto a la corrección temporal. La evaluación basada en subtítulos mostró cierta correlación con la presencia del sujeto, pero arrojó correlaciones negativas para las señales temporales, indicando que estos métodos pueden ser engañosos cuando la corrección depende del tiempo y no de la identidad del objeto.
• Limitaciones de los Jueces VLM: Incluso los VLMs avanzados (incluyendo GPT-5) fallaron en proporcionar evaluaciones confiables. La mejor configuración (GPT-5 con prompting de 3 disparos/3-shot) alcanzó un F1 score macro de solo 72%, muy por debajo del umbral para una evaluación automatizada confiable.
• Desalineación con la Dificultad Humana: Los jueces automatizados no se alinearon consistentemente con la dificultad de la tarea percibida por los humanos. Por ejemplo, GPT-5 juzgó erróneamente la categoría de "Animales" (envejecimiento), a pesar de que los humanos la consideraron menos desafiante que "Edificios" o "Mapas".

Significado y Contribuciones

El artículo realiza tres contribuciones primarias:

1. Conjunto de Datos TEMPVIZ: El primer conjunto de datos diseñado específicamente para analizar el conocimiento temporal en modelos T2I, que comprende 7.9k prompts en cinco categorías diversas con imágenes de referencia y valores esperados.
2. Benchmarking Empírico: Una evaluación humana exhaustiva de cinco modelos T2I de última generación, revelando que incluso los modelos más fuertes fallan en aplicar consistentemente el conocimiento temporal, con una precisión que rara vez supera el 75%.
3. Análisis de la Brecha de Evaluación: Una evaluación sistemática de los métodos de evaluación automática, demostrando que los enfoques actuales (CLIPScore, subtitulado, VQA y juicio directo de VLM) son insuficientes para juzgar de manera confiable las señales temporales en imágenes generadas.

Los autores concluyen que existe una necesidad apremiante de investigación futura enfocada tanto en mejorar la generación de señales temporales en los modelos T2I como en el desarrollo de métricas de evaluación capaces de evaluar estas relaciones visuales-temporales finas. El artículo posiciona a TEMPVIZ como un recurso fundacional para motivar esta dirección, en lugar de pretender haber resuelto los desafíos subyacentes de generación o evaluación.