💬 NLP

Can Language Models Imagine Without Seeing? Ekphrasis: Measuring Visual Creative Ideation in Text-Only LLMs

Este artículo presenta Ekphrasis, un nuevo referente y marco de evaluación que aísla y mide las capacidades de ideación creativa visual de los modelos de lenguaje de solo texto al distinguir entre la prosa fluida y la capacidad real de generar planes visuales útiles, expresivos y de novedad poblacional.

Autores originales: Hongyu Luo, He Wang, Huihao Jing, Hong Ting Tsang, Yuxuan Liu, Wuganjing Song, Yauwai Yim, Chunyang Li, Yangqiu Song

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hongyu Luo, He Wang, Huihao Jing, Hong Ting Tsang, Yuxuan Liu, Wuganjing Song, Yauwai Yim, Chunyang Li, Yangqiu Song

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un director intentando contratar el reparto para una película, pero aún no puedes ver a los actores. Solo tienes a un guionista que describe las escenas con palabras. La gran pregunta es: ¿puede este guionista realmente imaginar una escena nueva y emocionante, o solo está hilando palabras elegantes que suenan creativas pero describen exactamente los mismos viejos clichés que todo el mundo ha visto mil veces? Este es el rompecabezas en el corazón de un nuevo estudio en el mundo de la Inteligencia Artificial, específicamente analizando los "Modelos de Lenguaje Extensos" (LLM, por sus siglas en inglés). Estos son programas informáticos superinteligentes que escriben historias, responden preguntas y charlan con nosotros. Los científicos se han preguntado durante mucho tiempo si estas máquinas que solo manejan texto pueden realmente "visualizar" ideas antes de que se conviertan en imágenes, o si solo están fingiendo con un lenguaje florido. Para averiguarlo, los investigadores necesitaban una forma de probar si la descripción de una IA era un auténtico destello de invención visual o simplemente una idea reciclada y segura vestida con un esmoquin.

Aquí entra EKPHRASIS, un nuevo "examen" diseñado por investigadores de la Universidad de Ciencia y Tecnología de Hong Kong para probar precisamente esto. Piensa en EKPHRASIS como un gimnasio creativo para la IA. En lugar de pedirle a la IA que dibuje una imagen (lo cual no puede hacer directamente en esta prueba), los investigadores le dieron a 14 modelos de IA diferentes 400 desafíos creativos específicos. Estos desafíos pedían a los modelos que hicieran cosas como convertir un concepto abstracto como la "presión del tiempo" en una escena visual, mezclar dos ideas no relacionadas o reescribir un objeto de una manera nueva. El objetivo no era solo ver si la IA escribía una frase bonita, sino ver si podía proponer un plan de Ideación Creativa Visual (VCI): una descripción que fuera útil para la tarea, lo suficientemente expresiva como para pintar una imagen clara en tu mente y, lo más importante, novedosa, es decir, que no se limitara a repetir las ideas aburridas y trilladas que otras IA siempre proponen.

Los investigadores descubrieron que una escritura fluida y hermosa es un poco una trampa. Una IA puede escribir un párrafo que suene increíblemente creativo y vívido, pero que esté describiendo exactamente los mismos viejos clichés visuales, como usar un reloj de arena para representar el tiempo o una nube de tormenta para representar la tristeza. Para detectar esta "ilusión de novedad", el equipo construyó un sistema de puntuación especial. No se limitaron a preguntar: "¿Es esto creativo?". Preguntaron: "¿Es esto útil? ¿Es fácil de visualizar? Y ¿es diferente de lo que habrían dicho las otras 13 IA?". Utilizaron un método ingenioso llamado "Grafos de Ideas Tipificadas" para mapear los patrones comunes y aburridos que todos los modelos tienden a repetir, y luego comprobaron si las nuevas respuestas evitaban esas trampas.

Los resultados fueron fascinantes y matizados. El estudio descubrió que ser "bueno" en la ideación visual no es solo un único superpoder. Algunas IA eran excelentes siguiendo instrucciones y creando planes útiles, pero eran muy cliché. Otras eran increíblemente originales pero a veces perdían el sentido de la tarea. Los mejores desempeños, como Gemini 3.1 Pro y GPT-5.4, lograron equilibrar los tres rasgos, pero lo hicieron de maneras diferentes. Crucialmente, los investigadores tomaron las mejores descripciones textuales y generaron imágenes a partir de ellas utilizando una herramienta separada. Cuando los humanos vieron estas imágenes sin ver el texto original, siguieron prefiriendo las imágenes que provenían de los planes de texto de "alta VCI". Esto sugiere que la IA realmente estaba planeando algo visual, no solo escribiendo prosa elegante.

Sin embargo, el artículo advierte cuidadosamente que esto no significa que la IA tenga un "ojo mental" o una imaginación privada similar a la humana. Simplemente significa que estos modelos que solo manejan texto pueden crear planos detallados y listos para la imagen que sobreviven al viaje del texto a la imagen. El estudio sugiere que, si bien los modelos actuales están mejorando en la planificación visual, todavía luchan por liberarse de las ideas "seguras" que sus datos de entrenamiento les enseñan a amar. La conclusión es clara: que una IA escriba una historia creativa no significa que tenga una idea visual creativa. Para medir verdaderamente la creatividad visual, tenemos que mirar más allá de las palabras floridas y comprobar si el plano es realmente nuevo, útil y está listo para ser construido.

Resumen Técnico: EKPHRASIS – Midiendo la Ideación Creativa Visual en LLMs de Solo Texto

Planteamiento del Problema

Las evaluaciones actuales de los Modelos de Lenguaje Extensos (LLMs) a menudo no logran aislar si los modelos de solo texto pueden originar genuinamente conceptos visuales antes de que ocurra la generación de imágenes. Existe una "trampa de medición" significativa donde la prosa visual fluida y vívida puede enmascarar una falta de verdadera invención visual. Los modelos pueden producir resultados que parecen creativos pero que dependen de clichés visuales familiares, motivos seguros o patrones de población recurrentes (la "ilusión de novedad"). Los benchmarks existentes suelen evaluar la imagen final renderizada, la creatividad verbal o el seguimiento de instrucciones, pero no evalúan el plan visual pre-imagen —el plano textual que debe portar sustancia, especificidad y novedad visual antes de que existan los píxeles—.

La pregunta central abordada es: ¿Pueden los modelos de lenguaje imaginar visualmente, o solo escriben como si pudieran hacerlo?

Metodología: Benchmark EKPHRASIS

Los autores presentan EKPHRASIS, un benchmark de 400 tareas diseñado para medir la Ideación Creativa Visual (VCI). La VCI se define como la capacidad de producir planes visuales textuales que sean:

Útiles: Que satisfagan el briefing visual específico.
Expresivos: Que proporcionen suficiente detalle para soportar una imagen mental concreta y estable.
Novedosos: Que se aparten de los clichés visuales específicos de la tarea comunes en la población de LLMs.

Diseño de las Tareas

El benchmark abarca cuatro familias de tareas controladas, cada una de las cuales prueba un aspecto diferente de la planificación visual:

Abstracción: Mapear conceptos abstractos a portadores visuales concretos (por ejemplo, expresar "presión temporal" sin usar un reloj de arena).
Combinación: Fusionar dos conceptos distintos en una única entidad visual coherente en lugar de una simple yuxtaposición.
Transformación: Reescribir la forma, el material o el contexto de un objeto bajo restricciones específicas manteniendo la reconocibilidad.
Adaptación: Diseñar una solución visual para un contexto del mundo real (por ejemplo, publicidad, educación) con audiencias y restricciones de medio específicas.

Protocolo de Evaluación

EKPHRASIS emplea un rigurooso pipeline de evaluación multietapa para evitar sesgos asociados con la fluidez o la longitud:

Formato de Respuesta de Dos Campos: Los modelos deben emitir una Idea Central (portador, metáfora, mecanismo) y una Descripción Visual (objetos, disposición, material, luz). Esto evita que la prosa fluida reemplace un plan visual específico.
Comparación por Pares Asistida por Listas de Verificación: Evaluadores humanos y de LLM comparan pares de modelos anonimizados utilizando listas de verificación dimensionales específicas para Utilidad, Expresividad y Novedad.
Grafos de Ideas Tipificadas (TIG) para la Novedad: Para medir la novedad objetivamente, el sistema construye una referencia "anclada a la población". Para cada tarea, se construye un grafo de "átomos de ideas tipificadas" (conceptos, motivos, mecanismos) a partir de las respuestas de todos los modelos excepto los dos que se están comparando (Leave-Two-Models-Out). Los clústeres de alta puntuación en este grafo representan "clichés de la población". La novedad se puntúa basándose en si una respuesta evita, transforma o repite estos clichés específicos.
Agregación de Bradley-Terry: Las preferencias por pares se agregan mediante modelos de Bradley-Terry para generar puntuaciones de habilidad latente ( $\theta$ ) para cada modelo a través de las tres dimensiones, utilizando muestreo activo para optimizar el presupuesto de comparación.

Validación Transmodal

Para asegurar que las puntuaciones a nivel de texto reflejen el contenido visual real y no solo la calidad verbal, los autores realizaron un estudio de fundamentación transmodal:

Los planes textuales fueron renderizados en imágenes utilizando un sistema de texto a imagen fijo.
Una "puerta de fidelidad" filtró los renderizados que no preservaban la idea original.
Evaluadores humanos compararon las imágenes renderizadas sin ver el texto original ni la identidad del modelo.
Los resultados de las preferencias a nivel de imagen se compararon con los rankings de VCI originales a nivel de texto para verificar la validez convergente.

Principales Contribuciones

Definición del Constructo: El artículo operacionaliza la Ideación Creativa Visual (VCI) como un constructo distinto que separa la satisfacción del briefing, la especificidad visual y la novedad de la población de la fluidez general o la creatividad verbal.
Benchmark EKPHRASIS: Un conjunto de 400 instancias que cubre Abstracción, Combinación, Transformación y Adaptación, con un motor de evaluación novedoso que utiliza Grafos de Ideas Tipificadas para anclar la novedad contra los patrones recurrentes de la población de modelos.
Evidencia Empírica: Evaluación de 14 LLMs de solo texto de vanguardia demostrando que la VCI es multidimensional. Los modelos más fuertes logran puntuaciones agregadas altas a través de diferentes perfiles (por ejemplo, algunos sobresalen en Utilidad pero carecen de Novedad, mientras que otros son altamente Novedosos pero menos Útiles).
Validación: La evidencia indica que el ordenamiento de VCI a nivel de texto sobrevive en gran medida al renderizado fiel y al juicio de preferencia de imagen a ciegas, lo que respalda la métrica como una medida de la ideación visual más allá de la calidad de la prosa.

Resultados

Rendimiento de los Modelos: Los modelos de primer nivel (Gemini 3.1 Pro, GPT-5.4, Claude 4.7, DeepSeek V4, Kimi K2.6) forman un grupo diverso. Por ejemplo, GPT-5.4 lideró en Utilidad (+1.53), Claude 4.7 y Gemini 3.1 Pro en Expresividad, y Kimi K2.6 en Novedad (+1.66).
Disociación Dimensional: El estudio confirma que una alta utilidad no garantiza la novedad visual. Modelos como Grok 4.3 mostraron una alta Utilidad (+1.10) pero una Novedad por debajo del promedio (-0.17), indicando que pueden satisfacer los briefings mientras recurren a portadores visuales familiares.
Dificultad de la Tarea: Las tareas de Combinación fueron identificadas como las más exigentes, requiriendo una estructura visual compartida en lugar de una simple colocación uno al lado del otro.
Ablación de Novedad: Reemplazar los anclajes TIG específicos de la tarea con referencias de novedad genéricas redujo el acuerdo de la mayoría humana en 20.9 puntos porcentuales, demostrando que el anclaje de la población específico de la tarea es crítico para una medición precisa de la novedad.
Acuerdo Transmodal: En el subconjunto fiel, el 96.6% de las preferencias decisivas de nivel de imagen se alinearon con el ordenamiento de los modelos a nivel de texto, validando que los planes de texto capturaban información visual recuperable.

Significado y Reivindicaciones

El artículo reclama un "sí calificado operacional" a la pregunta de si los modelos de solo texto pueden imaginar visualmente. Demuestra que:

Los planes pre-imagen pueden portar información visual relevante para la tarea a través de un cambio de modalidad de texto a imagen.
La VCI no es monolítica; puntuaciones agregadas similares pueden enmascarar diferentes capacidades subyacentes (por ejemplo, seguimiento de instrucciones frente a invención visual genuina).
El límite central expuesto es la "plausibilidad segura": muchos resultados satisfacen los briefings y se leen bien, pero recurren a portadores familiares y metáforas de stock.
Implicación Práctica: La prosa con apariencia creativa no debe tratarse como creatividad visual sin controles separados para el mecanismo visual, la imagenabilidad y la novedad de la población.

Los autores señalan modestamente las limitaciones, incluyendo la dependencia de la población actual de modelos para definir los clichés, los supuestos culturales en los juicios de novedad y la dependencia de un renderizador específico para la validación transmodal. Enfatizan que EKPHRASIS mide la planificación pre-imagen externalizada, no la imaginería mental privada o una teoría general de la creatividad humana.