Benchmarking Frontier Text-to-Image Models on Image-Description Prompts

En el silencioso zumbido de la informática moderna, ha surgido un nuevo tipo de artista, uno que no pinta con pinceles o arcilla, sino con palabras. Estos son los sistemas de texto a imagen, programas informáticos que escuchan una descripción humana e intentan dibujar una imagen que coincida con ella. Durante años, estos sistemas han sido probados con peticiones sencillas, como "un gato sentado en una alfombra", donde se desempeñan con una gracia sorprendente. Pero el mundo real rara vez es tan simple. Cuando un usuario pide algo específico y complejo —como una escena con exactamente cuatro sillas rojas, un letrero que diga "OPEN" en letras claras y un reflejo en un charco que obedezca las leyes de la física—, los programas suelen tropezar. Podrían dibujar tres sillas en lugar de cuatro, desordenar las letras del letrero o hacer que el reflejo flote en el aire. Comprender por qué estos sistemas fallan, y cuáles fallan menos, es crucial para cualquiera que desee utilizarlos para trabajos serios, desde el diseño de anuncios hasta la creación de guiones gráficos. La brecha entre un sistema que funciona bien en tareas fáciles y uno que puede manejar las demandas desordenadas y detalladas de la realidad es donde reside la verdadera prueba de inteligencia.

Un equipo de investigadores se propuso medir esta brecha sometiendo a cuatro de los sistemas de generación de imágenes más avanzados a una prueba rigurosa. No pidieron a las computadoras que dibujaran imágenes simples; en su lugar, les proporcionaron las cuarenta y ocho descripciones más difíciles disponibles en una gran colección de pies de foto de imágenes del mundo real. Estos prompts fueron elegidos porque exigían precisión: recuentos exactos de objetos, disposiciones espaciales específicas y texto legible integrado en la escena. Los sistemas probados fueron Hunyuan 3.0, Gemini 3 Pro Image, Black Forest Labs FLUX.2 e Ideogram 3.0. Para asegurar un juicio justo e imparcial, los investigadores emplearon un ingenioso proceso de dos pasos. Primero, un modelo de inteligencia artificial actuó como escritor, creando una lista de verificación detallada de cómo debería verse una imagen perfecta para cada prompt específico, mientras también observaba la imagen real que el sistema había producido para notar cualquier fallo obvio. Luego, un modelo de inteligencia artificial completamente diferente, actuando como juez, utilizó esa lista de verificación para calificar la imagen. Esta separación aseguró que el modelo que decidía qué buscar nunca fuera el mismo que decidía si la imagen pasaba la prueba, eliminando el sesgo que puede ocurrir cuando un sistema califica su propio trabajo.

Los resultados revelaron una clara división en la capacidad. Dos sistemas, Gemini 3 Pro Image y FLUX.2, emergieron como los líderes, con puntuaciones de 84.8 y 82.3 sobre 100, respectivamente. Fueron seguidos por una brecha significativa, con Ideogram 3.0 puntuando 65.7 e Hunyuan 3.0 puntuando 63.3. La diferencia entre los mejores y los peores no fue solo una cuestión de errores menores; fue una diferencia fundamental en cómo manejaban la complejidad. Los sistemas líderes generalmente acertaban en la visión general, pero ocasionalmente contaban mal los objetos o introducían fallos geométicos menores, como una rueda fusionándose extrañamente con un marco. En contraste, los sistemas rezagados luchaban con lo básico. Con frecuencia fallaban al incluir elementos solicitados por completo, como omitir un objeto específico de la escena, o deformaban el texto, convirtiendo las palabras en garabatos ilegibles en lugar de letras claras. Por ejemplo, al pedirle que dibujara un buzón con forma de coche con una dirección específica, el sistema con mayor puntuación acertó cada detalle, mientras que el sistema con la puntuación más baja no logró que el buzón pareciera un coche en absoluto, omitió la dirección y dibujó solo dos neumáticos en lugar de cuatro.

El estudio destaca que, si bien estos sistemas están mejorando, aún carecen de una comprensión nativa de las reglas simbólicas discretas. Son excelentes capturando el ambiente general, el color y la composición de una escena, pero luchan con la lógica precisa requerida para contar elementos o deletrear palabras correctamente. Los investigadores encontraron que los desafíos más difíciles para todos los sistemas eran el etiquetado secuencial exacto, como numerar bloques de salida del cinco al ocho, y contar números específicos de personas u objetos. Incluso el sistema con mejor desempeño, Gemini 3 Pro Image, perdió puntos en estas tareas, aunque lo hizo con mucha menos frecuencia que los demás. Los sistemas rezagados, particularmente Ideogram 3.0, mostraron un patrón de omitir elementos solicitados enteros, lo que sugiere que a veces se rinden ante instrucciones complejas en lugar de intentar errar en los detalles. Esta distinción es vital para los usuarios: si un proyecto requiere una escena con muchos objetos distintos, los sistemas líderes son mucho más confiables, pero si el objetivo es generar texto dentro de una imagen, incluso los mejores sistemas todavía luchan por lograrlo siempre correctamente.

En última instancia, esta investigación demuestra que la capacidad de seguir instrucciones complejas es la nueva frontera para la generación de imágenes. La brecha entre el mejor y el resto no es una cuestión de estilo o talento artístico, sino de consistencia lógica. Los dos sistemas líderes demostraron que pueden manejar el trabajo pesado de las demandas compositivas, mientras que los otros siguen siendo propensos a errores fundamentales que rompen la ilusión de la realidad. A medida que estas herramientas pasan de ser curiosidades experimentales a herramientas de producción, la elección de qué sistema usar dependerá fuertemente de la tarea específica. Para imágenes atmosféricas simples, las diferencias pueden ser insignificantes, pero para peticiones que demandan precisión, los líderes ofrecen un nivel de confiabilidad que los otros aún no han logrado igualar. El camino a seguir consiste en refinar estos sistemas para que comprendan mejor las reglas del conteo, el texto y el espacio, convirtiéndolos de artistas que adivinan los detalles en herramientas que puedan ejecutarlos con certeza.