Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido una clase específica de software capaz de conjurar imágenes de la nada con tan solo una frase. Estos sistemas, conocidos como modelos de texto a imagen, escuchan la descripción de un usuario —tal vez "un gato rojo sentado sobre una alfombra azul"— y generan una representación visual de esa escena. Durante años, la forma principal de juzgar qué tan bien funcionaban estas máquinas era observar la imagen final y asignarle una puntuación única. Si la imagen se veía bien en general, el modelo se consideraba fuerte. Sin embargo, a medida que estas herramientas han mejorado, ha surgido un problema: diferentes modelos suelen alcanzar puntuaciones generales similares poseyendo, al mismo tiempo, fortalezas y debilidades muy distintas. Uno puede ser excelente dibujando animales pero terrible renderizando texto, mientras que otro puede seguir instrucciones complejas perfectamente pero tener dificultades con formas simples. Esto dificulta que los usuarios elijan la herramienta adecuada para un trabajo específico, ya que un solo número no puede revelar los detalles intrincados de lo que un modelo es realmente capaz de hacer.

Para resolver esto, un equipo de investigadores de China Unicom ha introducido una nueva forma de probar estos sistemas llamada QC-T2I-Bench. En lugar de tratar un "prompt" como un bloque único e indivisible, su método descompone cada solicitud en una serie de preguntas diminutas y específicas. Si un usuario pide un gato rojo sobre una alfombra azul, el sistema no solo pregunta: "¿Es buena la imagen?". Pregunta: "¿Hay un gato?", "¿Es el gato rojo?", "¿Hay una alfombra?" y "¿Es la alfombra azul?". Crucialmente, los investigadores también mapean cómo estas preguntas dependen unas de otras. Reconocen que si el sistema falla al dibujar al gato, no puede tener éxito en dibujar el pelaje rojo del gato. Al organizar estas preguntas en una estructura lógica, el equipo puede señalar exactamente dónde falla un modelo y si ese fallo es un error básico o un error más complejo que solo ocurre cuando se combinan múltiples requisitos.

Los investigadores probaron este enfoque en trece generadores de imágenes de código abierto diferentes, utilizando tanto prompts en inglés como en chino. Descubrieron que, si bien algunos modelos funcionaban bien en tareas simples, su capacidad para manejar solicitudes complejas caía drásticamente a medida que aumentaba el número de requisitos. Cuando un prompt contenía requisitos para solo dos capacidades diferentes, los modelos lograban crear una imagen perfecta el 80.7% de las veces. Sin embargo, cuando la solicitud exigía siete o más capacidades distintas simultáneamente, la tasa de éxito se desplomaba al 37.2%. Este declive no fue simplemente una cuestión de añadir más errores; reveló que los modelos tenían dificultades significativas para mantener todas las piezas de un rompecabezas complejo unidas al mismo tiempo. El estudio también mostró que, al comprender estas dependencias, los investigadores podían distinguir entre un modelo que simplemente no puede dibujar un objeto específico y uno que puede dibujar el objeto pero falla cuando se le pide añadir detalles específicos a este.

Más allá de simplemente clasificar los modelos, este desglose detallado permite una aplicación más práctica: el enrutamiento consciente del costo. En el mundo real, ejecutar estos generadores de imágenes en computadoras potentes cuesta dinero y energía. Los investigadores demostraron que los mismos registros detallados utilizados para diagnosticar errores podrían usarse para seleccionar automáticamente el modelo más eficiente para una tarea dada sin necesidad de entrenar un nuevo sistema. Al analizar los requisitos específicos de la solicitud de un usuario, su sistema podía elegir un generador que fuera más barato de ejecutar pero que aun así cumpliera con los estándares de calidad. En sus pruebas, este método igualó el rendimiento de un modelo de primer nivel utilizando un 21.3% menos de potencia de cómputo por imagen. Esto sugiere que el futuro del uso de estas herramientas no reside solo en hacerlas más inteligentes, sino en utilizar una comprensión más profunda de sus capacidades específicas para emparejar la herramienta adecuada con el trabajo adecuado, ahorrando recursos mientras se mantiene la alta calidad.