💬 NLP

Simile Understanding in Text-to-Image Models: An Evaluation Framework

Este artículo propone un marco de evaluación escalable para evaluar y diagnosticar sistemáticamente el fallo persistente de los modelos de texto a imagen al interpretar correctamente los símiles, revelando una brecha entre la comprensión del lenguaje figurado y el anclaje visual a través de conjuntos de datos controlados, métricas de detección automática y análisis de las capas del codificador.

Autores originales: Luecheng Wang, Shintaro Ozaki, Hidetaka Kamigaito, Katsuhiko Hayashi, Jingun Kwon, Manabu Okumura, Taro Watanabe

Publicado 2026-08-06

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Luecheng Wang, Shintaro Ozaki, Hidetaka Kamigaito, Katsuhiko Hayashi, Jingun Kwon, Manabu Okumura, Taro Watanabe

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás hablando con un robot artista súper inteligente que ha visto millones de imágenes y sabe dibujar casi cualquier cosa que le describas. Este robot vive en el mundo de los modelos de "texto a imagen", donde escribes una frase como "un gato con un sombrero" y él pinta un cuadro. Pero ¿qué pasa cuando pides algo más poético, como "un gato tan esponjoso como una nube"? Aquí es donde la cosa se complica. No estás pidiendo que aparezca una nube en la imagen; estás pidiendo que el robot tome el sentimiento de la esponjosidad de una nube y se lo dé al gato. Esto se llama un "símil". Es una forma de describir cosas comparándolas con otra cosa, como decir "él corre como el viento" (no esperas que el viento corra a su lado, solo que es rápido).

La gran pregunta que los científicos se han estado preguntando es: ¿Entiende este robot artista realmente el chiste? O ¿se confunde y piensa: "Ah, ¿quieres un gato y una nube?" y simplemente dibuja ambas cosas? Este artículo profundiza en ese problema exacto. Trata la confusión del robot como un error específico llamado "sesgo de literalidad", donde el modelo toma el objeto de comparación (el "vehículo" del símil) y lo dibuja como una cosa real y física en lugar de usar solo sus cualidades. Los investigadores querían construir una prueba para ver qué tan seguido sucede esto y por qué, porque si los robots no pueden entender las metáforas, no pueden entender la forma creativa y colorida en que los humanos hablamos.

La Gran Prueba del "Pan de Piedra"

Para averiguar si estos artistas de IA son verdaderamente creativos o solo imitadores literales, los investigadores construyeron un patio de juegos masivo y controlado. No se limitaron a pedirle a los robots que dibujaran cosas al azar; crearon un conjunto específico de instrucciones llamadas "prompts de símiles". Eligieron 80 objetos diferentes que una computadora puede reconocer fácilmente (como piedras, nubes o tijeras) y los mezclaron con 14 plantillas de oraciones diferentes.

Por ejemplo, podrían pedirle al robot que dibuje "un hombre comiendo pan tan duro como una piedra". La respuesta correcta es una imagen de un pan que parezca duro y crujiente, pero sin que haya una roca real sentada en la mesa. Si el robot dibuja una roca, ha fallado la prueba. Los investigadores llaman a este fallo "sesgo de literalidad". Es como si le dijeras a un niño: "Tengo tanta hambre como un oso", y el niño trajera a un oso real a la cocina en lugar de simplemente entender que tienes mucha hambre.

El Trabajo de Detective: Cómo Atraparon a los Robots

El equipo probó cinco generadores de imágenes de IA populares. Para ver si los robots estaban malinterpretando las instrucciones, utilizaron una herramienta de detective digital llamada YOLO (que significa "You Only Look Once", un detector de objetos muy rápido). Esta herramienta escaneó cada una de las imágenes que los robots hicieron para ver si el "objeto de comparación" (como la piedra en el ejemplo del pan) había aparecido accidentalmente en la imagen.

Los resultados fueron un poco agridulces, pero mayormente malas noticias para las habilidades de comprensión de los robots.

El Grupo de Alto Fallo: Un modelo, Qwen-Image, fue el peor infractor. En aproximadamente el 61.4% de las imágenes, dibujó el objeto literal (la piedra, la nube, etc.) en lugar de solo el atributo. Otro modelo, PixArt, lo hizo el 49.5% de las veces.
El Grupo Mejor pero Aún Defectuoso: Los otros modelos (Dreamlike, FLUX y SD3.5) fueron mejores, pero seguían cometiendo el error aproximadamente entre el 30% y el 35% de las veces.

Los investigadores también pidieron a jueces humanos que miraran las imágenes. Los humanos estuvieron de acuerdo con el detector de la computadora: cuando el "objeto de comparación" (la piedra o la nube) era visible en la imagen, los humanos calificaron la imagen como una mala interpretación del símil. Curiosamente, cuanto más fallaban los robots en la parte "literal", menos parecían capturar el significado real de la oración. Es un intercambio: cuanto más dibujan el objeto extra, menos entienden la descripción.

Por Qué las Pruebas Estándar Pasaron por Alto el Error

Aquí hay un giro divertido: Los investigadores intentaron usar las "boletas de calificaciones" estándar que usualmente califican el arte de la IA, como CLIPScore y PickScore. ¡Estas herramientas deberían decirte qué tan bien coincide una imagen con una oración, pero fallaron por completo! Dieron puntuaciones altas a imágenes que tenían los objetos incorrectos en ellas. Es como un profesor que le da una "A" a un estudiante que dibujó un oso cuando se le pidió escribir sobre el hambre, solo porque el dibujo es de alta calidad. Este artículo demuestra que necesitamos un nuevo tipo de prueba específicamente para las metáforas, porque las antiguas son demasiado ciegas para ver este tipo de confusión.

Echar un Vistazo al Cerebro del Robot

Para entender por qué los robots cometían estos errores, los investigadores utilizaron una herramienta especial llamada "Diffusion Lens". Imagina el cerebro del robot como un pastel de varias capas. Las capas inferiores son donde comienza a pensar en formas básicas, y las capas superiores son donde pone los detalles finales.

Descubrieron que diferentes robots "pensaban" en el objeto equivocado en diferentes momentos:

Los Pensadores Tempranos: Algunos modelos (como FLUX y SD3.5) empezaron a pensar en la "piedra" o la "nube" casi de inmediato, justo en las capas inferiores del cerebro. Una vez que empezaron a pensar en ello, no pudieron detenerse y terminó apareciendo en la imagen final.
Los Pensadores Tardíos: Otros modelos (como Qwen-Image) esperaron hasta las capas superiores del cerebro para pensar en el objeto. Para cuando pensaron en él, ya era demasiado tarde para evitar que apareciera en el dibujo final.
Los Supresores: Algunos modelos (como Dreamlike) pensaban en el objeto en las capas medias, pero luego lograban "suprimir" o borrar el objeto antes de que la imagen final estuviera terminada. Esta es la razón por la que tenían menos errores.

¿Podemos Arreglarlo?

Los investigadores probaron dos trucos para ver si podían evitar que los robots dibujaran los objetos incorrectos sin cambiar las instrucciones.

Lanzar los Dados (Regeneración Aleatoria): Le pidieron a los robots que dibujaran la imagen de nuevo, solo cambiando el número de "semilla" aleatoria (como lanzar dados para obtener un resultado diferente). Esto ayudó un poco. Para el peor robot (Qwen-Image), la tasa de error cayó del 61.4% al 24.4%. Es como pedirle a un artista confundido que lo intente de nuevo; a veces lo logran por suerte.
Cambiar la Capa del Cerebro (Regeneración Basada en Capas): Intentaron forzar al robot a usar una capa diferente de su cerebro para tomar la decisión. Esto funcionó incluso mejor para algunos modelos. Para PixArt, la tasa de error cayó del 49.5% al 17.6%.

Sin embargo, el artículo es cuidadoso al decir que esto no es una cura mágica. El hecho de que el robot dejara de dibujar la piedra literal no significa que haya entendido perfectamente la "dureza" del pan. Solo significa que dejó de cometer ese error específico y obvio.

La Conclusión

Este artículo muestra que incluso los generadores de arte de IA más avanzados todavía están luchando con el arte del símil. A menudo toman las metáforas de forma demasiado literal, dibujando el objeto de comparación en lugar de solo sus cualidades. Aunque podemos reducir este error pidiendo a los robots que lo intenten de nuevo o ajustando cómo piensan, aún no lo han dominado por completo. Los investigadores construyeron una nueva forma de medir este problema, demostrando que las pruebas estándar no son suficientes para detectar estas malinterpretaciones creativas. Es un recordatorio de que para que los robots entiendan verdaderamente el lenguaje humano, deben aprender no solo lo que significan las palabras, sino cómo las usamos para pintar cuadros con nuestra mente.

Resumen Técnico: Comprensión de Símiles en Modelos de Texto a Imagen

Planteamiento del Problema

Los modelos de texto a imagen (t2i) son cada vez más capaces de generar imágenes visualmente atractivas a partir de prompts textuales. Sin embargo, su capacidad para interpretar el lenguaje figurado, específicamente los símiles, sigue siendo poco explorada. Aunque los símiles ofrecen una forma compacta de transferir atributos visuales (por ejemplo, "el pan duro como una piedra"), los modelos de vanguardia actuales frecuentemente malinterpretan el vehículo metafórico (la fuente del atributo, por ejemplo, "piedra") como un objeto que debe representarse literalmente en lugar de ser una fuente de propiedades para el objetivo.

Este fallo sistemático, denominado sesgo de literalización, resulta en la generación del propio vehículo metafórico (por ejemplo, la aparición de una piedra real en la imagen) en lugar de la transferencia de atributos pretendida. Esto revela una brecha entre el procesamiento del lenguaje figurado y la fundamentación visual a nivel de objeto en los modelos t2i. Las métricas de evaluación de imágenes de propósito general existentes (por ejemplo, CLIPScore, PickScore) no logran capturar adecuadamente este modo de fallo específico, ya que priorizan la alineación general entre texto e imagen sobre la ausencia de objetos literales no deseados.

Metodología

Los autores proponen un marco de evaluación escalable de cuatro etapas, diseñado para investigar y cuantificar sistemáticamente el sesgo de literalización:

1. Construcción del Conjunto de Datos de Símiles

Para permitir la detección automática de apariciones literales, los autores construyeron un conjunto de datos controlado:

Selección de Vehículos: Los vehículos metafóricos se restringieron a 80 categorías de objetos detectables por el detector de objetos preentrenado YOLO (You Only Look Once).
Diseño de Plantillas: Se crearon 14 plantillas de símiles diversas, que cubren construcciones comparativas (por ejemplo, "como", "tan... como") y construcciones hipotéticas (por ejemplo, "como si").
Generación y Filtrado: Modelos de Lenguaje de Gran Escala (LLM) generaron oraciones candidatas, las cuales fueron filtradas mediante un enfoque de LLM-como-Juez. Las oraciones que alcanzaron la máxima concordancia entre múltiples jueces (Grupo G5) formaron el conjunto de datos final, asegurando la gramaticalidad, la presencia de símiles y la concreción de la escena.

2. Generación de Imágenes

Se evaluaron cinco modelos t2i arquitectónicamente diversos utilizando el conjunto de datos construido bajo configuraciones de inferencia consistentes (resolución de 768×768, semilla 42, escala de guía 4.5):

Dreamlike-photoreal-2.0 (basado en CLIP)
PixArt-XL-2-1024-MS (basado en T5)
FLUX.1-dev (CLIP + T5)
Stable Diffusion 3.5 Large (CLIP + T5)
Qwen-Image (basado en LLM)

3. Evaluación Automática

La métrica principal para el sesgo de literalización es YOLO-Det, la proporción de imágenes generadas donde el vehículo metafórico es detectado como un objeto literal.

Métricas Auxiliares: También se registraron YOLO-Conf (puntuación de confianza) y YOLO-Area (cobertura de la caja delimitadora).
Comparación con Línea Base: El estudio comparó las métricas basadas en YOLO con métricas de propósito general (CLIPScore, PickScore) y evaluaciones humanas para validar el enfoque.

4. Análisis de la Capa del Codificador de Texto

Utilizando Diffusion Lens, los autores realizaron un análisis por capas para rastrear cómo emergen los vehículos metafóricos durante el proceso de generación. Definieron tres métricas:

Capa de primera aparición: La capa más temprana donde se detecta el vehículo.
Ratio de cobertura: La proporción de capas donde se detecta el vehículo.
Categoría de apariencia: Clasificación de los vehículos como Nunca aparecen, Suprimidos (aparecen en las capas pero no en la imagen final) o Persistentes (aparecen en las capas y en la imagen final).

Además, se probaron dos métodos de regeneración para mitigar el sesgo sin alterar el prompt:

Regeneración Aleatoria: Variar la semilla aleatoria.
Regeneración Basada en Capas: Condicionar la generación a partir de representaciones de capas más superficiales del codificador de texto.

Resultados Clave

1. Prevalencia del Sesgo de Literalización

El sesgo de literalización es un patrón de fallo constante en todos los modelos evaluados, aunque la severidad varía:

Qwen-Image exhibió el seso más alto (YOLO-Det: 0.614).
PixArt le siguió (0.495).
FLUX (0.349), SD3.5 (0.325) y Dreamlike (0.298) mostraron tasas menores pero aún significativas.
El sesgo se distribuyó en 78 de las 80 categorías de vehículos y en las 14 plantillas, lo que indica que no está limitado a objetos o frases específicas.

2. Validez de las Métricas de Evaluación

YOLO-Det mostró una fuerte correlación con los juicios humanos de presencia de vehículos metafóricos (puntuación Q2: $r=0.826$ ).
CLIPScore y PickScore mostraron correlaciones débiles con la presencia del vehículo ( $r \approx 0.35-0.38$ ) y una correlación casi nula con la relevancia general (Q3). Esto confirma que las métricas de propósito general no pueden detectar de manera fiable el sesgo de literalización.
Se encontró una fuerte correlación negativa ( $r = -0.601$ ) entre la presencia del vehículo (Q2) y la relevancia general (Q3), sugiriendo que cuanto más claramente aparece el vehículo, menos se alinea la imagen con el significado del símil pretendido.

3. Análisis por Capas

Las ramas basadas en CLIP (por ejemplo, FLUX-CLIP, SD3.5-CLIP) mostraron una aparición temprana (capa normalizada ~0.08) y alta cobertura, con vehículos que a menudo persisten hasta la imagen final.
Qwen-Image mostró una aparición tardía (~0.68) y baja cobertura, aunque los vehículos que aparecían eran frecuentemente persistentes.
Dreamlike y las ramas basadas en T5 a menudo mostraron una aparición intermedia donde los vehículos aparecían en las capas pero eran frecuentemente suprimidos antes de la imagen final.

4. Mitigación vía Regeneración

Regeneración Aleatoria: Redujo el sesgo en todos los modelos (por ejemplo, Qwen-Image se redujo en 0.370), lo que sugiere que la variación en el muestreo puede evitar la literalización en ocasiones.
Regeneración Basada en Capas: También redujo el sesgo, pero con efectividad variable. Para Dreamlike y PixArt, el uso de capas más superficiales redujo significamente el sesgo. Para FLUX y SD3.5, las reducciones fueron menores y dependientes de la rama específica del codificador de texto (T5 vs. CLIP).

Significado y Contribuciones

El artículo realiza tres contribuciones principales:

Definición y Análisis: Define formalmente el sesgo de literalización como la representación literal no deseada de los vehículos metafóricos y analiza su prevalencia en diversas arquitecturas t2i.
Marco de Evaluación: Propone un marco integral que integra la construcción de conjuntos de datos controlados, generación multimodelo, evaluación mediante detección automática de objetos y análisis de capas del codificador de texto.
Perspectivas de Mitigación: Demuestra que, si bien los métodos de regeneración pueden reducir parcialmente el sesgo de literalización, su efectividad depende altamente del modelo.

Los autores concluyen que, aunque reducir el sesgo de literalización es un paso medible hacia la mejora de la comprensión de los símiles, esto no garantiza una transferencia de atributos exitosa. El marco propuesto proporciona una dimensión necesaria, aunque parcial, para evaluar las capacidades de lenguaje figurado en los modelos t2i, resaltando que las métricas de propósito general actuales son insuficientes para esta tarea específica.