Resumen Técnico: Análisis de la Superficie sobre la Semántica en la Generación Multilingüe de Texto a Imagen

Declaración del Problema

Los modelos de texto a imagen (T2I) se utilizan cada vez más a nivel mundial, pero exhiben una alta sensibilidad al idioma de entrada. Aunque los prompts semánticamente equivalentes (por ejemplo, un prompt y su traducción) deberían, teóricamente, producir resultados similares, investigaciones previas indican que los modelos T2I suelen producir representaciones culturalmente estereotipadas cuando se enfrentan a idiomas distintos del inglés. Este fenómeno sugiere una tensión entre la forma superficial de la entrada (el idioma o la escritura específicos) y el contenido semántico (la descripción real del sujeto). Estudios previos han identificado este problema, pero se han visto limitados por análisis a pequeña escala que cubren solo un puñado de idiomas y culturas, y, crucialmente, carecen de un método exhaustivo para cuantificar el grado en que los modelos priorizan las señales superficiales sobre el significado semántico. Esta brecha dificulta el desarrollo de modelos T2I globalmente inclusivos y culturalmente justos.

Metodología

Construcción del Conjunto de Datos

Los autores construyeron un nuevo conjunto de datos multilingüe para analizar sistemáticamente este comportamiento:

• Alcance Cultural: Se seleccionaron 171 grupos de identidad cultural únicos del conjunto de datos SeeGULL, refinados para eliminar duplicados y estandarizar nombres.
• Alcance Lingüístico: Los prompts fueron traducidos a 14 idiomas (inglés y otros 13), seleccionados para asegurar la diversidad tipológica (cubriendo las familias indoeuropea, afroasiática, sino-tibetana, túrquica, coreánica, japónica y urálica) y la cobertura del modelo.
• Plantillas de Prompts: Se definieron tres plantillas base (por ejemplo, "A photo of a {ci} {pj}"), instanciadas con identidades culturales y términos de personas ("person", "woman", "man"), resultando en 1,539 prompts únicos en inglés.
• Traducción: Hablantes nativos con fluidez tanto en inglés como en los idiomas objetivo tradujeron los prompts, asegurando que se preservaran las distinciones entre términos de género y neutros.
• Generación de Imágenes: Se evaluaron siete modelos T2I de última generación: AltDiffusion-m9 (AD), Kandinsky-2-1 (K21), Kandinsky-3 (K3), Stable Diffusion v2.1 (SD21), Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) y FLUX.1-dev (FX). Las imágenes se generaron utilizando una semilla aleatoria fija (42).

Cuantificación: La Puntuación de Superficie sobre Semántica (SoS)

Para abordar la falta de una métrica adecuada, los autores introdujeron la Puntuación SoS, una medida basada en embeddings diseñada para cuantificar la tensión entre la superficie y la semántica sin depender de comparaciones textuales que puedan estar sesgadas por la calidad de la representación del idioma.

• Vectores de Referencia: Se computan dos vectores de referencia mediante el agrupamiento de imágenes a través de todos los modelos:
  • $\vec{surl}$: El promedio del embedding de todas las imágenes generadas a partir de prompts en un idioma $l$ específico (representa la forma superficial).
  • $\vec{semc}$: El promedio del embedding de todas las imágenes generadas para una identidad cultural $c$ específica (representa el contenido semántico).
• Cálculo: Para una imagen de salida $o_{c,l}$, la puntuación es la diferencia entre su similitud de coseno con el vector semántico y el vector superficial:
  $$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$$
• Interpretación: Las puntuaciones oscilan entre $[-1, 1]$. Los valores negativos indican una alineación más fuerte con la forma superficial (idioma), mientras que los valores positivos indican alineación con el contenido semántico.

Validación y Análisis

• Validación Humana: Un subconjunto de imágenes fue anotado por humanos para verificar si la imagen coincidía con la identidad cultural (semántica) o con la cultura asociada al idioma (superficie). La puntuación SoS alcanzó una precisión del 74.0% frente a los juicios humanos, con una precisión mayor (94.8%) en la detección de tendencias superficiales en comparación con CLIPScore.
• Análisis por Capas: Utilizando DiffusionLens, los autores analizaron cómo evolucionan las tendencias de SoS a través de las capas de los codificadores de texto en SD21 y K3.
• Manifestación Visual: El estudio empleó Preguntas-Respuesta Visual (VQA) utilizando Qwen2-VL-7B-Instruct para generar descripciones detalladas de las imágenes. Estas descripciones fueron analizadas mediante el método "Fighting Words" para identificar tokens distintivos de pares de idioma-modelo específicos. Estos términos se compararon posteriormente contra estereotipos culturales conocidos del conjunto de datos SeeGULL.

Resultados Clave

Variaciones de Modelos e Idiomas

• Prevalencia del Sesgo de Superficie: Todos los modelos excepto AltDiffusion (AD) exhibieron fuertes tendencias de nivel superficial en al menos dos idiomas. AD generalmente mostró tendencias semánticas, aunque todavía se inclinó hacia señales superficiales para hindi, amhárico y finlandés.
• Diferencias entre Modelos: FLUX (FX) mostró puntuaciones SoS fuertemente negativas (sesgo de superficie) para coreano, finlandés, japonés y chino. Kandinsky-3 (K3) mostró la puntuación media negativa más pequeña (más cercano a la neutralidad), mientras que SD3 mostró un amplio rango de puntuaciones, lo que sugiere una amplificación de los estereotipos en ambas direcciones.
• Evolución de Capas: En las capas posteriores de los codificadores de texto, el sesgo hacia la forma superficial del prompt se volvió más pronunciado. Para K3, los idiomas europeos se desplazaron hacia la neutralidad en las capas posteriores, mientras que los idiomas asiáticos se movieron hacia puntuaciones más negativas (sesgadas a la superficie).

Correlaciones y Generalizabilidad

• Similitud de Escritura: Las correlaciones de Pearson de las puntuaciones SoS revelaron similitudes fuertes entre los idiomas indoeuropeos que utilizan la escritura latina (por ejemplo, italiano y español mostraron una correlación de 0.7). Sin embargo, la similitud de la escritura no dictó estrictamente las tendencias; por ejemplo, chino y japonés mostraron una baja correlación a pesar del solapamiento de escritura, mientras que chino y coreano mostraron una alta correlación.
• Robustez del Concepto: Las tendencias de SoS observadas para los prompts de "persona" estuvieron altamente correlacionadas (Pearson $r = 0.876$) con las observadas para los prompts de "casa", lo que indica que la métrica se generaliza más allá de los sujetos humanos.

Manifestaciones Visuales del Sesgo

• Cobertura de Estereotipos: Los idiomas con fuertes tendencias de superficie a menudo activaron representaciones visuales culturalmente estereotipadas. Por ejemplo, las generaciones de FLUX para prompts en chino cubrieron el 61.9% de los estereotipos visuales chinos, mientras que los prompts en finlandés no cubrieron ninguno (debido a los datos de estereotipos limitados para el finlandés en el conjunto de referencia).
• Asociaciones Específicas: El análisis VQA reveló patrones sistemáticos:
  • Finlandés: Generación frecuente de escenas de bosques nevados.
  • Amhárico: Alta frecuencia de términos como "árido", "arenoso" y "arbustivo".
  • Chino/Coreano/Japonés/Árabe: Alarmantemente, una parte significativa de las imágenes incluyó términos como "sangre", "cicatrices" o "salpicadura", lo que plantea preocupaciones de seguridad.
  • Hindi/Amhárico/Idiomas Asiáticos: Asociación frecuente con estéticas de "mariposas", "fantásticas" y "oníricas", lo que sugiere que los idiomas desconocidos están vinculados a imágenes surreales.
  • Hindi: A pesar de la tendencia semántica general de AD, las imágenes instigadas en hindi frecuentemente incluyeron "sari" e "indio", indicando asociaciones culturales persistentes.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer análisis sistemático de las tendencias de "Superficie sobre Semántica" (SoS) de los modelos T2I a través de una amplia gama de culturas e idiomas. Sus principales contribuciones son:

1. Una Nueva Métrica: La introducción de la puntuación SoS, que cuantifica la tensión entre el idioma de entrada y el significado semántico utilizando únicamente los embeddings de las imágenes generadas, reduciendo así la dependencia de modelos de referencia textual potencialmente sesgados como CLIP.
2. Evidencia Empírica: Demostrar que la mayoría de los modelos probados priorizan las formas superficiales sobre la semántica en múltiples idiomas, una tendencia que se intensifica en las capas más profundas de los codificadores de texto.
3. Correlación Visual: Establecer un vínculo directo entre las altas tendencias de nivel superficial y la generación de contenido visual culturalmente estereotipado o potencialmente dañino (por ejemplo, violencia, tropos estéticos específicos).
4. Matiz Contextual: Los autores argumentan que la puntuación SoS "deseable" depende del contexto; mientras que la alineación semántica es crucial para conceptos generales, el anclaje específico del idioma puede ser apropiado para prompts culturalmente específicos. Abogan por que los sistemas futuros se adapten dinámicamente según el tipo de prompt.

Los autores concluyen que, si bien las puntuaciones SoS pueden servir como una métrica para guiar el entrenamiento de modelos hacia salidas más justas, no son una medida de equidad integral y deben acoplarse con otras evaluaciones de calidad de generación y exactitud fáctica.