Resumo Técnico: Análise de Superfície sobre Semântica na Geração de Texto para Imagem Multilíngue

Declaração do Problema

Os modelos de texto-para-imagem (T2I) são cada vez mais utilizados globalmente, mas exibem alta sensibilidade aos idiomas de entrada. Embora prompts semanticamente equivalentes (por exemplo, um prompt e sua tradução) devessem, teoricamente, produzir resultados semelhantes, pesquisas anteriores indicam que os modelos T2I frequentemente produzem representações culturalmente estereotipadas quando confrontados com idiomas não ingleses. Este fenômeno sugere uma tensão entre a forma de superfície da entrada (o idioma ou script específico) e o conteúdo semântico (a descrição real do sujeito). Estudos anteriores identificaram este problema, mas foram limitados por análises de pequena escala que cobriram apenas um punhado de idiomas e culturas e, crucialmente, carecem de um método abrangente para quantificar o grau em que os modelos priorizam pistas de superfície sobre o significado semântico. Esta lacuna dificulta o desenvolvimento de modelos T2I globalmente inclusivos e culturalmente justos.

Metodologia

Construção do Conjunto de Dados

Os autores construíram um novo conjunto de dados multilíngue para analisar sistematicamente este comportamento:

• Escopo Cultural: 171 grupos de identidade cultural únicos foram selecionados a partir do conjunto de dados SeeGULL, refinados para remover duplicatas e padronizar nomes.
• Escopo Linguístico: Os prompts foram traduzidos para 14 idiomas (inglês mais 13 outros), selecionados para garantir diversidade tipológica (cobrindo as famílias Indo-Europeia, Afro-Asiática, Sino-Tibetana, Túrquica, Coreana, Japônica e Uralística) e cobertura de modelos.
• Templates de Prompt: Três templates base foram definidos (ex: "A photo of a {ci} {pj}"), instanciados com identidades culturais e termos de pessoas ("person", "woman", "man"), resultando em 1.539 prompts únicos em inglês.
• Tradução: Falantes nativos fluentes em inglês e nos idiomas alvo traduziram os prompts, garantindo que as distinções entre termos de gênero e neutros de gênero fossem preservadas.
• Geração de Imagens: Sete modelos T2I de última geração foram avaliados: AltDiffusion-m9 (AD), Kandinsky-2-1 (K21), Kandinsky-3 (K3), Stable Diffusion v2.1 (SD21), Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) e FLUX.1-dev (FX). As imagens foram geradas usando uma semente aleatória fixa (42).

Quantificação: O Score de Superfície sobre Semântica (SoS)

Para abordar a falta de uma métrica adequada, os autores introduziram o Score SoS, uma medida baseada em embeddings projetada para quantificar a tensão entre superfície e semântica sem depender de comparações textuais que possam ser enviesadas pela qualidade da representação linguística.

• Vetores de Referência: Dois vetores de referência são computados agrupando imagens através de todos os modelos:
  • $\vec{surl}$: A média dos embeddings de todas as imagens geradas a partir de prompts em um idioma $l$ específico (representando a forma de superfície).
  • $\vec{semc}$: A média dos embeddings de todas as imagens geradas para uma identidade cultural $c$ específica (representando o conteúdo semântico).
• Cálculo: Para uma imagem de saída $o_{c,l}$, o score é a diferença entre sua similaridade de cosseno com o vetor semântico e o vetor de superfície:
  $$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$$
• Interpretação: Os scores variam de $[-1, 1]$. Valores negativos indicam um alinhamento mais forte com a forma de superfície (idioma), enquanto valores positivos indicam alinhamento com o conteúdo semântico.

Validação e Análise

• Validação Humana: Um subconjunto de imagens foi anotado por humanos para verificar se a imagem correspondia à identidade cultural (semântica) ou à cultura associada ao idioma (superfície). O score SoS alcançou 74,0% de precisão contra julgamentos humanos, com maior precisão (94,8%) na detecção de tendências de nível de superfície em comparação ao CLIPScore.
• Análise por Camadas: Usando o DiffusionLens, os autores analisaram como as tendências de SoS evoluem através das camadas dos codificadores de texto no SD21 e K3.
• Manifestação Visual: O estudo empregou Visual Question Answering (VQA) usando Qwen2-VL-7B-Instruct para gerar descrições detalhadas de imagens. Essas descrições foram analisadas usando o método "Fighting Words" para identificar tokens distintivos para pares específicos de idioma-modelo. Esses termos foram então comparados contra estereótipos culturais conhecidos do conjunto de dados SeeGULL.

Principais Resultados

Variações de Modelo e Idioma

• Prevalência de Viés de Superfície: Todos os modelos, exceto o AltDiffusion (AD), exibiram fortes tendências de nível de superfície em pelo menos dois idiomas. O AD geralmente mostrou tendências semânticas, embora ainda tenha inclinado para pistas de superfície para Hindi, Amárico e Finlandês.
• Diferenças de Modelo: O FLUX (FX) exibiu scores SoS fortemente negativos (viés de superfície) para Coreano, Finlandês, Japonês e Chinês. O Kandinsky-3 (K3) mostrou o menor score médio negativo (mais próximo da neutralidade), enquanto o SD3 mostrou uma ampla gama de scores, sugerindo uma amplificação de estereótipos em ambas as direções.
• Evolução de Camadas: Nas camadas posteriores dos codificadores de texto, o viés em direção à forma de superfície do prompt tornou-se mais pronunciado. Para o K3, os idiomas europeus migraram para a neutralidade nas camadas finais, enquanto os idiomas asiáticos moveram-se para scores mais negativos (com viés de superfície).

Correlações e Generalização

• Similaridade de Script: As correlações de Pearson dos scores SoS revelaram fortes similaridades entre idiomas Indo-Europeus que utilizam scripts latinos (por exemplo, Italiano e Espanhol mostraram 0,7 de correlação). No entanto, a similaridade de script não ditou estritamente as tendências; por exemplo, Chinês e Japonês mostraram baixa correlação apesar da sobreposição de script, enquanto Chinês e Coreano mostraram alta correlação.
• Robustez do Conceito: As tendências de SoS observadas para prompts de "person" (pessoa) foram altamente correlacionadas (Pearson $r = 0,876$) com as observadas para prompts de "house" (casa), indicando que a métrica se generaliza além de sujeitos humanos.

Manifestações Visuais de Viés

• Cobertura de Estereótipos: Idiomas com fortes tendências de superfície frequentemente desencadearam representações visuais culturalmente estereotipadas. Por exemplo, as gerações do FLUX para prompts em Chinês cobriram 61,9% dos estereótipos visuais chineses, enquanto os prompts em Finlandês não cobriram nenhum (devido aos dados limitados de estereótipo para o Finlandês no conjunto de referência).
• Associações Específicas: A análise VQA revelou padrões sistemáticos:
  • Finlandês: Geração frequente de cenas de florestas nevadas.
  • Amárico: Alta frequência de termos como "árido", "arenoso" e "arbustivo".
  • Chinês/Coreano/Japonês/Árabe: Alarmantemente, uma parte significativa das imagens incluiu termos como "sangue", "cicatrizes" ou "respingos", levantando preocupações de segurança.
  • Hindi/Amárico/Idiomas Asiáticos: Associação frequente com estéticas de "borboletas", "fantásticas" e "oníricas", sugerindo que idiomas desconhecidos estão ligados a imagens surreais.
  • Hindi: Apesar do AD ter uma tendência semântica geral, as imagens solicitadas em Hindi frequentemente incluíam "sari" e "indiano", indicando associações culturais persistentes.

Significância e Alegações

O artigo afirma fornecer a primeira análise sistemática das tendências de "Superfície sobre Semântica" (SoS) de modelos T2I através de uma ampla gama de culturas e idiomas. Suas principais contribuições são:

1. Uma Nova Métrica: A introdução do score SoS, que quantifica a tensão entre o idioma de entrada e o significado semântico usando apenas embeddings de imagens geradas, reduzindo assim a dependência de modelos de referência textual potencialmente enviesados como o CLIP.
2. Evidência Empírica: Demonstrar que a maioria dos modelos testados prioriza formas de superfície sobre a semântica em múltiplos idiomas, uma tendência que se intensifica nas camadas mais profundas dos codificadores de texto.
3. Correlação Visual: Estabelecer um link direto entre altas tendências de nível de superfície e a geração de conteúdo visual culturalmente estereotipado ou potencialmente prejudicial (ex: violência, tropos estéticos específicos).
4. Nuance Contextual: Os autores argumentam que o score SoS "desejável" é dependente do contexto; embora o alinhamento semântico seja crucial para conceitos gerais, o ancoramento específico de linguagem pode ser apropriado para prompts culturalmente específicos. Eles defendem que sistemas futuros devem se adaptar dinamicamente com base no tipo de prompt.

Os autores concluem que, embora os scores SoS possam servir como uma métrica para guiar o treinamento de modelos em direção a outputs mais justos, eles não são uma medida de justiça abrangente e devem ser acompanhados por outras avaliações de qualidade de geração e precisão factual.