💬 NLP

SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation

Questo articolo introduce la prima analisi completa del fenomeno "Surface-over-Semantics" (SoS) nei modelli multilingue di text-to-image, rivelando che la maggior parte dei modelli privilegia indizi linguistici superficiali rispetto al significato semantico, portando a rappresentazioni culturalmente stereotipate attraverso varie lingue e culture.

Autori originali: Carolin Holtermann, Florian Schneider, Anne Lauscher

Pubblicato 2026-01-26

📖 4 min di lettura☕ Lettura da pausa caffè

CC0 1.0

Autori originali: Carolin Holtermann, Florian Schneider, Anne Lauscher

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una macchina magica per l'arte che disegna immagini basandosi su ciò che scrivi. Se le dici: "Disegna una persona della Germania", dovrebbe disegnare una persona tedesca. Ma cosa succede se scrivi la stessa identica richiesta in una lingua diversa, come "Zeichne eine Person aus Deutschland" (Tedesco) o "Dibuja una persona de Alemania" (Spagnolo)?

Questo articolo investiga un strano difetto in queste macchine chiamato Surface-over-Semantics (SoS) (Superficie sull'Semantica).

Il problema centrale: l'"Accento" vs il "Significato"

Pensa a un prompt per la generazione di immagini come a una lettera inviata a un artista.

La Semantica (Il Significato): Il contenuto effettivo della lettera. "Voglio l'immagine di una persona tedesca".
La Superficie (L'Aspetto): La lingua e la scrittura in cui è scritta la lettera. È scritta in inglese, hindi o cinese?

I ricercatori hanno scoperto che molti di questi motori di arte IA sono come traduttori scadenti che si concentrano sull'accento piuttosto che sulla storia. Quando chiedi una "persona tedesca" in inglese, la macchina disegna una persona tedesca. Ma se chiedi la stessa "persona tedesca" usando una lingua diversa (come l'hindi o il finlandese), la macchina spesso ignora la parte "tedesca" e invece disegna qualcosa che assomiglia a uno stereotipo della lingua che hai usato.

È come se avessi chiesto a uno chef "Spaghetti" in italiano e, invece di preparare la pasta, ti avesse servito una pizza perché ha sentito la parola "Italiano" e ha assunto che fosse quello che volevi, ignorando la parola "Spaghetti".

L'esperimento: Un test di gusto globale

Per dimostrare questo, i ricercatori hanno creato un enorme "test di gusto":

Il Menù: Hanno scelto 171 diverse identità culturali (come "Giapponese", "Nigeriana", "Brasiliana").
Le Lingue: Hanno tradotto la richiesta "Una foto di una persona [Cultura]" in 14 lingue diverse (inclusi inglese, arabo, cinese, finlandese, ecc.).
Gli Artisti: Hanno chiesto a 7 diverse macchine di arte IA di disegnare queste immagini.
La Scheda di Valutazione: Hanno inventato un nuovo modo per misurare i risultati, chiamato Punteggio SoS.

Il Punteggio SoS è come un "Misuratore di Bias":

Se il punteggio è positivo, la macchina ha ascoltato il significato (ad esempio: ha disegnato una persona tedesca quando le è stato chiesto, indipendentemente dalla lingua).
Se il punteggio è negativo, la macchina ha ascoltato la superficie (ad esempio: ha disegnato una scena stereotipata "Finlandese" quando le è stata chiesta una persona tedesca, solo perché il prompt era in finlandese).

Cosa hanno scoperto

La maggior parte delle macchine è "pesante sulla superficie": Su 7 macchine testate, 6 erano fortemente influenzate dalla lingua utilizzata. Se scrivevi in una lingua in cui la macchina non era molto brava, spesso tornava a disegnare stereotipi associati alla scrittura o alla cultura di quella lingua, invece della cultura che avevi effettmente richiesto.
L'effetto "Immersione Profonda": I ricercatori hanno guardato dentro i "cervelli" di queste macchine (specificamente gli strati in cui il testo viene elaborato). Hanno scoperto che man mano che il messaggio viaggia più in profondamente nella macchina, il bias diventa più forte. È come un gioco del "Telefono Senza Fili" dove il messaggio si distorce man mano che procede; al momento in cui la macchina inizia a disegnare, l' "accento" della lingua ha completamente oscurato il significato originale.
Stereotipi Visivi: Quando le macchine si confondevano, non disegnavano solo cose casuali; disegnavano stereotipi culturali.
- I prompt in Finlandese portavano spesso a foreste innevate.
- I prompt in Amharico (una lingua etiope) portavano spesso a deserti aridi e sabbiosi.
- I prompt in Cinese o Giapponese includevano talvolta elementi spaventosi come sangue o cicatrici, che non avevano nulla a che vedere con la richiesta effettiva.

L'unica eccezione

Una macchina, chiamata AltDiffusion, era lo "studente modello". Ignorava principalmente l'accento della lingua e si atteneva al significato, disegnando la cultura richiesta indipendentemente dalla lingua usata. Tuttavia, anche questa macchina faticava un po' con le lingue che non aveva visto molto durante l'addestramento.

Perché questo è importante

L'articolo conclude che, sebbene questi strumenti di IA stiano migliorando, hanno ancora un punto cieco. Sono troppo facilmente influenzati dall' aspetto delle parole (la lingua) piuttosto che dal significato delle parole. Ciò significa che se usi questi strumenti nella tua lingua madre, potresti ottenere un'immagine che riflette uno stereotipo di quella lingua piuttosto che la persona o la cosa specifica che hai chiesto.

I ricercatori suggeriscono che, per risolvere questo problema, dobbiamo addestrare queste macchine a prestare più attenzione alla "storia" (semantica) e meno all' "accento" (superficie), specialmente per le lingue che non sono l'inglese. Propongono inoltre il loro "Misuratore di Bias" (Punteggio SoS) come uno strumento per aiutare gli sviluppatori a controllare se le loro macchine siano eque.

Riepilogo Tecnico: Analisi della Prevalenza della Superficie sulla Semantica nella Generazione di Immagini da Testo Multilingue

Definizione del Problema

I modelli di generazione da testo a immagine (T2I) sono sempre più utilizzati a livello globale, ma mostrano un'elevata sensibilità alle lingue di input. Sebbene i prompt semanticamente equivalenti (ad esempio, un prompt e la sua traduzione) dovrebbero teoricamente produrre risultati simili, ricerche precedenti indicano che i modelli T2I spesso producono rappresentazioni culturalmente stereotipate quando si trovano di fronte a lingue diverse dall'inglese. Questo fenomeno suggerisce una tensione tra la forma superficiale dell'input (la lingua o lo script specifico) e il contenuto semantico (la descrizione effettiva del soggetto). Studi precedenti hanno identificato questo problema, ma sono stati limitati da analisi su piccola scala che coprivano solo un manipolo di lingue e culture e, soprattutto, mancano di un metodo completo per quantificare il grado in cui i modelli danno priorità agli indizi superficiali rispetto al significato semantico. Questa lacuna ostacola lo sviluppo di modelli T2I globalmente inclusivi e culturalmente equi.

Metodologia

Costruzione del Dataset

Gli autori hanno costruito un nuovo dataset multilingue per analizzare sistematicamente questo comportamento:

Ambito Culturale: Sono stati selezionati 171 gruppi di identità culturale unici dal dataset SeeGULL, raffinati per rimuovere i duplicati e standardizzare i nomi.
Ambito Linguistico: I prompt sono stati tradotti in 14 lingue (inglese più altre 13), selezionate per garantire la diversità tipologica (coprendo le famiglie Indo-Europea, Afro-Asiatica, Sino-Tibetana, Turca, Coreana, Giapponese e Uralica) e la copertura dei modelli.
Template dei Prompt: Sono stati definiti tre template di base (ad esempio, "A photo of a {ci} {pj}"), istanziati con identità culturali e termini relativi alle persone ("person", "woman", "man"), risultando in 1.539 prompt unici in inglese.
Traduzione: Parlanti nativi fluenti sia in inglese che nelle lingue target hanno tradotto i prompt, assicurando che le distinzioni tra termini di genere e neutri rispetto al genere fossero preservate.
Generazione delle Immagini: Sono stati valutati sette modelli T2I allo stato dell'arte: AltDiffusion-m9 (AD), Kandinsky-2-1 (K21), Kandinsky-3 (K3), Stable Diffusion v2.1 (SD21), Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) e FLUX.1-dev (FX). Le immagini sono state generate utilizzando un seed casuale fisso (42).

Quantificazione: Il Punteggio SoS (Surface-over-Semantics)

Per affrontare la mancanza di una metrica adeguata, gli autori hanno introdotto il Punteggio SoS, una misura basata sugli embedding progettata per quantificare la tensione tra superficie e semantica senza fare affidamento su confronti testuali che potrebbero essere influenzati dalla qualità della rappresentazione linguistica.

Vettori di Riferimento: Due vettori di riferimento vengono calcolati raggruppando (pooling) le immagini attraverso tutti i modelli:
- $\vec{surl}$ : La media degli embedding di tutte le immagini generate da prompt in una specifica lingua $l$ (rappresenta la forma superficiale).
- $\vec{semc}$ : La media degli embedding di tutte le immagini generate per una specifica identità culturale $c$ (rappresenta il contenuto semantico).
Calcolo: Per un'immagine di output $o_{c,l}$ , il punteggio è la differenza tra la sua similitudine del coseno rispetto al vettore semantico e quello superficiale:
$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$
Interpretazione: I punteggi vanno da $[-1, 1]$ . Valori negativi indicano una più forte allineamento con la forma superficiale (lingua), mentre valori positivi indicano l'allineamento con il contenuto semantico.

Validazione e Analisi

Validazione Umana: Un sottoinsieme di immagini è stato annotato da esseri umani per verificare se l'immagine corrispondeva all'identità culturale (semantica) o alla cultura associata alla lingua (superficie). Il punteggio SoS ha raggiunto un'accuratezza del 74,0% rispetto ai giudizi umani, con una precisione superiore (94,8%) nel rilevare le tendenze superficiali rispetto a CLIPScore.
Analisi per Livelli: Utilizzando DiffusionLens, gli autori hanno analizzato come le tendenze SoS evolvano attraverso i livelli dei codificatori di testo in SD21 e K3.
Manifestazione Visiva: Lo studio ha impiegato la Visual Question Answering (VQA) utilizzando Qwen2-VL-7B-Instruct per generare descrizioni dettagliate delle immagini. Queste descrizioni sono state analizzate tramite il metodo "Fighting Words" per identificare i token distintivi per specifiche coppie lingua-modello. Tali termini sono stati poi confrontati con gli stereotipi culturali noti del dataset SeeGULL.

Risultati Chiave

Variazioni di Modello e Lingua

Prevalenza del Bias Superficiale: Tutti i modelli tranne AltDiffusion (AD) hanno mostrato forti tendenze superficiali in almeno due lingue. AD ha generalmente mostrato tendenze semantiche, pur pendendo verso indizi superficiali per Hindi, Amharico e Finlandese.
Differenze tra i Modelli: FLUX (FX) ha mostrato forti punteggi SoS negativi (bias superficiale) per Coreano, Finlandese, Giapponese e Cinese. Kandinsky-3 (K3) ha mostrato il valore medio negativo più piccolo (vicino alla neutralità), mentre SD3 ha mostrato una vasta gamma di punteggi, suggerendo un'amplificazione degli stereotipi in entrambe le direzioni.
Evoluzione per Livelli: Nei livelli successivi dei codificatori di testo, il bias verso la forma superficiale del prompt è diventato più pronunciato. Per K3, le lingue europee si sono spostate verso la neutralità nei livelli successivi, mentre le lingue asiatiche si sono spostate verso punteggi più negativi (orientati alla superficie).

Correlazioni e Generalizzabilità

Similitudine di Script: Le correlazioni di Pearson dei punteggi SoS hanno rivelato forti similitudini tra le lingue Indo-europee che utilizzano l'alfabeto latino (ad esempio, Italiano e Spagnolo hanno mostrato una correlazione di 0,7). Tuttavia, la similitudine dello script non ha dettato strettamente le tendenze; ad esempio, Cinese e Giapponese hanno mostrato una bassa correlazione nonostante la sovrapposenza dello script, mentre Cinese e Coreano hanno mostrato un'alta correlazione.
Robustezza del Concetto: Le tendenze SoS osservate per i prompt "person" erano altamente correlate (Pearson $r = 0,876$ ) con quelle osservate per i prompt "house", indicando che la metrica si generalizza oltre i soggetti umani.

Manifestazioni Visive del Bias

Copertura degli Stereotipi: Le lingue con forti tendenze superficiali hanno spesso innescato rappresentazioni visive culturalmente stereotipate. Ad esempio, le generazioni di FLUX per i prompt Cinesi hanno coperto il 61,9% degli stereotipi visivi cinesi, mentre i prompt Finlandesi non ne hanno coperto nessuno (a causa dei dati limitati sugli stereotipi per il finlandese nel set di riferimento).
Associazioni Specifiche: L'analisi VQA ha rivelato schemi sistematici:
- Finlandese: Frequente generazione di scene di foreste innevate.
- Amharico: Alta frequenza di termini come "arido", "sabbioso" e "cespuglioso".
- Cinese/Coreano/Giapponese/Arabo: Allarmantemente, una parte significativa delle immagini includeva termini come "sangue", "cicatrici" o "schizzi", sollevando preoccupazioni per la sicurezza.
- Hindi/Amharico/Lingue Asiatiche: Associazione frequente con estetiche come "farfalle", "fantastico" e "onirico", suggerendo che le lingue meno familiari siano legate a immagini surreali.
- Hindi: Nonostante la tendenza semantica generale di AD, le immagini generate con prompt in Hindi includevano frequentemente "sari" e "indiano", indicando persistenti associazioni culturali.

Significato e Rivendicazioni

Il documento sostiene di fornire la prima analisi sistematica delle tendenze "Surface-over-Semantics" (SoS) dei modelli T2I attraverso un ampio spettro di culture e lingue. I suoi principali contributi sono:

Una Nuova Metrica: L'introduzione del punteggio SoS, che quantifica la tensione tra la lingua di input e il significato semantico utilizzando solo gli embedding delle immagini generate, riducendo così la dipendenza da modelli di riferimento testuali potenzialmente distorti come CLIP.
Evidenza Empirica: Dimostrare che la maggior parte dei modelli testati privilegia le forme superficiali rispetto alla semantica in più lingue, una tendenza che si intensifica nei livelli più profondi dei codificatori di testo.
Correlazione Visiva: Stabilire un legame diretto tra le alte tendenze superficiali e la generazione di contenuti visivi culturalmente stereotipati o potenzialmente dannosi (ad esempio, violenza, specifici tropi estetici).
Sfumatura Contestuale: Gli autori sostengono che il punteggio SoS "desiderabile" dipende dal contesto; mentre l'allineamento semantico è cruciale per concetti generali, un radicamento specifico della lingua può essere appropriato per prompt culturalmente specifici. Raccomandano che i futuri sistemi si adattino dinamicamente in base al tipo di prompt.

Gli autori concludono che, sebbene i punteggi SoS possano servire come metrica per guidare l'addestramento dei modelli verso output più equi, non sono una misura di equità completa e devono essere accoppiati ad altre valutazioni della qualità della generazione e dell'accuratezza fattuale.