💬 NLP

SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation

Dit artikel introduceert de eerste uitgebreide analyse van het "Surface-over-Semantics" (SoS)-fenomeen in meertalige tekst-naar-beeldmodellen, waarbij wordt onthuld dat de meeste modellen prioriteit geven aan oppervlakkige linguïstische aanwijzingen boven semantische betekenis, wat leidt tot cultureel stereotiepe afbeeldingen over verschillende talen en culturen heen.

Oorspronkelijke auteurs: Carolin Holtermann, Florian Schneider, Anne Lauscher

Gepubliceerd 2026-01-26

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Carolin Holtermann, Florian Schneider, Anne Lauscher

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische kunstmachine hebt die plaatjes tekent op basis van wat je typt. Als je zegt: "Teken een persoon uit Duitsland," moet het een Duitse persoon tekenen. Maar wat gebeurt er als je precies dezelfde opdracht typt in een andere taal, zoals "Zeichne eine Person aus Deutschland" (Duits) of "Dibuja una persona de Alemania" (Spaans)?

Dit artikel onderzoekt een vreemde fout in deze machines die Surface-over-Semantics (SoS) wordt genoemd.

Het kernprobleك: Het "accent" versus de "betekenis"

Beschouw een tekst-naar-afbeelding prompt als een brief die naar een kunstenaar wordt gestuurd.

De Semantiek (De Betekenis): De werkelijke inhoud van de brief. "Ik wil een plaatje van een Duits persoon."
De Oppervlakte (Het Uiterlijk): De taal en het schrift waarin de brief is geschreven. Is het geschreven in het Engels, Hindi of Chinees?

De onderzoekers ontdekten dat veel van deze AI-kunstmachines lijken op slechte vertalers die zich meer concentreren op het accent dan op het verhaal. Wanneer je om een "Duitse persoon" vraagt in het Engels, tekent de machine een Duitse persoon. Maar als je om dezelfde "Duitse persoon" vraagt met behulp van een andere taal (zoals Hindi of Fins), negeert de machine vaak het "Duitse" deel en tekent hij in plaats daarvan iets dat lijkt op een stereotype van de taal die je gebruikte.

Het is alsof je een chef vraagt om "Spaghetti" in het Italiaans, en in plaats van pasta te maken, serveert hij je een pizza omdat hij het woord "Italiaans" hoorde en aannam dat dat is wat je wilde, terwijl hij het woord "Spaghetti" negeerde.

Het experiment: Een wereldwijde smaaktest

Om dit te bewijzen, creëerden de onderzoekers een enorme "smaaktest":

Het Menu: Ze kozen 171 verschillende culturele identiteiten (zoals "Japans", "Nigeriaans", "Braziliaans").
De Talen: Ze vertaalden de aanvraag "Een foto van een [Cultuur] persoon" naar 14 verschillende talen (inclus kind Engels, Arabisch, Chinees, Fins, etc.).
De Kunstenaars: Ze vroegen 7 verschillende AI-kunstmachines om deze plaatjes te tekenen.
Het Scorebord: Ze bedachten een nieuwe manier om de resultaten te meten, genaamd de SoS Score.

De SoS Score is als een "Bias Meter" (Bias-meter):

Als de score positief is, luisterde de machine naar de betekenis (bijv. Het tekende een Duitse persoon toen er om een Duitse persoon werd gevraagd, ongeacht de taal).
Als de score negatief is, luisterde de machine naar de oppervlakte (bijv. Het tekende een stereotype "Finse" scène toen er om een Duitse persoon werd gevraagd, simpelweg omdat de prompt in het Fins was).

Wat ze vonden

De meeste machines zijn "Oppervlakte-zwaar": Van de 7 geteste machines werden er 6 sterk beïnvloed door de gebruikte taal. Als je in een taal typt waar de machine niet zo goed in is, zal hij vaak terugvallen op stereotypen die geassocieerd worden met het schrift of de cultuur van die taal, in plaats van de cultuur waar je eigenlijk om vroeg.
Het "Diepe Duik"-effect: De onderzoekers keken in de "hersenen" van de machines (specifiek de lagen waar de tekst wordt verwerkt). Ze ontdekten dat naarmate de boodschap dieper in de machine reist, de bias sterker wordt. Het is als een spelletje "Telefoontje" waarbij de boodschap steeds meer vervormd raakt; tegen de tijd dat de machine begint te tekenen, heeft het "accent" van de taal de oorspronkelijke betekenis volledig overstemd.
Visuele Stereotypen: Wanneer de machines in de war raakten, tekenden ze niet zomaar willekeurige dingen; ze tekenden culturele stereotypen.
- Prompts in het Fins resulteerden vaak in besneeuwde bossen.
- Prompts in het Amhaars (een Ethiopische taal) resulteerden vaak in droge, zanderige woestijnen.
- Prompts in het Chinees of Japans bevatten soms angstaanjagende elementen zoals bloed of littekens, wat niets te maken had met de werkelijke aanvraag.

De ene uitzondering

Eén machine, genaamd AltDiffusion, was de "brave leerling". Deze negeerde het taalaccent grotendeels en hield zich aan de betekenis, waardoor de gevraagde cultuur werd getekend ongeacht de taal die werd gebruikt. Echter, zelfs deze machine had moeite met talen die hij niet veel tijdens de training had gezien.

Waarom dit belangrijk is

Het artikel concludeert dat hoewel deze AI-tools steeds beter worden, ze nog steeds een blinde vlek hebben. Ze laten zich te gemakkelijk leiden door het uiterlijk van de woorden (de taal) in plaats van de betekenis van de woorden. Dit betekent dat als je deze tools in je moedertaal gebruikt, je misschien een plaatje krijgt dat een stereotype van die taal reflecteert in plaats van de specifieke persoon of het specifieke ding waar je om vroeg.

De onderzoekers suggereren dat we deze machines moeten trainen om meer aandacht te besteden aan het "verhaal" (semantiek) en minder aan het "accent" (oppervlakte), vooral voor talen die niet Engels zijn. Ze stellen ook hun "Bias Meter" (SoS Score) voor als een hulpmiddel voor ontwikkelaars om te controleren of hun machines eerlijk zijn.

Technische Samenvatting: Analyse van Surface-over-Semantics in Multilinguale Tekst-naar-Beeld Generatie

Probleemstelling

Tekst-naar-beeld (T2I) modellen worden steeds vaker wereldwijd gebruikt, maar vertonen een hoge gevoeligheid voor de ingevoerde taal. Hoewel semantisch equivalente prompts (bijv. een prompt en een vertaling daarvan) theoretisch vergelijkbare outputs zouden moeten opleveren, wijst eerder onderzoek uit dat T2I-modellen vaak culturele stereotypen produceren wanneer ze worden geconfronteerd met niet-Engelse talen. Dit fenomeen suggereert een spanning tussen de oppervlaktevorm (surface form) van de input (de specifieke taal of het schrift) en de semantische inhoud (de werkelijke beschrijving van het onderwerp). Eerdere studies hebben dit probleem geïdentificeerd, maar waren beperkt door kleinschalige analyses die slechts een handvol talen en culturen beslaan, en cruciaal, zij missen een uitgebreide methode om de mate te kwantificeren waarin modellen oppervlakteken over semantische betekenis geven prioriteit. Deze kloof belemmert de ontwikkeling van globaal inclusieve en cultureel eerlijke T2I-modellen.

Methodologie

Dataset Constructie

De auteurs hebben een nieuwe multilinguale dataset geconstrueerd om dit gedrag systematisch te analyseren:

Culturele Omvang: 171 unieke culturele identiteitsgroepen werden geselecteerd uit de SeeGULL-dataset, waarbij duplicaten werden verwijderd en namen werden gestandaardiseerd.
Linguïstische Omvang: Prompts werden vertaald naar 14 talen (Engels plus 13 andere), geselecteerd om typologische diversiteit te waarborgen (dekking van Indo-Europese, Afro-Aziatische, Sino-Tibetaanse, Turkse, Koreaanse, Japanse en Uralische families) en modeldekking.
Prompt Templates: Drie basis-templates werden gedefinieerd (bijv. "A photo of a {ci} {pj}"), geïnstantieerd met culturele identiteiten en persoonstermen ("person", "woman", "man"), wat resulteerde in 1.539 unieke Engelse prompts.
Vertaling: Moedertaalsprekers die vloeiend zijn in zowel Engels als de doeltalen vertaalden de prompts, waarbij werd gewaarborgd dat het onderscheid tussen gesegmenteerde en genderneutrale termen behouden bleef.
Beeldgeneratie: Zeven state-of-the-art T2I-modellen werden geëvalueerd: AltDiffusion-m9 (AD), Kandinsky-2-1 (K21), Kandinsky-3 (K3), Stable Diffusion v2.1 (SD21), Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) en FLUX.1-dev (FX). Beelden werden gegenereerd met een vaste random seed (42).

Kwantificering: De Surface-over-Semantics (SoS) Score

Om het gebrek aan een geschikte metriek aan te pakken, introduceerden de auteurs de SoS Score, een op embeddings gebaseerde maatstaf ontworpen om de spanning tussen oppervlakte en semantiek te kwantificeren zonder te vertrouwen op tekstuele vergelijkingen die beïnvloed kunnen worden door de kwaliteit van de taalrepresentatie.

Referentievectoren: Twee referentievectoren worden berekend door afbeeldingen over alle modellen heen te poolen:
- $\vec{surl}$ : De gemiddelde embedding van alle afbeeldingen gegenereerd uit prompts in een specifieke taal $l$ (representeert de oppervlaktevorm).
- $\vec{semc}$ : De gemiddelde embedding van alle afbeeldingen gegenereerd voor een specifieke culturele identiteit $c$ (representeert de semantische inhoud).
Berekening: Voor een output-afbeelding $o_{c,l}$ is de score het verschil tussen de cosinus-gelijkenis met de semantische vector en de oppervlaktevector:
$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$
Interpretatie: Scores variëren van $[-1, 1]$ . Negatieve waarden duiden op een sterkere afstemming met de oppervlaktevorm (taal), terwijl positieve waaties duiden op afstemming met de semantische inhoud.

Validatie en Analyse

Menselijke Validatie: Een subset van afbeeldingen werd geannoteerd door mensen om te verifiëren of de afbeelding overeenkwam met de culturele identiteit (semantiek) of de taal-geassocieerde cultuur (oppervlakte). De SoS-score behaalde een nauwkeurigheid van 74,0% ten opzichte van menselijke oordelen, met een hogere precisie (94,8%) in het detecteren van oppervlakteniveau-tendensen vergeleken met CLIPScore.
Laag-gewijze Analyse: Met behulp van DiffusionLens analyseerden de auteurs hoe SoS-tendensen evolueren over de lagen van de tekstencoders in SD21 en K3.
Visuele Manifestatie: De studie maakte gebruik van Visual Question Answering (VQA) met Qwen2-VL-7B-Instruct om gedetailleerde beeldbeschrijvingen te genereren. Deze beschrijvingen werden geanalyseerd met de "Fighting Words"-methode om tokens te identificeren die kenmerkend zijn voor specifieke taal-modelparen. Deze termen werden vervolgens vergeleken met bekende culturele stereotypen uit de SeeGULL-dataset.

Belangrijkste Resultaten

Model- en Taalvariaties

Prevalentie van Oppervlaktebias: Alle modellen, behalve AltDiffusion (AD), vertoonden sterke oppervlakte-georiënteerde tendensen in ten minste twee talen. AD vertoonde over het algemeen semantische tendensen, hoewel het nog steeds neigde naar oppervlakteken voor Hindi, Amhaars en Fins.
Verschillen tussen Modellen: FLUX (FX) vertoonde sterke negatieve SoS-scores (oppervlaktebias) voor Koreaans, Fins, Japans en Chinees. Kandinsky-3 (K3) vertoonde de kleinste negatieve gemiddelde score (het dichtst bij neutraliteit), terwijl SD3 een breed scala aan scores liet zien, wat suggereert dat stereotypen in beide richtingen worden versterkt.
Laag-evolutie: In de latere lagen van de tekstencoders werd de bias naar de oppervlaktevorm van de prompt prominenter. Voor K3 verschoven Europese talen naar neutraliteit in latere lagen, terwijl Aziatische talen bewogen naar meer negatieve (oppervlakte-georiënteerde) scores.

Correlaties en Generaliseerbaarheid

Script-gelijkenis: Pearson-correlaties van SoS-scores toonden sterke gelijkenissen aan tussen Indo-Europese talen die het Latijnse schrift gebruiken (bijv. Italiaans en Spaans vertoonden een correlatie van 0,7). Echter, script-gelijkenis dicteerde de tendensen niet strikt; bijvoorbeeld vertoonden Chinees en Japans een lage correlatie ondanks de overlap in schrift, terwijl Chinees en Koreaans een hoge correlatie vertoonden.
Concept-robuustheid: De geobserveerde SoS-tendensen voor "person" prompts waren sterk gecorreleerd (Pearson $r = 0,876$ ) met de tendensen voor "house" prompts, wat aangeeft dat de metriek generaliseert buiten menselijke onderwerpen.

Visuele Manifestaties van Bias

Stereotype Dekking: Talen met sterke oppervlaktetendensen activeerden vaak cultureel stereotype visuele afbeeldingen. Bijvoorbeeld, FLUX-generaties voor Chinese prompts dekten 61,9% van de Chinese visuele stereotypen, terwijl Finse prompts er geen enkele dekten (vanwege beperkte stereotype-data voor Fins in de referentieset).
Specifieke Associaties: VQA-analyse onthulde systematische patronen:
- Fins: Veelvuldige generatie van besneeuwde bosscènes.
- Amhaars: Hoge frequentie van termen zoals "arid" (dor), "sandy" (zanderig) en "bush" (struikgewas).
- Chinees/Koreaans/Japans/Arabisch: Alarmerend genoeg bevat een aanzienlijk deel van de afbeeldingen termen als "blood" (bloed), "scars" (littekens) of "splatter" (spatten), wat veiligheidszorgen oproept.
- Hindi/Amhaars/Aziatische Talen: Veelvuldige associatie met "butterflies" (vlinders), "fantastical" (fantasierijk) en "dreamlike" (droomachtig) esthetiek, wat suggereert dat onbekende talen gekoppeld worden aan surrealistische beelden.
- Hindi: Ondanks de algemene semantische tendens van AD, bevatten afbeeldingen geprompt in het Hindi frequent "saree" en "Indian", wat wijst op hardnekkige culturele associaties.

Betekenis en Claims

Het artikel claimt de eerste systematische analyse te bieden van de "Surface-over-Semantics" (SoS) tendensen van T2I-modellen over een breed scala aan culturen en talen. De primaire bijdragen zijn:

Een Nieuwe Metriek: De introductie van de SoS-score, die de spanning tussen de ingevoerde taal en semantische betekenis kwantificeert met behulp van enkel gegenereerde beeld-embeddings, waardoor de afhankelijkheid van potentieel bevooroordeelde tekstuele referentiemodellen zoals CLIP wordt verminderd.
Empirisch Bewijs: Het aantonen dat de meerderheid van de geteste modellen prioriteit geeft aan de oppervlaktevorm boven de semantiek in meerdere talen, een tendens die intensiveert in de diepere lagen van de tekstencoders.
Visuele Correlatie: Het vaststellen van een directe link tussen hoge oppervlakte-georiënteerde tendensen en de generatie van cultureel stereotype of potentieel schadelijke visuele inhoud (bijv. geweld, specifieke esthetische tropes).
Contextuele Nuance: De auteurs stellen dat de "gewenste" SoS-score contextafhankelijk is; terwijl semantische afstemming cruciaal is voor algemene concepten, kan taal-specifieke verankering passend zijn voor cultureel specifieke prompts. Zij pleiten voor toekomstige systemen die dynamisch kunnen adapteren op basis van het type prompt.

De auteurs concluderen dat hoewel SoS-scores kunnen dienen als een metriek om modeltraining te sturen naar eerlijkere outputs, ze geen allesomvattende maatstaf voor eerlijkheid zijn en gekoppeld moeten worden aan andere evaluaties van generatiekwaliteit en feitelijke nauwkeurigheid.