💬 NLP

SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation

Cet article présente la première analyse exhaustive du phénomène « Surface-over-Semantics » (SoS) dans les modèles multilingues de texte-en-image, révélant que la plupart des modèles privilégient les indices linguistiques de surface au détriment du sens sémantique, ce qui conduit à des représentations culturellement stéréotypées à travers diverses langues et cultures.

Auteurs originaux : Carolin Holtermann, Florian Schneider, Anne Lauscher

Publié 2026-01-26

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Carolin Holtermann, Florian Schneider, Anne Lauscher

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une machine à art magique qui dessine des images basées sur ce que vous tapez. Si vous lui dites : « Dessine une personne d'Allemagne », elle devrait dessiner une personne allemande. Mais que se passe-t-il si vous tapez exactement la même requête dans une langue différente, comme « Zeichne eine Person aus Deutschland » (allemand) ou « Dibuja una persona de Alemania » (espagnol) ?

Cet article étudie un étrange bug dans ces machines appelé Surface-over-Semantics (SoS) (La surface sur la sémantique).

Le problème central : l'« accent » contre le « sens »

Considérez un prompt (une instruction) de texte-vers-image comme une lettre envoyée à un artiste.

La Sémantique (Le sens) : Le contenu réel de la lettre. « Je veux l'image d'une personne allemande. »
La Surface (L'apparence) : La langue et l'écriture dans lesquelles la lettre est écrite. Est-elle écrite en anglais, en hindi ou en chinois ?

Les chercheurs ont découvert que beaucoup de ces machines d'art par IA sont comme des traducteurs médiocres qui se concentrent sur l'accent plutôt que sur l'histoire. Quand vous demandez une « personne allemande » en anglais, la machine dessine une personne allemande. Mais si vous demandez la même « personne allemande » en utilisant une langue différente (comme le hindi ou le finnois), la machine ignore souvent la partie « allemande » et dessine à la place quelque la chose qui ressemble à un stéréotype de la langue que vous avez utilisée.

C'est comme si vous demandiez à un chef de vous préparer des « Spaghetti » en italien, et qu'au lieu de faire des pâtes, il vous servait une pizza parce qu'il a entendu le mot « Italien » et a supposé que c'est ce que vous vouliez, ignorant ainsi le mot « Spaghetti ».

L'expérience : Un test de goût mondial

Pour prouver cela, les chercheurs ont créé un immense « test de goût » :

Le menu : Ils ont choisi 171 identités culturelles différentes (comme « Japonaise », « Nigériane », « Brésilienne »).
Les langues : Ils ont traduit la requête « Une photo d'une personne [Culture] » en 14 langues différentes (incluant l'anglais, l'arabe, le chinois, le finnois, etc.).
Les artistes : Ils ont demandé à 7 machines d'art par IA différentes de dessiner ces images.
La fiche de notation : Ils ont inventé une nouvelle façon de mesurer les résultats, appelée le Score SoS.

Le Score SoS est comme un « Mesureur de Biais » :

Si le score est positif, la machine a écouté le sens (ex : Elle a dessiné une personne allemande quand on lui a demandé une personne allemande, quelle que soit la langue).
Si le score est négatif, la machine a écouté la surface (ex : Elle a dessiné une scène stéréotypée « finlandaise » lorsqu'on lui a demandé une personne allemande, simplement parce que la requête était en finnois).

Ce qu'ils ont trouvé

La plupart des machines sont « dominées par la surface » : Sur les 7 machines testées, 6 étaient fortement influencées par la langue utilisée. Si vous tapiez dans une langue pour laquelle la machine n'était pas très douée, elle se rabattait souvent sur des stéréotypes associés à l'écriture ou à la culture de cette langue, plutôt que sur la culture que vous aviez réellement demandée.
L'effet de « plongée profonde » : Les chercheurs ont regardé à l'intérieur du « cerveau » de ces machines (plus précisément dans les couches où le texte est traité). Ils ont découvert que plus le message voyage profondément dans la machine, plus le biais devient fort. C'est comme un jeu du « téléphone arabe » où le message se déforme de plus en plus au fur et à mesure qu'il progresse ; au moment où la machine commence à dessiner, l'« accent » de la langue a complètement noyé le sens original.
Stéréotypes visuels : Quand les machines étaient confuses, elles ne dessinaient pas n'importe quoi ; elles dessinaient des stéréotypes culturels.
- Les requêtes en finnois résultaient souvent en des forêts enneigées.
- Les requêtes en amharique (une langue éthiopienne) résultaient souvent en des déserts arides et sablonneux.
- Les requêtes en chinois ou en japonais incluaient parfois des éléments effrayants comme du sang ou des cicatrices, qui n'avaient rien à voir avec la demande réelle.

L'unique exception

Une machine, appelée AltDiffusion, était « l'élève modèle ». Elle ignorait principalement l'accent de la langue pour se concentrer sur le sens, dessinant la culture demandée quelle que soit la langue utilisée. Cependant, même cette machine éprouvait quelques difficultés avec les langues qu'elle avait peu vues durant son entraînement.

Pourquoi cela importe

L'article conclut que bien que ces outils d'IA s'améliorent, ils possèdent encore un angle mort. Ils sont trop facilement influençables par l' apparence des mots (la langue) plutôt que par le sens des mots. Cela signifie que si vous utilisez ces outils dans votre langue maternelle, vous pourriez obtenir une image qui reflète un stéréotype de votre langue plutôt que la personne ou la chose spécifique que vous avez demandée.

Les chercheurs suggèrent que pour corriger cela, nous devons entraîner ces machines à prêter davantage attention à « l'histoire » (la sémantique) et moins à « l'accent » (la surface), particulièrement pour les langues qui ne sont pas l'anglais. Ils proposent également leur « Mesureur de Biais » (Score SoS) comme un outil pour aider les développeurs à vérifier si leurs machines sont équitables.

Résumé technique : Analyse de la prédominance de la forme sur le fond (Surface-over-Semantics) dans la génération d'images à partir de texte multilingue

Énoncé du problème

Les modèles de génération de texte en image (T2I) sont de plus en plus utilisés à l'échelle mondiale, pourtant ils présentent une sensibilité élevée à la langue d'entrée. Bien que des prompts sémantiquement équivalents (par exemple, un prompt et sa traduction) devraient théoriquement produire des résultats similaires, des recherches antérieures indiquent que les modèles T2I produisent souvent des représentations culturellement stéréotypées lorsqu'ils sont confrontés à des langues non anglaises. Ce phénomène suggère une tension entre la forme de surface de l'entrée (la langue ou l'écriture spécifique) et le contenu sémantique (la description réelle du sujet). Des études précédentes ont identifié ce problème, mais elles étaient limitées par des analyses à petite échelle ne couvrant qu'un petit nombre de langues et de cultures, et surtout, elles manquent d'une méthode complète pour quantifier le degré auquel les modèles privilégient les indices de surface par rapport au sens sémantique. Cette lacune entrave le développement de modèles T2I globalement inclusifs et culturellement équitables.

Méthodologie

Construction du jeu de données

Les auteurs ont construit un nouveau jeu de données multilingue pour analyser systématiquement ce comportement :

Portée culturelle : 171 groupes d'identité culturelle uniques ont été sélectionnés à partir du jeu de données SeeGULL, affinés pour supprimer les doublons et standardiser les noms.
Portée linguistique : Les prompts ont été traduits en 14 langues (l'anglais plus 13 autres), sélectionnées pour garantir une diversité typologique (couvrant les familles indo-européenne, afro-asiatique, sino-tibétaine, turcique, coréenne, japonique et ouralienne) et une couverture des modèles.
Modèles de prompts : Trois modèles de base ont été définis (par exemple, « A photo of a {ci} {pj} »), instanciés avec des identités culturelles et des termes de personnes (« person », « woman », « man »), résultant en 1 539 prompts anglais uniques.
Traduction : Des locuteurs natifs maîtrisant à la fois l'anglais et les langues cibles ont traduit les prompts, garantissant que les distinctions entre termes genrés et neutres soient préservées.
Génération d'images : Sept modèles T2I de pointe ont été évalués : AltDiffusion-m9 (AD), Kandinsky-2-1 (K21), Kandinsky-3 (K3), Stable Diffusion v2.1 (SD21), Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3) et FLUX.1-dev (FX). Les images ont été générées avec une graine aléatoire fixe (42).

Quantification : Le score SoS (Surface-over-Semantics)

Pour répondre à l'absence d'une métrique appropriée, les auteurs ont introduit le score SoS, une mesure basée sur les plongements (embeddings) conçue pour quantifier la tension entre la surface et la sémantique sans dépendre de comparaisons textuelles qui pourraient être biaisées par la qualité de la représentation linguistique.

Vecteurs de référence : Deux vecteurs de référence sont calculés en regroupant les images à travers tous les modèles :
- $\vec{surl}$ : La moyenne des plongements de toutes les images générées à partir de prompts dans une langue $l$ spécifique (représentant la forme de surface).
- $\vec{semc}$ : La moyenne des plongements de toutes les images générées pour une identité culturelle $c$ spécifique (représentant le contenu sémantique).
Calcul : Pour une image de sortie $o_{c,l}$ , le score est la différence entre sa similitude cosinus avec le vecteur sémantique et le vecteur de surface :
$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$
Interprétation : Les scores varient de $[-1, 1]$ . Les valeurs négatives indiquent un alignement plus fort avec la forme de surface (la langue), tandis que les valeurs positives indiquent un alignement avec le contenu sémantique.

Validation et analyse

Validation humaine : Un sous-ensemble d'images a été annoté par des humains pour vérifier si l'image correspondait à l'identité culturelle (sémantique) ou à la culture associée à la langue (surface). Le score SoS a atteint une précision de 74,0 % par rapport aux jugements humains, avec une précision plus élevée (94,8 %) pour détecter les tendances de surface par rapport à CLIPScore.
Analyse par couches : En utilisant DiffusionLens, les auteurs ont analysé comment les tendances SoS évoluent à travers les couches des encodeurs de texte dans SD21 et K3.
Manifestation visuelle : L'étude a employé le Questionnement Visuel (VQA) en utilisant Qwen2-VL-7B-Instruct pour générer des descriptions d'images détaillées. Ces descriptions ont été analysées via la méthode « Fighting Words » pour identifier les jetons (tokens) distinctifs de paires langage-modèle spécifiques. Ces termes ont ensuite été comparés aux stéréotypes culturels connus du jeu de données SeeGULL.

Résultats clés

Variations des modèles et des langues

Prévalence du biais de surface : Tous les modèles, à l'exception d'AltDiffusion (AD), ont présenté de fortes tendances de surface dans au moins deux langues. AD a généralement montré des tendances sémantiques, bien qu'il reste influencé par les indices de surface pour le hindi, l'amharique et le finnois.
Différences entre modèles : FLUX (FX) a affiché de forts scores SoS négatifs (biais de surface) pour le coréen, le finnois, le japonais et le chinois. Kandinsky-3 (K3) a montré le score moyen négatif le plus faible (le plus proche de la neutralité), tandis que SD3 a montré une large gamme de scores, suggérant une amplification des stéréotypes dans les deux directions.
Évolution des couches : Dans les couches ultérieures des encodeurs de texte, le biais vers la forme de surface du prompt est devenu plus prononcé. Pour K3, les langues européennes ont évolué vers la neutralité dans les couches tardives, tandis que les langues asiatiques se sont déplacées vers des scores plus négatifs (biaisés par la surface).

Corrélations et généralisabilité

Similitude d'écriture : Les corrélations de Pearson des scores SoS ont révélé de fortes similitudes entre les langues indo-européennes utilisant l'alphabet latin (par exemple, l'italien et l'espagnol ont montré une corrélation de 0,7). Cependant, la similitude de l'écriture n'a pas strictement dicté les tendances ; par exemple, le chinois et le japonais ont montré une faible corrélation malgré le chevauchement des écritures, tandis que le chinois et le coréen ont montré une corrélation élevée.
Robustesse des concepts : Les tendances SoS observées pour les prompts de type « person » étaient fortement corrélées (Pearson $r = 0,876$ ) avec celles observées pour les prompts de type « house », indiquant que la métrique se généralise au-delà des sujets humains.

Manifestations visuelles du biais

Couverture des stéréotypes : Les langues présentant de fortes tendances de surface ont souvent déclenché des représentations visuelles culturellement stéréotypées. Par exemple, les générations de FLUX pour les prompts chinois couvraient 61,9 % des stéréotypes visuels chinois, tandis que les prompts finnois n'en couvraient aucun (en raison de données de stéréotypes limitées pour le finnois dans l'ensemble de référence).
Associations spécifiques : L'analyse VQA a révélé des schémas systématiques :
- Finnois : Génération fréquente de scènes de forêts enneigées.
- Amharique : Haute fréquence de termes comme « aride », « sableux » et « buisson ».
- Chinois/Coréen/Japonais/Arabe : De manière alarmante, une partie importante des images incluait des termes comme « sang », « cicatrices » ou « éclaboussures », soulevant des préoccupations de sécurité.
- Hindi/Amharique/Langues asiatiques : Association fréquente avec des esthétiques de type « papillons », « fantastiques » et « oniriques », suggérant que les langues moins familières sont liées à une imagerie surréaliste.
- Hindi : Malgré la tendance sémantique globale d'AD, les images sollicitées en hindi incluaient fréquemment « saree » et « indien », indiquant des associations culturelles persistantes.

Signification et revendications

L'article affirme fournir la première analyse systématique des tendances de « Surface-over-Semantics » (SoS) des modèles T2I à travers un large éventail de cultures et de langues. Ses principales contributions sont :

Une nouvelle métrique : L'introduction du score SoS, qui quantifie la tension entre la langue d'entrée et le sens sémantique en utilisant uniquement les plongements d'images générées, réduisant ainsi la dépendance vis-à-vis de modèles de référence textuels potentiellement biaisés comme CLIP.
Preuve empirique : La démonstration que la majorité des modèles testés privilégient les formes de surface par rapport à la sémantique dans plusieurs langues, une tendance qui s'intensifie dans les couches profondes des encodeurs de texte.
Corrélation visuelle : L'établissement d'un lien direct entre les fortes tendances de surface et la génération de contenus visuels culturellement stéréotypés ou potentiellement nocifs (ex: violence, tropes esthétiques spécifiques).
Nuance contextuelle : Les auteurs soutiennent que le score SoS « désirable » dépend du contexte ; bien que l'alignement sémantique soit crucial pour les concepts généraux, l'ancrage linguistique spécifique peut être approprié pour les prompts culturellement spécifiques. Ils préconisent que les futurs systèmes s'adaptent dynamiquement en fonction du type de prompt.

Les auteurs concluent que, bien que les scores SoS puissent servir de métrique pour guider l'entraînement des modèles vers des résultats plus équitables, ils ne constituent pas une mesure de l'équité exhaustive et doivent être couplés à d'autres évaluations de la qualité de génération et de l'exactitude factuelle.