💬 NLP

SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation

本文引入了对多语言文本生成图像模型中“表象优于语义”（Surface-over-Semantics, SoS）现象的首次全面分析，揭示了大多数模型优先考虑表层语言线索而非语义含义，从而导致在不同语言和文化中出现文化刻板印象的描绘。

原作者： Carolin Holtermann, Florian Schneider, Anne Lauscher

发布于 2026-01-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Carolin Holtermann, Florian Schneider, Anne Lauscher

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一台神奇的艺术机器，它能根据你输入的内容画出图画。如果你对它说，“画一个德国人”，它应该画出一个德国人。但如果你用不同的语言，比如“Zeichne eine Person aus Deutschland”（德语）或“Dibuja una persona de Alemania”（西班牙语）输入完全相同的请求，会发生什么呢？

这篇论文研究了这些机器中一种奇怪的故障，称为表面胜过语义（Surface-over-Semantics，简称 SoS）。

核心问题：“口音” vs. “意义”

把文本生成图像的提示词想象成寄给艺术家的一封信。

语义（Semantics，即意义）： 信件的实际内容。“我想要一张德国人的照片。”
表面（Surface，即外观）： 这封信所使用的语言和脚本。它是用英语、印地语还是中文写的？

研究人员发现，许多这类 AI 艺术机器就像是那些只关注口音而忽略故事的蹩脚翻译员。当你用英语要求“一个德国人”时，机器会画出一个德国人。但如果你使用另一种语言（如印地语或芬兰语）来请求同一个“德国人”时，机器往往会忽略“德国”这个部分，转而画出一些看起来像是该语言本身刻板印象的东西。

这就像是你用意大利语向一位厨师要“意大利面（Spaghetti）”，结果厨师并没有做面条，而是给你端上了一份披萨，因为他听到了“意大利”这个词，就以为那是你想要的，从而忽略了“意大利面”这个词本身。

实验：一场全球性的“味觉测试”

为了证明这一点，研究人员设计了一个大规模的“味觉测试”：

菜单： 他们选择了 171 种不同的文化身份（如“日本人”、“尼日利亚人”、“巴西人”）。
语言： 他们将“一张 [某种文化] 人的照片”这一请求翻译成了 14 种不同的语言（包括英语、阿拉伯语、中文、芬兰语等）。
艺术家： 他们要求 7 台不同的 AI 艺术机器来绘制这些图片。
计分卡： 他们发明了一种衡量结果的新方法，称为 SoS 分数。

SoS 分数就像是一个“偏见计分器”：

如果分数是正数，说明机器听从了“意义”（例如：无论使用哪种语言，只要要求画德国人，它就画出了德国人）。
如果分数是负数，说明机器听从了“表面”（例如：仅仅因为提示词是芬兰语，它就画出了一个典型的“芬兰式”场景，尽管你要求的是德国人）。

他们的发现

大多数机器是“表面驱动型”： 在测试的 7 台机器中，有 6 台深受所用语言的影响。如果你使用的语言是机器不太擅长的，它通常会退而求其次，画出与该语言的脚本或文化相关的刻板印象，而不是你实际要求的文化。
“深层渗透”效应： 研究人员观察了这些机器的“大脑内部”（具体来说是处理文本的层级）。他们发现，随着信息在机器内部传递得越来越深，偏见会变得越来越强。这就像是一个“传声筒”游戏，信息传得越远，就会变得越扭曲；到机器开始绘画时，语言的“口音”已经完全淹没了原始的意义。
视觉刻板印象： 当机器感到困惑时，它们不仅仅是画错，还会画出文化刻板印象。
- 芬兰语的提示词往往会导致雪原森林的画面。
- 阿姆哈拉语（埃塞俄比亚的一种语言）的提示词往往会导致干旱、沙质的沙漠画面。
- 中文或日语的提示词有时会包含血腥或伤疤等恐怖元素，而这些与实际请求毫无关系。

唯一的例外

一台名为 AltDiffusion 的机器是那个“好学生”。它大多能忽略语言的口音并坚持语义，无论使用哪种语言都能画出请求的文化。然而，即使是这台机器，在面对其训练数据中较少的语言时，也会遇到一些困难。

为什么这很重要

论文结论指出，虽然这些 AI 工具正在变得越来越好，但它们仍然存在盲点。它们太容易被词语的“外观”（语言）所左右，而不是词语的“意义”。这意味着，如果你使用母语进行创作，你得到的可能是一个反映你所用语言刻板印象的画面，而不是你真正要求的特定人物或事物。

研究人员建议，为了解决这个问题，我们需要训练这些机器去更多地关注“故事”（语义），而不是“口音”（表面），特别是对于那些非英语的语言。他们还提出了他们的“偏见计分器”（SoS 分数），作为帮助开发者检查其机器是否公平的工具。

技术摘要：多语言文本生成图像中“表层优于语义”现象的分析

问题陈述

文本生成图像（T2I）模型正日益在全球范围内被广泛应用，但它们对输入语言表现出高度的敏感性。虽然在理论上，语义等价的提示词（例如一个提示词及其翻译版本）应当产生相似的输出，但先前的研究表明，当面对非英语语言时，T2I 模型往往会产生具有文化刻板印象的描绘。这一现象表明，输入内容的表层形式（特定的语言或脚本）与语义内容（主体的实际描述）之间存在张力。以往的研究虽然识别了这一问题，但受限于规模较小的分析，仅涵盖了极少数语言和文化，并且至关重要的一点是，它们缺乏一种全面的方法来量化模型在多大程度上优先考虑表层线索而非语义含义。这一差距阻碍了开发全球包容且文化公平的 T2I 模型。

研究方法

数据集构建

作者构建了一个全新的多语言数据集，以系统地分析这种行为：

文化范围： 从 SeeGULL 数据集中选择了 171 个独特的文化身份群体，并进行了去重和名称标准化处理。
语言范围： 提示词被翻译成 14 种语言（英语及另外 13 种语言），旨在确保类型学上的多样性（覆盖印欧语系、亚非语系、汉藏语系、突厥语系、韩语系、日语系和乌拉尔语系）以及模型覆盖度。
提示词模板： 定义了三种基础模板（例如，“一张 {ci} {pj} 的照片”），通过实例化文化身份和人物术语（“人”、“女性”、“男性”），生成了 1,539 个唯一的英语提示词。
翻译： 由精通英语及目标语言的母语使用者进行翻译，确保保留了性别化与性别中性术语之间的区别。
图像生成： 评估了七种最先进的 T2I 模型：AltDiffusion-m9 (AD)、Kandinsky-2-1 (K21)、Kandinsky-3 (K3)、Stable Diffusion v2.1 (SD21)、Stable Diffusion XL (SDXL)、Stable Diffusion 3 (SD3) 和 FLUX.1-dev (FX)。使用固定的随机种子 (42) 生成图像。

量化方法：表层优于语义（SoS）评分

为了解决缺乏合适度量标准的问题，作者引入了 SoS 评分，这是一种基于嵌入（embedding）的度量方法，旨在量化表层与语义之间的张力，而不依赖于可能因语言表示质量而产生偏差的文本比较。

参考向量： 通过汇总所有模型的图像计算出两个参考向量：
- $\vec{surl}$ ：特定语言 $l$ 下所有提示词生成的图像的平均嵌入（代表表层形式）。
- $\vec{semc}$ ：特定文化身份 $c$ 下所有生成的图像的平均嵌入（代表语义内容）。
计算方式： 对于输出图像 $o_{c,l}$ ，其分数为该图像与语义向量的余弦相似度与与表层向量的余弦相似度之差：
$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$
解释： 分数范围为 $[-1, 1]$ 。负值表示与表层形式（语言）的一致性更强，而正值则表示与语义内容的一致性更强。

验证与分析

人工验证： 通过人类对图像子集进行标注，以验证图像是匹配文化身份（语义）还是匹配语言相关的文化（表层）。SoS 评分在检测表层倾向方面达到了 74.0% 的准确率，且其在检测表层倾向方面的精确度（94.8%）高于 CLIPScore。
逐层分析： 使用 DiffusionLens，作者分析了 SD21 和 K3 中文本编码器各层中 SoS 倾向性的演变过程。
视觉呈现： 研究采用视觉问答（VQA）技术，利用 Qwen2-VL-7B-Instruct 生成详细的图像描述。这些描述通过“战斗词汇”（Fighting Words）方法进行分析，以识别特定语言-模型对所特有的标记（tokens）。随后将这些术语与 SeeGULL 数据集中已知的文化刻板印象进行对比。

核心结果

模型与语言差异

表层偏差的普遍性： 除 AltDiffusion (AD) 外，所有模型在至少两种语言中都表现出强烈的表层倾向。AD 通常表现出语义倾向，但在处理印地语、阿姆哈拉语和芬兰语时仍向表层线索倾斜。
模型差异： FLUX (FX) 在韩语、芬兰语、日语和中文中表现出强烈的负 SoS 分数（表层偏差）。Kandinsky-3 (K3) 显示出最小的负平均分（最接近中性），而 SD3 的分数范围较广，表明其在两个方向上都放大了刻板印象。
层级演变： 在文本编码器的后期层中，向提示词表层形式的偏差变得更加显著。对于 K3，欧洲语言在后期层转向中性，而亚洲语言则向更负的（表层偏差）分数移动。

偏差的视觉体现

刻板印象覆盖： 具有强表层倾向性的语言往往会触发具有文化刻板印象的视觉描绘。例如，FLUX 对中文提示词的生成覆盖了 61.9% 的中国视觉刻板印象，而芬兰语提示词则未覆盖任何刻板印象（由于参考集中缺乏芬兰语的刻板印象数据）。
特定关联： VQA 分析揭示了系统性的模式：
- 芬兰语： 频繁生成雪地森林场景。
- 阿姆哈拉语： 高频出现“干旱”、“沙地”和“灌木丛”等词汇。
- 中文/韩语/日语/阿拉伯语： 令人担忧的是，很大一部分图像包含了“血液”、“伤疤”或“喷溅”等词汇，引发了安全担忧。
- 印地语/阿姆哈拉语/亚洲语言： 频繁与“蝴蝶”、“奇幻”和“梦幻”美学相关联，表明不熟悉的语言与超现实图像相关联。
- 印地语： 尽管 AD 整体具有语义倾向，但用印地语提示的图像经常包含“纱丽”和“印度”等元素，表明存在持久的文化关联。

重要性与主张

本文声称提供了对 T2I 模型在广泛文化和语言中“表层优于语义”（SoS）倾向性的首次系统性分析。其主要贡献包括：

一种新颖的度量标准： 引入了 SoS 评分，该评分仅通过生成的图像嵌入来量化输入语言与语义含义之间的张力，从而减少了对可能带有偏见的文本参考模型（如 CLIP）的依赖。
经验证据： 证明了大多数测试模型在多种语言中优先考虑表层形式而非语义，且这种倾向在文本编码器的深层会进一步加强。
视觉关联： 建立了高表层倾向性与生成具有文化刻板印象或潜在有害视觉内容（如暴力、特定美学特征）之间的直接联系。
上下文细微差别： 作者认为“理想的” SoS 分数是取决于上下文的；虽然对于通用概念而言语义一致性至关重要，但对于特定文化的提示词，语言特定的定位可能是合适的。他们倡导未来的系统应根据提示词类型进行动态调整。

作者总结道，虽然 SoS 分数可以作为引导模型训练向更公平输出迈进的度量标准，但它们并非全面的公平性衡量标准，必须与生成质量和事实准确性的其他评估相结合。