💬 NLP

Simile Understanding in Text-to-Image Models: An Evaluation Framework

本文提出了一个可扩展的评估框架，通过受控数据集、自动检测指标和编码器层分析，系统地评估并诊断文本生成图像模型在正确理解明喻（similes）方面的持续失败，从而揭示了比喻性语言理解与视觉落地之间的差距。

原作者： Luecheng Wang, Shintaro Ozaki, Hidetaka Kamigaito, Katsuhiko Hayashi, Jingun Kwon, Manabu Okumura, Taro Watanabe

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Luecheng Wang, Shintaro Ozaki, Hidetaka Kamigaito, Katsuhiko Hayashi, Jingun Kwon, Manabu Okumura, Taro Watanabe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一位超级聪明的机器人艺术家交谈，它见过数百万张图片，几乎能画出你描述的任何东西。这个机器人生活在“文本生成图像”模型的世界里，当你输入像“戴着帽子的猫”这样的句子时，它就会画出一幅画。但当你要求一些更具诗意的表达，比如“像云朵一样蓬松的猫”时，情况就会变得棘手。你并不是要求在画中出现一朵云，而是要求机器人借用云朵的“蓬松感”并赋予这只猫。这被称为“明喻”（Simile）。这是一种通过将事物与另一事物进行比较来描述事物的方法，比如说“他跑得像风一样”（你并不期望风跑在他身边，只是想表达他很快）。

核心问题在于科学家们一直在思考：这个机器人艺术家真的理解这个比喻吗？还是它会感到困惑，心想：“哦，你要一只猫和一朵云？”然后就把两者都画了出来？这就是本论文深入探讨的问题。研究人员将这种机器人的困惑视为一种特定的错误，称为“字面化偏差”（Literalization Bias），即模型将比较对象（明喻中的“喻体”）当作一个真实的、物理存在的物体来绘制，而不是仅仅利用它的特质。研究人员想要建立一个测试，以观察这种情况发生的频率以及原因，因为如果机器人无法理解隐喻，它们就无法真正理解人类语言中那种富有创造力和色彩感的表达方式。

伟大的“石头面包”测试

为了弄清楚这些 AI 艺术家究竟是真正的创意天才，还是仅仅是死板的模仿者，研究人员构建了一个庞大且受控的游乐场。他们并没有让机器人随机绘画；而是创建了一套特定的指令集，称为“明喻提示词”。他们选择了 80 个计算机可以轻松识别的不同物体（如石头、云朵或剪刀），并将它们与 14 种不同的句子模板混合在一起。

例如，他们可能会要求机器人画“一个吃着像石头一样硬的面包的人”。正确的答案是一幅看起来坚硬且酥脆的面包图片，但桌子上没有一块真正的石头。如果机器人画了一块石头，它就测试失败了。研究人员将这种失败称为“字面化偏差”。这就像如果你告诉一个孩子，“我饿得像头熊”，而那个孩子竟然把一只真正的熊带进了厨房，而不是仅仅理解你非常饿。

侦探工作：他们是如何抓住机器人的

团队测试了五种流行的 AI 图像生成器。为了观察机器人是否误解了指令，他们使用了一个名为 YOLO（代表“You Only Look Once”，一种非常快速的目标检测器）的数字侦探工具。该工具扫描了机器人生成的每一张图片，以查看“比较对象”（如面包例子中的石头）是否意外出现在图像中。

结果喜忧参半，但对机器人的理解能力而言大多是不太乐观的消息。

高失败组： 其中一个模型，Qwen-Image，是表现最差的罪魁祸首。在大约 61.4% 的图片中，它画出了字面意义上的物体（石头、云朵等），而不是仅仅表现其属性。另一个模型，PixArt，出错的概率约为 49.5%。
较好但仍有缺陷组： 其他模型（Dreamlike、FLUX 和 SD3.5）表现稍好，但仍然会在大约 30% 到 35% 的情况下犯错。

研究人员还请人类评判员查看了这些图片。人类与计算机检测器达成了一致：当“石头”或“云朵”出现在图片中时，人类认为该图像是对明喻的糟糕诠释。有趣的是，机器人对“字面”部分的理解出错越多，它们似乎就越无法捕捉到句子的实际含义。这是一种权衡：它们画出的额外物体越多，对描述的理解就越少。

为什么标准测试忽略了这个错误

这里有一个有趣的转折：研究人员尝试使用通常用来给 AI 艺术评分的标准“成绩单”，如 CLIPScore 和 PickScore。这些工具旨在衡量图片与句子的匹配程度。但它们在这里完全失效了！它们给那些包含错误物体的图片打了高分。这就像一位老师因为学生画了一只熊来表达饥饿，就因为画作质量高而给了学生一个“A”一样。这篇论文证明，我们需要一种专门针对隐喻的新型测试，因为旧的测试对于这种特定的困惑是“盲目”的。

透视机器人的大脑

为了理解机器人为什么会犯这些错误，研究人员使用了一个特殊的工具——“扩散透镜”（Diffusion Lens）。想象一下机器人的大脑是一个多层蛋糕。底层是它思考基本形状的地方，而顶层是它添加最终细节的地方。

他们发现不同的机器人会在不同的阶段“思考”错误的物体：

早期思考者： 一些模型（如 FLUX 和 SD3.5）几乎在脑层结构的底层就开始思考“石头”或“云朵”了。一旦开始思考，它们就无法停止，最终导致物体出现在最终画面中。
晚期思考者： 其他模型（如 Qwen-Image）直到大脑的最顶层才想到那个物体。等到它们想到时，已经太晚了，无法阻止物体出现在最终的画作中。
抑制者： 少数模型（如 Dreamlike）会在中间层思考该物体，但随后能成功地“抑制”或删除它，使其在最终画面完成前消失。这就是为什么它们的错误率较低。

我们可以修复它吗？

研究人员尝试了两种技巧，看看是否可以在不改变指令的情况下阻止机器人画出错误的物体。

掷骰子（随机再生）： 他们要求机器人重新绘制图片，只是改变了随机的“种子”数值（就像掷骰子一样得到不同的结果）。这起到了一点作用。对于表现最差的机器人（Qwen-Image），错误率从 61.4% 降至 24.4%。这就像要求一个困惑的艺术家再试一次；有时他们会靠运气做对。
改变大脑层（基于层的再生）： 他们尝试强制机器人使用不同的脑层来进行决策。这对某些模型效果更好。对于 PixArt，错误率从 49.5% 降至 17.6%。

然而，论文谨慎地指出，这并不是万能药。仅仅因为机器人不再画那块字面的石头，并不意味着它完美理解了面包的“硬度”。它只是意味着它停止了制造那个特定的、明显的错误。

总结

这篇论文表明，即使是最先进的 AI 艺术生成器，在处理明喻的艺术方面仍然步履维艰。它们经常过于字面地理解隐喻，画出比较对象本身，而不是其特质。虽然我们可以通过要求机器人重试或调整其思考方式来减少这种错误，但它们尚未完全掌握这一概念。研究人员建立了一种衡量这一问题的新方法，证明了标准测试不足以捕捉这些创造性的误解。这提醒我们，对于机器人要真正理解人类语言，它们不仅需要学习单词的含义，还需要学习我们如何用语言在脑海中描绘图景。

技术摘要：文本生成图像模型中的明喻理解能力

问题陈述

文本生成图像（t2i）模型在根据文本提示词生成具有视觉吸引力的图像方面日益强大。然而，它们对修辞手法——特别是明喻（similes）——的理解能力仍有待深入探索。虽然明喻提供了一种转换视觉属性的简洁方式（例如，“面包硬如石头”），但目前的尖端模型经常会误解隐喻载体（即属性的来源，例如“石头”），将其视为应被字面描绘的对象，而非属性的来源。

这种系统性失败被称为字面化偏差（literalization bias），其结果是生成了隐喻载体本身（例如，图像中出现了一块真正的石头），而不是预期的属性转移。这揭示了 t2i 模型在修辞语言处理与对象级视觉接地（visual grounding）之间存在的差距。现有的通用图像评估指标（如 CLIPScore、PickScore）无法充分捕捉这种特定的失败模式，因为它们优先考虑整体文本-图像的一致性，而非非预期字面对象的缺失。

方法论

作者提出了一个可扩展的四阶段评估框架，旨在系统地调查并量化字面化偏差：

1. 明喻数据集构建

为了实现自动检测字面出现情况，作者构建了一个受控数据集：

载体选择： 将隐喻载体限制在预训练 YOLO（You Only Look Once）目标检测器可检测的 80 个物体类别内。
模板设计： 创建了 14 种多样的明喻模板，涵盖了比较结构（如“像”、“像……一样”）和假设结构（如“仿佛”）。
生成与过滤： 利用大语言模型（LLM）生成候选句子，并通过 LLM-as-a-Judge 方法进行过滤。最终形成的数据集由在多个评审员（Group G5）中达成最大一致性的句子组成，确保了句子的语法正确性、明喻的存在性以及场景的具体性。

2. 图像生成

使用构建的数据集，在一致的推理设置下（768×768 分辨率，种子 42，引导尺度 4.5），对五种架构多样化的 t2i 模型进行了评估：

Dreamlike-photoreal-2.0（基于 CLIP）
PixArt-XL-2-1024-MS（基于 T5）
FLUX.1-dev（CLIP + T5）
Stable Diffusion 3.5 Large（CLIP + T5）
Qwen-Image（基于 LLM）

3. 自动评估

衡量字面化偏差的主要指标是 YOLO-Det，即生成的图像中将隐喻载体检测为字面对象的比例。

辅助指标： 记录了 YOLO-Conf（置信度分数）和 YOLO-Area（边界框覆盖范围）。
基准比较： 研究将基于 YOLO 的指标与通用指标（CLIPScore、PickScore）以及人类评估进行了对比，以验证该方法。

4. 文本编码器层分析

利用 Diffusion Lens，作者进行了逐层分析，以追踪隐喻载体在生成过程中的出现情况。他们定义了三个指标：

首次出现层（First-emergence layer）： 检测到载体的最早层。
覆盖率（Coverage ratio）： 检测到载体的层数比例。
出现类别（Appearance category）： 将载体分类为从未出现、被抑制（在层中出现但在最终图像中未出现）或持续存在（在层中出现且在最终图像中也出现）。

此外，还测试了两种再生方法，旨在不改变提示词的情况下减轻偏差：

随机再生（Random Regeneration）： 改变随机种子。
基于层的再生（Layer-based Regeneration）： 以来自较浅文本编码器层的表示作为条件进行生成。

关键结果

1. 字面化偏差的普遍性

字面上化偏差是所有受评估模型中普遍存在的失败模式，尽管严重程度各异：

Qwen-Image 表现出最高的偏差（YOLO-Det: 0.614）。
PixArt 紧随其后（0.495）。
FLUX (0.349)、SD3.5 (0.325) 和 Dreamlike (0.298) 的偏差较低，但仍然显著。
偏差分布在 80 个载体类别中的 78 个以及 14 个模板中，表明这并不局限于特定的物体或措辞。

2. 评估指标的有效性

YOLO-Det 与人类对隐喻载体存在的判断表现出强相关性（Q2 得分： $r=0.826$ ）。
CLIPScore 和 PickScore 与载体存在性的相关性较弱（ $r \approx 0.35-0.38$ ），且与整体相关性（Q3）几乎零相关。这证实了通用指标无法可靠地检测字面化偏差。
在载体存在性（Q2）与整体相关性（Q3）之间发现了强负相关（ $r = -0.601$ ），这表明载体出现得越清晰，图像与预期明喻含义的一致性就越低。

3. 层级分析

基于 CLIP 的分支（如 FLUX-CLIP、SD3.5-CLIP）显示出早期出现（归一化层约为 0.08）和高覆盖率，载体通常会持续存在到最终图像。
Qwen-Image 显示出晚期出现（约 0.68）和低覆盖率，但一旦出现的载体通常是持续存在的。
Dreamlike 和 基于 T5 的分支 通常表现出中间层出现，即载体出现在层中，但在最终图像生成前经常被抑制。

4. 通过再生进行缓解

随机再生： 降低了所有模型的偏差（例如，Qwen-Image 降低了 0.370），这表明采样变化有时可以避免字面化。
基于层的再生： 同样降低了偏差，但效果各异。对于 Dreamlike 和 PixArt，使用较浅的层显著降低了偏差。对于 FLUX 和 SD3.5，降幅较小，且取决于具体的文本编码器分支（T5 与 CLIP）。

重要性与贡献

本文做出了三个主要贡献：

定义与分析： 它正式定义了字面化偏差为隐喻载体的非预期字面描绘，并分析了其在不同 t2i 架构中的普遍性。
评估框架： 它提出了一个综合框架，整合了受控数据集构建、多模型生成、自动目标检测评估以及文本编码器层分析。
缓解见解： 它证明了虽然再生方法可以部分减少字面化偏差，但其有效性高度依赖于模型。

作者得出结论，虽然减少字面化偏差是提高明喻理解能力的一个可衡量的步骤，但它并不能保证成功的属性转移。所提出的框架提供了一个必要但仅是部分的维度，用于评估 t2i 模型在处理修辞语言方面的能力，同时也凸显了当前的通用指标在处理此类特定任务时是不充分的。