Cross-Modal Alignment for Emotion-Consistent Text-to-Image Generation (ChinaMM 2026)

在数字时代，我们已经习惯了要求计算机根据文字来绘画。输入“一只在公园里玩耍的金毛寻回犬”，机器便能在数秒内生成一张逼真的图像。然而，尽管这些系统拥有极高的速度和视觉保真度，它们往往会忽略请求中最具人性化的元素：情感。一个描述“孤独的生日派对”的提示词可能会生成一个充满气球和鲜艳色彩的房间，这在技术上是正确的，但在情感上却是空洞的，因为机器看到了物体，却看不见背后的忧伤。这种我们所言与机器所感之间的差距，正是研究人员目前正试图弥合的核心挑战。其目标不仅是让生成的图像看起来正确，而是创造出能与文本中的特定情感意图产生共鸣的视觉效果，无论那是喜悦、恐惧还是悲伤。

中国传媒大学的一个研究团队提出了一种弥合这一鸿沟的新方法。他们将这种方法称为“文本到图像情感一致性生成”框架（Text-to-Image Emotion Consistent Generation framework），这是一个两阶段的过程，旨在教导机器如何将抽象的情感转化为具体的视觉细节。该系统并非依赖预设的标签或外部引导，而是尝试先理解句子的情感核心，然后利用这种理解来指导图像的创作。研究人员认为，现有的方法之所以经常失败，是因为它们将情感视为一种事后补充或独立的标签，而不是将其编织进图像生成过程的每一个纹理之中。

该过程始于研究人员称之为“情感智能共鸣生成”（Emotion-Intelligence Resonance Generation）的阶段。想象一位人类艺术家在读到“台阶上一只快乐的狗”这样的提示词时。在拿起画笔之前，艺术家可能会思考“快乐”看起来是什么样的：温暖的阳光、明亮的色彩，或许还有俏皮的姿态。计算机的操作也与之类似。首先，它分析文本以识别主导情感，例如喜悦或愤怒。一旦识别出情感，系统就会查阅一个专门的视觉线索库——例如将“温暖的阳光”与“喜悦”联系起来，或将“阴暗的阴影”与“恐惧”联系起来。随后，它会重写原始提示词，用这些具体的视觉细节来丰富它。因此，原本简单的“一只快乐的狗”变成了一个更详细的指令：一只站在温暖阳光下，旁边还有彩色气球的狗。这个经过丰富的描述随后被输入到图像生成器中，从而产生一张比仅凭原始文本所能提供的具有更强情感基调的图片。

然而，研究人员发现，即使有了更好的描述，最终生成的图像在绘画过程中有时仍会失去其情感冲击力。为了解决这个问题，他们增加了第二个阶段，称为“情感引导的跨模态增强”（Emotion-Guided Cross-Modal Enhancement）。这一步就像是最后的润色，它会观察机器刚刚创建的图像，并询问：“这真的符合我们预期的情感吗？”如果目标是恐惧，系统可能会微妙地调整光照或为阴影添加特定的纹理，以加深不安感，而不会改变画面的主体内容。这种精炼是通过将情感意义直接注入图像的视觉特征来实现的，从而确保最终结果与用户描述的情感保持一致。

为了测试这种两阶段方法是否真的有效，团队创建了一个包含3,000个文本提示词的新数据集，这些提示词经过精心平衡，涵盖了六种基本人类情感：喜悦、惊讶、愤怒、厌恶、恐惧和悲伤。他们将该系统与包括强大的标准生成器和其他专门用于情感编辑的工具在内的几种现有模型进行了对比。结果显示出了明显的改进。当被要求判断生成的图像是否符合预期的情感时，他们的方法在判断宽泛的正向或负向情感方面的准确率达到了88.43%，在区分六种特定情感方面的准确率达到了69.23%。这些数字高于表现最好的其他替代方案，后者落后了几个百分点。

研究人员还进行了一项针对人类志愿者的研究，以观察人们对这些图像的反应。参与者看到原始文本提示词以及由不同系统生成的四张不同图像，并被要求选出最能捕捉到该情感的一张。该框架被选中的频率最高，占比为27.04%，略微领先于专门的情感编辑工具。重要的是，该系统在做到这一点的同时，并没有扭曲原始提示词的含义。虽然一些旧方法会使图像极具情感但改变了整个场景——比如将一个忧伤的公园变成一个完全不同的地点——但新方法在改变情绪的同时，保持了场景的可辨识度。

目前该系统仍存在局限性。研究人员指出，“惊讶”的情感对于所有方法（包括他们自己的方法）来说都被证明是捕捉准确性的难点。这很可能是因为“惊讶”与恐惧和喜悦都具有共同的视觉特征，导致难以区分。此外，为了确保稳定性，该系统目前依赖于成熟且稍旧的图像生成骨干网络，这意味着与最新的模型相比，它可能还无法产生最高质量的图像。然而，核心结论依然成立：通过将任务分解为先理解情感，然后再精炼视觉细节，计算机可以生成更贴近人类体验的图像。这项工作表明，要让机器真正理解我们的创作请求，它们不仅要学习我们在描述什么，还要学习我们对这些事物的感受如何。