🤖 AI

EmoStyle: Affective Conditioning of Style-Specialist Experts for Emotional Image Generation

EmoStyle 是 2026 年 AffectiveArt 挑战赛的第一名获奖框架，它通过利用大语言模型推断情感线索，并使用特定风格的 LoRA 专家来调节基于 Z-Image 的生成器，从而弥合情感图像生成中的控制差距，确保输出结果与提示词、艺术风格及目标情感保持一致。

原作者： Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dexiang Hong, Yijie Guo, Weidong Chen, Xinyan Liu, Zixuan Zou, Zhendong Mao, Yongdong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据一个简单的句子来画一幅画，比如“雨中城市里一个忧伤的机器人”。但这里的难点在于，你不仅要画出一个机器人，还要让它看起来具有特定的艺术风格（比如“印象派”或“水墨画”），而且最重要的是，你必须让观众在机器人甚至没有流泪的情况下，也能感受到那份忧伤。

这正是 EmoStyle 团队所应对的挑战。他们构建了一个智能系统，这个系统就像是一个组织严密的艺术总监、一个变换风格的变色龙，以及一个严格的艺术评论家，三者合而为一。他们的目标是赢得 2026 年情感艺术挑战赛 (AffectiveArt Challenge 2026)（Track 1），而猜猜看？他们夺得了第一名。

以下是他们神奇魔术的运作方式，分为三个简单的步骤：

1. “读心者”（LLM 推理器）

通常，如果你只是告诉计算机“画一个忧伤的机器人”，它可能会画出一个看起来很开心或很困惑的机器人，因为它不知道如何表现忧伤。它需要更多的线索。

在训练数据中，计算机拥有一份带有秘密笔记的“作弊表”，比如“效价（Valence）：低”、“唤醒度（Arousal）：高”以及“主导情绪：悲伤”。但在测试阶段（即他们实际创作艺术时），这些作弊表都不见了！计算机手里只有那句简短的句子。

EmoStyle 的解决方案： 他们聘请了一位 AI “读心者”（LLM 推理器）。在画下第一个像素之前，这位读心者会观察简短的句子和目标艺术风格，然后推测出缺失的秘密笔记。它会计算出精确的情感坐标（图像应该是积极/消极的，还是平静/激动的），甚至会决定图片应该是横向还是纵向的。它将一个模糊的想法转化为了一个详细且结构化的计划。

2. “风格变色龙”与“情感注入器”

现在计算机有了计划，但它需要开始绘画。大多数 AI 画家试图一次性学习所有内容，这往往会导致混乱。EmoStyle 做得更聪明：

风格变色龙（LoRA 专家）： 想象一下，你为每种艺术风格都准备了一副不同的眼镜。如果你想要“文艺复兴”，你就戴上文艺复兴眼镜；如果你想要“浮世绘”，你就换上浮世绘眼镜。团队为他们使用的 8 种艺术风格（如水墨画、巴洛克和苏联现实主义）中的每一种，都训练了一个微小的、专门的“专家”（称为 LoRA 适配器）。当计算机需要绘画时，它只需挑选正确的眼镜即可。这使得风格保持了高度的一致性。
情感注入器（情感调节）： 但是，如何让文艺复兴风格的机器人看起来很忧伤呢？你不能只是在提示词里再次加入“忧伤”这个词。相反，他们将“读心者”的情感计划转化成了一段秘密代码（向量）。他们使用 AdaLN 式调节 技术，将这段代码直接注入到绘画机器人的大脑（去噪模块）中。你可以把它想象成在艺术家绘画时，直接在他们耳边低声传递指令，告诉他们应该如何扭转笔触，以传达出那种特定的情感。

3. “严厉的艺术评论家”（VLM 引导的精炼）

即使有了完美的计划和正确的眼镜，第一次尝试可能仍然不够完美。也许机器人看起来太开心了，或者色彩不对。

因此，系统不会只生成一张图片。它会生成多个候选版本（就像画出五个不同的草稿）。然后，它会请出一位“严厉的艺术评论家”（视觉语言模型，VLM）。这位评论家会查看每一个草稿，并根据四个维度进行评分：

是否符合提示词？
是否看起来符合正确的艺术风格？
是否真的传达了正确的情感？
视觉质量是否高？

评论家会选出获胜者。如果没有任何一个版本足够好，它甚至可以触发重新生成。这个过程不需要重新训练整个系统；它只是最后一步的一个智能选择环节。

结果：奏效了吗？

团队在名为 EmoArt 的数据集上测试了他们的系统，该数据集包含超过 132,664 幅绘画。他们将完整的系统与基础模型及其他著名的 AI 画家进行了对比。

得分： 他们的系统，USTC_PI_LAB_TEAM，获得了 0.80 的综合得分，击败了获得 0.78 分的第二名团队（EmoForge）。
证据： 他们使用一个名为 FID（Fréchet Inception Distance）的指标来衡量图像与真实艺术的接近程度。数值越低越好。他们的完整系统将 FID 从基础模型的 75.83 降低到了 58.63，这意味着图像看起来更加逼真，且更符合风格。
“如果……会怎样”测试： 他们还进行了实验，以观察移除系统各部分部分会发生什么。
- 如果移除了“读心者”（情感规划），图像在捕捉特定细节方面会变得稍差。
- 如果移除了“风格变色龙”（特定的 LoRA 专家），风格一致性会显著下降。
- 如果移除了“严厉的艺术评论家”（精炼步骤），最终图像的质量会下降。

他们没有做的事

了解这个系统不是什么非常重要。作者明确排除了仅仅通过增加单词数量来重写提示词，或者将情感笔记作为描述中的额外文本的做法。他们发现这些方法不稳定，且无法给计算机提供足够的精确控制。相反，他们坚持将情感转化为直接注入机器层级的那个秘密“代码”。

他们也没有尝试构建一个学习一切的单一庞大模型。相反，他们保持主脑冻结，仅通过更换每个风格对应的微小“专家”模块来进行切换。

核心结论

EmoStyle 团队展示了通过将问题拆解——首先规划情感，然后挑选合适的风格专家，最后由评论家挑选最佳结果——你可以创造出不仅看起来正确，而且感觉正确的艺术。他们证明了将风格与情感分离，并利用聪明的“读心者”来填补空白是一种制胜策略，从而锁定了 2026 年挑战赛的冠军宝座。

技术摘要：EmoStyle

问题陈述

本文探讨了情感感知艺术图像生成的挑战，这一任务要求模型能够同时满足三个约束条件：对输入文本提示词的语义忠实度、对指定艺术风格的遵循度，以及对目标情感状态的表达能力。

其核心难点在于可用测试时输入与生成所需的细粒度条件之间的控制差距（control gap）。虽然训练数据集（如 EmoArt）包含丰富的结构化标注——包括视觉属性、效价-唤醒度（valence-arousal）得分、主导情绪标签和疗愈效果标签——但这些结构化线索在测试阶段是缺失的。模型仅接收一个精简的输入提示词和一个目标风格桶（style bucket）。因此，生成器必须隐式地推断如何将目标情绪转化为具体的视觉参数（色彩、光影、笔触、构图、线条和布局），而无需显式引导，而标准的提示词驱动扩散模型在处理此类任务时难以实现高保真度。

方法论

作者提出了 EmoStyle，这是一个基于 Z-Image 扩散模型的框架。该系统通过一个四阶段流水线运行，旨在弥合精简提示词与结构化生成状态之间的差距：

1. 提示词到情感规划（LLM 推理器）

系统并非通过重写提示词或生成自由形式的视觉属性，而是采用 LLM 推理器来推断缺失的情感和布局变量。给定输入描述 ( $x_i$ ) 和目标风格桶 ( $y_i$ )，推理器会预测一个结构化的情感计划 ( $P_i$ )，其组成包括：

情感摘要 ( $F_i$ )： 连续的效价 ( $v$ ) 与唤醒度 ( $\eta$ ) 得分、一个主导情绪标签 ( $e$ ) 以及疗效标签 ( $H$ )。
长宽比决策 ( $\rho$ )： 一个预测的画布方向，用于指导分辨率。

这些预测源自预定义的词汇表和归一化的连续范围，确保控制信号保持紧凑且稳定。

2. 特定风格桶的 LoRA 专家

为了处理艺术风格的多样性，该框架采用了针对可用风格桶（例如水墨、浮世绘、工笔、文艺复兴、抽象等）定制的**混合专家（Mixture-of-Experts, MoE）**方法。

对于每个风格桶，系统会在保持 Z-Image 主干网络冻结的情况下，在相应的 EmoArt 数据集子集上训练专门的 LoRA（低秩自适应） 适配器。
在推理过程中，系统会确定性地选择与目标风格桶对应的 LoRA 专家。这提供了针对色彩、纹理、笔触和构图的特定风格先验，在无需复杂路由机制的情况下确保了风格的一致性。

3. 情感条件调制

推断出的情感计划被编码为一个紧凑的情感条件向量 ( $c_{i,aff}$ ) 并注入到去噪网络中。

编码： 连续的效价-唤醒度坐标使用正弦位置编码进行嵌入，而离散的情绪和疗效标签则映射为可学习的嵌入。这些特征通过一个交互项结合在一起，以捕捉连续强度与离散情绪类型之间的关系。
调制： 情感向量通过 AdaLN 式残差调制进行注入。该过程并非添加新层，而是通过情感头预测原生 Z-Image 模块中缩放（scale）和门控（gate）参数的残差偏移量 ( $\Delta s, \Delta g$ )。这使得推断的情绪线索能够直接引导中间特征（注意力层和 MLP 层），而风格 LoRA 则负责处理艺术外观。

4. VLM 引导的候选者精炼

由于意识到单次随机生成可能无法同时满足所有约束，该框架采用了测试时精炼策略。

使用不同的随机种子生成多个候选图像。
视觉语言模型（VLM）评判器（Qwen3.5-397B-A17B）根据四个标准对每个候选者进行评估：提示词对齐度、风格一致性、情感计划一致性以及无参考视觉质量。
系统选择综合得分最高的候选者作为最终输出，该过程无需额外训练。

核心贡献

本文概述了三个主要贡献：

基于 LLM 的情感规划器： 一种从精简提示词中推断缺失的结构化情感（效价-唤醒度、情绪标签）和布局（长宽比）线索，并将其转化为可执行生成变量的机制。
解耦的风格-情感框架： 一种构建在 Z-Image 之上的新颖架构，它将风格选择（通过特定风格桶的 LoRA 专家）与情感调制（通过 AdaLN 式残差注入）分离。这使得相同的感官线索可以以截然不同的风格先验进行渲染。
VLM 引导的精炼： 一种无需训练的测试时扩展策略，根据多维度标准（内容、风格、情感、质量）对生成的候选者进行排序，以减轻生成失败的问题。

实验结果

该框架在 AffectiveArt Challenge 2026（情感感知艺术图像生成）的 Track 1 中使用 EmoArt 数据集进行了评估。

挑战赛表现： USTC_PI_LAB_TEAM 以 0.80 的总分获得第一名，超越了排名第二的团队（EmoForge，0.78）。
定量指标： 在本地验证集上，完整的 EmoStyle 框架将 FID（Fréchet Inception Distance）从 75.84（基础 Z-Image）降低至 58.64，表明视觉真实感显著提升。AAS（属性对齐得分）从 0.73 提高到 0.79，证明了与目标属性更好的对齐。
消融实验：
- 去除长宽比预测导致了最显著的 FID 退化（降至 72.59），凸显了布局规划的重要性。
- 去除特定风格 LoRA 导致风格对齐度明显下降（从 0.75 降至 0.71），证实了专用适配器的必要性。
- 去除候选者精炼会导致 FID 和 AAS 同时下降，验证了 VLM 引导选择的效用。
跨主干网络比较： 当仅使用模型无关组件（规划与精炼）应用于其他主干网络（Flux2, GPT Image 2, Nano Banana 2）时，EmoStyle 仍然提升了性能，尽管在 Z-Image 上的完整架构取得了最佳的整体效果。

重要性与主张

本文声称 EmoStyle 有效地弥合了非结构化提示词与情感艺术生成所需的细粒度控制之间的差距。通过显式建模情感状态的推断，并将风格专业化与情感调制解耦，该框架使生成器不仅能“决定描绘什么”，还能“决定如何表达目标情绪”。

作者将这项工作定位为解决测试时生成中“控制差距”的方案，证明了通过结构化推理（LLM 规划）、参数高效适配（LoRA）以及测试时扩展（VLM 精炼）相结合，可以在不重新训练基础扩散模型的情况下，实现情感感知创意设计中的最先进水平。在 AffectiveArt Challenge 2026 中的成功，为这种结构化情感调节方法提供了实证支持。