EmoCtrl: Controllable Emotional Image Content Generation

本文提出了名为 EmoCtrl 的框架，通过引入情感增强模块、基于情感奖励的偏好优化以及专用数据集，解决了现有文本生成图像模型在保持内容忠实度与表达目标情感之间难以兼顾的问题，实现了可控的情感图像内容生成。

要点

想象一下，你是一位电影导演，手里拿着一个剧本（也就是你给 AI 的“内容描述”，比如“一只狗”或“大海”）。

以前的 AI 绘图工具（比如 Stable Diffusion）就像是一个只会照本宣科的摄影师。你让它拍“大海”，它就能拍出一张非常标准、清晰的大海照片。但是，如果你希望这张大海照片看起来“令人恐惧”（像暴风雨前夕）还是“令人愉悦”（像阳光明媚的午后），它往往分不清，或者拍出来的样子总是千篇一律，缺乏那种直击人心的“情绪感”。

另一方面，以前的“情绪生成”模型就像是一个只会发脾气的演员。你让它演“悲伤”，它可能真的能拍出很悲伤的画面，但为了表达悲伤，它可能把“大海”拍成了“哭泣的巨人”，完全忘了你原本想要的是“大海”这个物体。它为了情绪，牺牲了内容。

这篇论文提出的"EmoCtrl"，就是要把这位“只会照本宣科”的摄影师和“情绪失控”的演员结合起来，培养成一位“懂戏的导演”。

1. 核心任务：既要“像”，又要“有感觉”

EmoCtrl 的目标是解决一个难题：可控的情感图像内容生成。
简单来说，就是当你输入“一只狗”（内容）和“兴奋”（情绪）时，它生成的图片里必须是一只狗（内容忠实），而且这只狗看起来必须非常兴奋（情绪准确），而不是看起来像只普通的狗，或者变成了一只兴奋的猫。

2. 它是怎么做到的？（三个“秘密武器”）

为了让 AI 学会这种“导演”技巧，作者给它装上了三个“秘密武器”：

武器一：文字情绪增强（给剧本加“潜台词”）

• 比喻：想象你给 AI 的指令是“画一只狗”。普通的 AI 只看到了字面意思。EmoCtrl 会给 AI 配一个**“情感翻译官”**。
• 作用：当你输入“兴奋”时，翻译官不会只告诉 AI“这是兴奋”，而是会在剧本里悄悄加戏：“这只狗在草地上飞奔，嘴里叼着彩色的球，阳光洒在它身上……"
• 原理：它把抽象的情绪词（如“恐惧”）转化成了具体的、能引发画面感的描述词（如“阴暗的角落”、“颤抖的影子”），让 AI 在写剧本阶段就充满了情绪色彩。

武器二：视觉情绪增强（给画面加“滤镜”和“氛围”）

• 比喻：光有剧本还不够，摄影师还得懂**“光影和色调”。EmoCtrl 给 AI 装了一个“情绪滤镜包”**。
• 作用：即使剧本写得很清楚，AI 有时候还是画不出那种“感觉”。这个模块直接告诉 AI：“画‘恐惧’的时候，颜色要冷一点，对比度要高一点；画‘快乐’的时候，颜色要暖一点，光线要柔和一点。”
• 原理：它在 AI 绘画的核心过程中，直接注入特定的“情绪信号”，让生成的图片在色彩、光影和纹理上天然带有情绪，而不是靠后期硬加。

武器三：情感偏好优化（请“挑剔的观众”来打分）

• 比喻：这就好比在电影上映前，找了一群**“情感专家观众”**来试映。
• 作用：以前 AI 只在乎“画得像不像”，现在 EmoCtrl 会问观众：“这张图让你感到‘兴奋’了吗？还是让你觉得‘无聊’？”
• 原理：如果 AI 画出来的图虽然像狗，但看起来不兴奋，专家观众就会给它打低分。AI 会根据这些反馈不断调整，直到它画出的图既能让人一眼认出是“狗”，又能让人瞬间感受到“兴奋”。

3. 为什么它很厉害？（实验结果）

作者找了很多现有的 AI 模型来“比武”：

• 普通 AI：画得准，但没感情（像行尸走肉）。
• 旧版情绪 AI：感情充沛，但画的东西面目全非（为了悲伤把狗画成了鬼）。
• EmoCtrl：既保留了“狗”的样子，又让狗看起来真的在“狂欢”或“哭泣”。

在用户调查中，绝大多数人认为 EmoCtrl 生成的图片最符合他们心中的预期：既忠实于原本的内容，又精准地传达了想要的情绪。

4. 总结与展望

EmoCtrl 就像是一个学会了“读心术”的超级画师。
它不再只是机械地执行“画什么”，而是学会了“怎么画才动人”。它不仅能画“大海”，还能画出“令人敬畏的大海”或“令人忧郁的大海”。

未来的小遗憾：
目前它只能听“文字指令”，还不能直接看“参考图”来改情绪（比如你给它一张图说“把这张图变悲伤”）。而且，它的情绪知识主要来自训练数据，如果数据本身有偏见，它可能也会受影响。但总的来说，这是让 AI 从“画图机器”进化为“情感艺术家”的一大步。

技术摘要

这是一篇关于EmoCtrl（可控情感图像内容生成）的技术论文总结。该研究旨在解决现有图像生成模型在“内容保真度”与“情感表达力”之间难以兼顾的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 核心痛点：现有的文本到图像（Text-to-Image, T2I）模型（如 Stable Diffusion）虽然能很好地遵循内容描述，但缺乏情感感知能力，生成的图像往往情感平淡；而现有的情感驱动模型（如 EmoGen）虽然能生成具有情感色彩的图像，但往往以牺牲内容的准确性为代价，导致语义扭曲。
• 任务定义：作者提出了可控情感图像内容生成（Controllable Emotional Image Content Generation, C-EICG）任务。
  • 输入：一个内容条件（可以是概念如“海洋”，也可以是描述如“地板上的狗”）和一个目标情感（基于 Mikel 的八种情感分类： amusement, awe, contentment, excitement, anger, disgust, fear, sadness）。
  • 目标：生成既忠实于给定内容，又能准确、生动地表达目标情感的图像。

2. 方法论 (Methodology)

EmoCtrl 框架由三个核心部分组成，旨在从文本和视觉两个层面增强情感表达，并通过偏好优化对齐人类偏好。

2.1 数据构建 (Data Construction)

• 数据集：为了支持 C-EICG 任务，作者构建了新的数据集 EmoSet+ 和 EmoEditSet+。
• 构建过程：基于现有的 EmoSet 和 EmoEditSet，利用多模态大语言模型（MLLMs）和 LLM 为图像生成详细的情感描述（Affective Prompts）并提取中性内容概念。
• 数据格式：最终形成四元组 {情感标签，内容概念/描述，情感提示词，图像}，共包含 158,222 个样本。这解决了现有数据集缺乏内容条件或情感描述过于抽象的问题。

2.2 模型架构：EmoCtrl

EmoCtrl 在 Stable Diffusion 基础上，引入了两个互补的情感增强模块和一个优化策略：

1. 文本情感增强 (Textual Emotion Enhancement)：

   • 机制：引入可学习的文本情感 Token（Textual Emotion Tokens），每个情感类别对应一个 Token。
   • 实现：利用 LoRA 微调的 LLM，将情感 Token 与内容描述融合。LLM 负责将抽象的情感词转化为具体的、富含情感语义的提示词（例如，将“恐惧”转化为“阴暗的色调、扭曲的阴影”等具体描述）。
   • 作用：在语义层面丰富情感表达，确保内容的一致性。

2. 视觉情感增强 (Visual Emotion Enhancement)：

   • 机制：引入可学习的视觉情感 Token（Visual Emotion Tokens），直接注入扩散模型的交叉注意力层（Cross-Attention）。
   • 实现：将共享的情感 Token 投影到扩散模型的 conditioning 空间，编码与目标情感相关的感知特征（如颜色、亮度、风格）。
   • 作用：在视觉感知层面注入情感线索，弥补纯文本提示在视觉风格控制上的不足。

3. 情感驱动的偏好优化 (Emotion-driven Preference Optimization, EDPO)：

   • 动机：仅靠监督学习可能无法完全对齐人类对情感强度和准确性的偏好。
   • 奖励设计：构建复合奖励函数，包含三部分：
     • 情感奖励 ($R_{emo}$)：基于预训练分类器，衡量生成图像属于目标情感类别的概率。
     • 极性奖励 ($R_{pol}$)：区分正负情感（如“快乐”vs“悲伤”），鼓励模型生成正确极性（Positive/Negative）的图像。
     • 通用偏好奖励 ($R_{pick}$)：使用 PickScore 评估图像的整体质量和图文一致性。
   • 优化算法：采用 GRPO (Group Relative Policy Optimization)，通过组内相对优势进行策略更新，避免奖励稀疏问题，使模型更倾向于生成人类偏好且情感准确的图像。

3. 主要贡献 (Key Contributions)

1. 任务定义与数据集：首次定义了 C-EICG 任务，并构建了包含内容、情感和详细情感提示词的大规模数据集（EmoSet+ / EmoEditSet+）。
2. 双路增强框架：提出了 EmoCtrl 框架，创新性地结合了文本情感增强（通过 LLM 细化语义）和视觉情感增强（通过 Token 注入感知线索），实现了内容与情感的双重控制。
3. 偏好优化策略：设计了专门针对情感准确度和极性的奖励机制，结合 GRPO 算法，显著提升了模型与人类情感偏好的对齐程度。
4. 性能突破：在多个指标上超越了现有的 SOTA 方法，证明了该方法在保持语义忠实度的同时，能生成极具情感表现力的图像。

4. 实验结果 (Results)

• 定量评估：
  • 情感准确率 (Emo-A)：EmoCtrl 达到 64.64%，远超 EmoGen (45.23%) 和其他基线模型。
  • 内容对齐 (CLIP-A)：达到 83.06%，与纯内容生成模型相当，证明了情感注入未破坏内容。
  • 联合准确率 (EC-A)：达到 50.99%，是第二名（DreamBooth, 24.86%）的两倍以上，表明其在情感和内容平衡上的显著优势。
• 用户研究：
  • 在 48 名参与者的盲测中，EmoCtrl 在“情感唤起”（88.75%）、“内容保真度”（86.77%）和“整体平衡”（87.76%）三个维度均获得最高投票率，显著优于 SDXL、Textual Inversion 和 EmoGen。
• 消融实验：
  • 移除文本 Token ($v_t$) 或视觉 Token ($v_v$) 均导致性能大幅下降，证明两者互补的必要性。
  • 移除 EDPO 导致情感对齐度下降，证明偏好优化的有效性。
• 可视化与应用：
  • 展示了模型能根据同一内容（如“城市”）生成不同风格（油画、水彩）和不同情感（快乐 vs 悲伤）的图像。
  • 支持多情感混合生成（如“快乐 + 敬畏”），展现了良好的鲁棒性。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 填补了图像生成领域在“内容控制”与“情感控制”之间的空白。
  • 提供了一种高效的方法（仅需少量可学习参数），无需重新训练整个扩散模型即可实现精细的情感控制。
  • 为艺术创作、人机交互、心理治疗辅助等需要情感化视觉内容的场景提供了新工具。
• 局限性：
  • 目前仅支持文本输入，无法直接处理图像输入进行情感编辑。
  • 情感知识依赖于 EmoSet 数据集，可能存在数据偏差。
  • 现有的图文评估指标难以完全量化情感生成的质量，仍需依赖大量人工评估。

总结：EmoCtrl 通过构建高质量数据集、设计双路情感增强模块以及引入情感驱动的偏好优化，成功解决了可控情感图像生成中的核心矛盾，实现了“所见即所得”（内容）与“所感即所绘”（情感）的统一。