Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach

该论文针对现有视觉情感评估方法的局限性，提出了一种开放词汇、多面向且可扩展的自定义评估框架，通过构建“情感陈述判断”任务及自动化数据生成流水线，系统评估了多模态大语言模型在情感理解与主观感知方面的能力与不足。

要点

这篇论文就像是在给现在的“超级 AI 视觉助手”（多模态大模型，MLLMs）进行一场全新的“情商考试”。

以前的考试方式太死板，导致我们不知道这些 AI 到底是不是真的“懂”情绪。作者设计了一套更灵活、更贴近人类真实感受的考试方法，并发现：虽然 AI 现在很聪明，但在“感同身受”和“理解主观感受”方面，离人类还有很大差距。

下面我用几个生动的比喻来拆解这篇论文的核心内容：

1. 以前的考试为什么“不行”？（旧方法的痛点）

想象一下，你让一个 AI 看一张照片，问它：“这张图里的人是什么情绪？”

• 旧方法像“做选择题”：你只能从“开心、悲伤、愤怒”这几个固定的选项里选。
  • 问题：如果照片里的人既有点开心又有点难过（比如毕业离别），AI 就被逼着选一个，这太不真实了。
• 旧方法像“标准答案”：如果 AI 说“这个人因为下雨感到忧郁”，但标准答案写的是“因为失恋”，在旧系统里 AI 就算错。
  • 问题：情绪是很主观的，不同的人看同一张图，感受可能完全不同。旧方法太死板，容不下“合理的不同答案”。
• 旧方法像“死记硬背”：以前的数据集需要人工一个个去标，就像让几千个人去给照片贴标签，既慢又贵，而且很难覆盖所有复杂的情况。

2. 新考试是什么？（ESJ 任务：情绪陈述判断）

作者发明了一种新玩法，叫**“情绪陈述判断” (Emotion Statement Judgment, ESJ)**。

• 比喻：不再是让 AI 自己“猜”情绪，而是给 AI 看一张图，再给它读一段关于这张图的“情绪描述”，让它当**“判官”**。
  • 题目示例：“看到这张图，人们通常会感到‘紧迫’，因为消防员正在冲进火场救人。”
  • AI 的任务：判断这句话是对还是错？
• 为什么这样好？
  • 这就像老师出题考学生，而不是让学生自己写论文。这样既避免了 AI 瞎编（幻觉），又能测试它是否真的理解图片背后的逻辑。
  • 题目可以很灵活：可以考“这张图是开心还是难过？”（情绪极性），也可以考“为什么这张图让人感动？”（情绪解读），甚至可以考“如果是 35 岁的男性消防员看这张图，他会更害怕还是更紧迫？”（主观感知）。

3. 怎么出题？（INSETS 流水线：AI 帮 AI 出题）

为了出这么多题，作者设计了一个自动化的“出题工厂”（INSETS 流水线）。

• 比喻：这就像是一个**“众包 + 专家审核”的超级工厂**。
  1. 众包采集：让好几个不同的 AI 模型去看图，它们各自说出自己感受到的情绪（比如“兴奋”、“温暖”、“社区感”）。
  2. 专家整理：把这些五花八门的词，整理到一个科学的“情绪树状图”（Parrott 模型）里，就像把零散的树叶归类到树枝上。
  3. 生成题目：利用这些情绪词，自动生成成千上万道“判断题”。
  4. 人工把关：最后请几位心理学专业的研究生快速检查一下，把那些明显离谱的题目剔除。
• 成果：他们造出了一个包含 46 万道题的大题库（INSETS-462k），并从中精选了 3000 多道高质量题目作为正式考试（MVEI 基准）。

4. 考试结果怎么样？（AI 的表现）

作者拿现在的顶尖 AI（比如 GPT-4o, Qwen2.5-VL 等）去考了这场试：

• 好消息：AI 在**“读懂画面”方面进步很大。比如看到消防员救火，它能准确判断出“紧急”、“勇敢”；看到聚会，能判断出“快乐”。这说明它们很擅长理解客观的情绪线索**。
• 坏消息：AI 在**“理解主观感受”**方面还很弱。
  • 极性判断：有时候 AI 分不清“混合情绪”（既开心又难过），容易搞混。
  • 主观感知：这是最大的短板。题目问：“一个 35 岁的男性消防员看这张图，会比普通人更感到‘恐惧’还是‘紧迫感’？”人类能轻易理解这种身份带来的心理差异，但 AI 往往答不上来，或者答得很机械。
• 对比人类：人类考生的平均分是 91.6%，而最好的 AI 只有 70% 多。这说明 AI 离真正的“情商”还有距离。

5. 怎么让 AI 变聪明？（微调与适应）

作者还尝试了给 AI“开小灶”（微调训练）：

• 比喻：就像给 AI 做“考前突击”。
• 结果：通过少量的题目训练（Few-shot）或者微调，AI 在“判断情绪是开心还是难过”这种基础题上进步巨大。但在“理解主观感受”这种需要深层心理共鸣的题上，提升有限。这说明**“主观共情”可能是 AI 目前架构上的硬伤**，光靠刷题可能不够，需要更根本的改进。

总结：这篇论文告诉我们什么？

1. 以前的方法太死板，测不出 AI 真正的“情商”。
2. 新方法（ESJ）更灵活，像让 AI 当“判官”而不是“考生”，能测出它是否真的懂情绪背后的逻辑。
3. AI 现在很“博学”（知道很多情绪词汇和场景），但不够“共情”（很难理解不同人的主观感受）。
4. 未来方向：要训练出真正有“情商”的 AI，不能只靠刷数据，可能需要让 AI 学会像人一样去“换位思考”，理解身份、文化背景对情绪的影响。

简单来说，这就好比 AI 现在是个**“读过很多心理学书的学生”，它能背出定义，但还没学会真正“感同身受”**。这篇论文就是为了解决这个问题，给 AI 设计了一套更科学的“情商体检表”。

技术摘要

1. 研究背景与问题 (Problem)

尽管多模态大语言模型（MLLMs）在图像理解任务上取得了显著进展，但其在**视觉情感感知（Visual Emotion Perception）**方面的能力仍存在争议。现有的评估方法在应用于 MLLMs 时存在四大主要局限性：

1. 固定答案的结构性约束：传统方法通常要求模型从预定义的有限类别中选择情感标签，或回答开放式问题但使用固定的“标准答案”进行评判。这忽略了情感感知的主观性（同一图像可能引发不同个体的不同反应），导致模型生成的合理但非标准答案被错误判定为错误。
2. 情感分类体系有限：现有基准（如 FI, Artemis）多基于有限的情感分类体系（通常仅 8 类），缺乏细粒度的情感词汇，无法捕捉图像间细微的情感差异。
3. 忽视上下文因素：现有评估主要关注图像内在属性，忽略了场景上下文（Scene Context）和观察者身份（Perception Subjectivity）对情感感知的重要影响。
4. 标注成本高且难以扩展：传统方法依赖大规模众包人工标注（如 EMOTIC 需数万名标注者），劳动密集型特征严重限制了数据集的规模和泛化能力。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一套包含任务定义、自动化构建流程和基准数据集的完整解决方案。

2.1 核心任务：情感陈述判断 (Emotion Statement Judgment, ESJ)

作者将评估任务重新定义为情感陈述判断。

• 输入：一张图像 + 一条关于该图像的情感陈述（Statement）。
• 任务：MLLM 判断该陈述是否准确（Correct/Incorrect）。
• 优势：避免了开放式回答的歧义，同时允许通过生成多样化的陈述来覆盖开放词汇、多维度（内在属性 + 外在上下文）和主观性。

2.2 自动化构建流程：INSETS 管道

为了高效生成 ESJ 任务所需的数据，作者设计了 INSETS (INtelligent ViSual Emotion Tagger and Statement Constructor) 自动化管道：

1. 开放词汇情感提取：利用多个 MLLMs 从图像中提取开放词汇的情感描述。
2. 情感池构建与映射：
   • 过滤无效词汇。
   • 将提取的开放词汇映射到 Parrott 层次情感模型（包含 6 个一级、25 个二级、113 个三级情感类别）中，构建扩展的 POM (Parrott-based Open-vocabulary Hierarchical Model)。
   • 通过多模型投票机制（Ensemble-based Majority Voting）确定图像的共识情感标签。
3. 陈述构建：基于情感标签和 POM 模型，自动生成四种维度的陈述：
   • 情感极性 (Sentiment Polarity)：判断图像是积极、消极还是混合情感。
   • 情感解释 (Emotion Interpretation)：验证情感产生的原因是否合理。
   • 场景上下文 (Scene Context)：结合特定背景故事判断情感反应。
   • 感知主观性 (Perception Subjectivity)：假设特定身份（如"35 岁男性消防员”）的观察者，判断其情感倾向。
4. 正负样本构造：通过替换图像、交换解释、翻转情感极性、交换上下文等策略，自动生成大量“错误”陈述，形成正负样本对。

2.3 数据集构建

• INSETS-462k：利用上述流程自动构建的大规模语料库，包含 17,716 张图像和 462,369 条陈述。
• MVEI 基准 (Multifaceted evaluation of Visual Emotion Intelligence)：从 INSETS-462k 中精选 3,086 个样本，经过 5 名心理学背景研究生的严格人工审核（Kappa 系数在 0.51-0.81 之间），最终形成高质量基准。

3. 主要贡献 (Key Contributions)

1. 提出 ESJ 任务：针对 MLLMs 定制了情感陈述判断任务，解决了传统评估方法中固定答案限制和情感主观性被忽视的问题。
2. 开发 INSETS 管道：提出了一种可扩展的自动化流程，能够以极小的人力成本构建开放词汇、多维度且基于心理学理论的情感数据集。
3. 构建 MVEI 基准：发布了包含 3,086 个样本的 MVEI 基准，涵盖情感极性、解释、场景上下文和感知主观性四个维度，并进行了系统的 MLLM 评估。

4. 实验结果 (Results)

作者在 MVEI 基准上评估了包括 GPT-4o、InternVL2.5、Qwen2.5-VL 等在内的 18 种主流 MLLMs。

• 模型表现：
  • 最新的 MLLMs 在情感解释和场景上下文理解上表现较好，但在情感极性判断和感知主观性上仍存在明显短板。
  • 没有任何单一模型在所有维度上都达到最优。
• 与人类对比：
  • 人类在 300 个样本子集上的平均准确率为 91.6%。
  • 表现最好的 MLLM（GPT-4o）准确率仅为 72.5%，存在显著差距（约 19 个百分点）。
  • 差距最大的是感知主观性维度，表明模型难以捕捉个体差异对情感感知的影响。
• 适应性分析：
  • 通过 LoRA 微调、全参数微调或 In-Context Learning，模型在“情感极性”维度上有显著提升（例如 Qwen2.5-VL 微调后从 63.2% 提升至 84.3%），说明该能力可通过训练习得。
  • 但在“感知主观性”维度上，微调带来的提升有限，暗示这可能涉及模型更本质的架构或预训练目标缺陷。

5. 意义与影响 (Significance)

1. 评估范式的转变：从传统的“分类/解释”转向“陈述判断”，更符合人类情感感知的开放性和主观性特征，为 MLLM 的情感智能评估提供了更可靠的离线标准。
2. 可扩展的数据构建：INSETS 管道证明了利用 MLLM 自身能力构建大规模、细粒度情感数据集的可行性，大幅降低了数据标注成本。
3. 揭示研究空白：研究明确指出，当前 MLLMs 在理解情感的主观性（即不同人看同一张图会有不同感受）方面存在根本性缺陷，这为未来的模型优化（如引入个性化预训练目标）指明了方向。
4. 推动 AICA 发展：该工作将心理学理论（如 Parrott 模型、情感维度理论）深度融入大模型评估，促进了计算情感分析（AICA）与多模态大模型的交叉融合。

总结

该论文通过提出 ESJ 任务 和 INSETS 自动化管道，构建了 MVEI 基准，系统性地评估了 MLLMs 在视觉情感理解上的能力。研究发现，虽然 MLLMs 在基础情感识别上已有进步，但在处理情感的主观性和细微差别上仍远落后于人类。这项工作为提升 MLLMs 的情感智能（Emotional Intelligence）奠定了重要的评估基础和数据支持。