🤖 AI

Omni-Perception Policy Optimization for Multimodal Emotion Reasoning

该论文介绍了 OPPO，这是一个通过专门的奖励系统和旨在减少跨模态幻觉的损失函数来优化可靠全模态感知，从而增强多模态情感推理的强化学习框架，并通过新的 MEP-Bench 诊断基准进行了验证。

原作者： Zhiyuan Han, Beier Zhu, Wenwen Tong, Pengyang Shao, Peipei Song, Xinyi Wang, Jiangnan Chen, Lewei Lu, Xun Yang

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiyuan Han, Beier Zhu, Wenwen Tong, Pengyang Shao, Peipei Song, Xinyi Wang, Jiangnan Chen, Lewei Lu, Xun Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：“诚实的侦探” vs. “白日梦侦探”

想象一下，你正在雇佣一名侦探来破解一个关于人类情感的谜题。这名侦探可以接触到三种类型的线索：所见（视觉）、所听（音频）以及所言（文本）。

论文指出，目前的“AI 侦探”（被称为 Omni-MLLMs）其实并不擅长这份工作。它们面临两个主要问题：

“偷懒的侦探”（利用率不足）： 侦探忽略了大部分线索。如果一个人在视频中正在哭泣，但表情看起来很平静，偷懒的侦探可能会直接说：“因为他们在哭，所以很伤心”，从而完全忽略了他们的脸部表情其实很淡定这一事实。他们只关注最响亮的线索，而忽略了其他部分。
“做白日梦的侦探”（不忠实性/幻觉）： 侦探在凭空捏造。如果音频听起来很愤怒，侦探可能会看着一段人脸表情平淡的视频，并自信地说道：“我看到他皱起了眉头！”即便视频内容其实是空白的，或者那个人正在微笑。他们是在根据听到的声音“幻觉”出视觉证据，而不是基于实际看到的画面。

解决方案：OPPO（训练营）

作者创建了一种名为 OPPO（全感知策略优化）的新型训练方法，旨在将这些爱做白日梦、偷懒的侦探转变为诚实且细致的侦探。他们通过一种“强化学习”框架来实现这一点，这就像是一个严厉的教练在练习过程中给予奖励和惩罚。

OPPO 使用了两种主要工具来修复 AI：

1. “证据清单”（全感知奖励）

类比： 想象一位老师正在给学生的作文评分。老师不仅仅是给出一个最终成绩，还有一个必须提到的特定事实清单。

运作方式： AI 会收到一段视频和音频片段。“地面真值”（正确答案）包含了一系列具体的线索，例如“紧锁的眉头”、“颤抖的声音”或“泪水”。
奖励机制： 如果 AI 在其推理过程中提到了每一个线索，它就会获得加分。如果它忽略了“颤抖的声音”而只谈论“泪水”，它的得分就会较低。这迫使 AI 停止偷懒，真正去观察所有的证据。

2. “蒙眼测试”（全感知损失）

类比： 想象你在测试一名侦探是否真的能看见。你给他们戴上眼罩（遮住视频），然后问：“你看到了对方脸上的什么表情？”

问题所在： 如果侦探在蒙着眼睛时仍然说：“我看到了皱眉！”那么他就是在撒谎。他在根据听到的声音进行猜测，而不是基于所见。
修复方法： OPPO 创建了一种特殊的惩罚机制。它让 AI 在隐藏视频（或音频）的情况下，去描述那个特定的部分。
- 如果 AI 在视频被隐藏后改变了答案（例如，因为它看不见脸了，所以不再说“皱眉”），它会获得奖励。
- 如果 AI 在视频消失后仍然坚持说“皱眉”，它会受到严厉的惩罚。
目标： 这教会了 AI 变得忠实。它学会了如果无法看到证据，就不应该声称该证据存在。它不再根据音频线索去“幻觉”出视觉细节。

结果：更优秀的侦探

作者构建了一个名为 MEP-Bench 的特殊测试，来衡量这两项技能：“利用率”（你是否使用了所有线索？）和“忠实度”（你是否在编造事实？）。

使用 OPPO 之前： AI 就像一个只读了教科书第一页就靠猜来应考的学生。它会错过大约一半的线索，并且有 35–50% 的概率在编造事实。
使用 OPPO 之后： AI 成为了顶尖的学生。
- 它开始捕捉到 70% 的线索（从 50% 上升而来）。
- 当视频被隐藏时，它不再编造视觉事实，显著提高了其诚实度得分。
- 它在识别情绪的实际工作中也表现得更好，打破了标准测试的所有纪录。

总结

论文声称，要让 AI 真正理解来自视频和声音的人类情感，必须训练它观察一切（而不仅仅是响亮的部分），并且只说它确实能感知到的内容（而不是它想象的内容）。OPPO 正是这种强迫 AI 做到这两点的训练方法，从而产生了一个既聪明又诚实的模型。

技术摘要：面向多模态情感推理的全感知策略优化

1. 问题陈述

旨在进行情感识别的现有全模态大语言模型（Omni-MLLMs），如 GPT-4o 和 Qwen-Omni，已推动了从简单标签预测向多模态情感推理（Multimodal Emotion Reasoning, MER）的范式转变。MER 要求模型生成基于视觉、听觉和文本线索的显式推理链。然而，本文指出一个关键差距：现有的面向情感的 Omni-MLLM 缺乏可靠的全模态感知能力。

作者认为，可靠的感知取决于两个当前模型违反的原则：

利用率（Utilization）： 模型往往利用不足，依赖于“思维惯性”，即忽略细粒度的视觉或听觉证据，而倾向于依赖单一的主导模态（例如，仅根据声音音量预测愤怒，却忽略了中性的面部表情）。
忠实度（Faithfulness）： 模型表现出不忠实的行为，经常幻觉出特定模态的陈述。例如，模型可能会仅基于愤怒的音频语调就声称视频显示了“皱眉”，即使视频输入被遮掩或面部表情是中性的。这源于伪跨模态相关性，而非对特定模态的因果归因。

为了量化这些问题，作者引入了 MEP-Bench（多模态情感感知基准测试），用于衡量利用率（通过线索召回率）和忠实度（通过单模态遮蔽探测）。在 MEP-Bench 上的实验表明，基准模型仅能捕捉约 50% 的人类标注线索，且在忠实度探测中的准确率低至 26–35%。

2. 方法论：OPPO

作者提出了 OPPO（全感知策略优化），这是一个旨在显式优化多模态感知的强化学习（RL）框架。该流程遵循在 MER-Caption+ 数据集上的标准监督微调（SFT）阶段，随后是一个由两个创新组件增强的 GRPO 式强化学习阶段：

A. 全感知奖励 ( $R_{omni}$ )

为了解决利用率问题，该奖励鼓励模型在其推理轨迹中恢复地面真值（ground-truth）证据。

机制： 将地面真值推理段落分解为原子证据线索（ $C_V$ 代表视觉， $C_A$ 代表听觉， $C_E$ 代表情感）。将模型生成的推理内容切分为若干子句。
计算： 通过**证据路由矩阵（Evidence-Routing Matrix）**计算地面真值线索与生成子句之间的语义相似度（余弦相似度）。如果某个线索与任何子句的相似度超过阈值 $\delta$ ，则记录一次“命中（hit）”。
目标： 奖励聚合了视觉、音频和情感集合中覆盖线索的分数，从而鼓励模型显式地引用多样化的多模态证据。

B. 全感知损失 ( $J_{omni}$ )

为了解决忠实度问题，该损失通过对比模型在全输入与单模态遮蔽输入下的行为，来惩罚跨模态幻觉。

机制： 通过遮蔽视觉或听觉流中的一部分（ $\rho$ ）来创建反事实输入。
针对性监督： 不同于以往应用全局 KL 惩罚于所有 token 的工作（如 PAPO），OPPO 使用证据路由矩阵来识别特定模态的证据 token（描述视觉或听觉事实的 token）。
目标： KL 散度惩罚仅应用于这些特定的 token。其目标是最大化全输入下与遮蔽输入下 token 分布之间的差异。如果模型从音频中幻觉出视觉证据，那么遮蔽视频将不会改变该“视觉主张”token 的分布，从而导致较低的 KL 惩罚。相反，一个忠实的模型在移除来源模态时会撤回或改变该主张，从而产生较高的 KL 惩罚。

总目标结合了任务奖励（准确率）、格式奖励、全感知奖励和全感知损失。

3. 核心贡献

诊断基准 (MEP-Bench)： 构建了一个量化情感推理中“利用率”和“忠实度”的基准，揭示了最先进的模型在情感推理中存在显著的线索利用不足和跨模态幻觉问题。
OPPO 框架： 提出了一个通过以下方式显式优化感知的 RL 框架：
- 通过细粒度的全感知奖励实现详尽的线索覆盖。
- 通过针对性的全感知损失，仅对模态特定证据 token 应用 KL 惩罚，以抑制幻觉。
理论见解： 本文提供了信息论分析，表明全感知损失作为一种正则项，扩展了“信息通道”（token 与模态之间的互信息），从而提高了全感知奖励发挥作用的上限。

4. 实验结果

作者在 MER-UniBench（涵盖情感分析、基础情感识别和细粒度识别）和 MME-Emotion 上评估了 OPPO。

达到 SOTA 性能： OPPO 在 MER-UniBench 上实现了 81.05% 的平均得分，超过复现的 AffectGPT-R1 基准 5.45%，并优于其他强力基准（如 Qwen-Audio, Emotion-LLaMA）。它也在 MME-Emotion 上取得了最佳性能，特别是在推理和思维链（CoT）指标方面。
感知诊断： 在 MEP-Bench 上，OPPO 显著提升了两项指标：
- 利用率： 线索召回率从基准模型的 58.00% 提升至 70.44%。
- 忠实度： 遮蔽探测下的准确率在视频方面从 59.20% 提升至 76.40%，在音频方面从 33.00% 提升至 50.60%。
消融实验：
- 单独添加全感知奖励可以提高性能，但加入全感知损失后在忠实度和整体任务性能上的提升最为显著。
- 通用的感知损失（如 PAPO）由于应用全局惩罚，无法提高性能甚至会降低忠实度，这凸显了 OPPO 这种基于 token 级别、模态特定目标的必要性。
- 超参数分析确认，需要足够的权重 ( $\beta \ge 8e^{-3}$ ) 来稳定优化过程并释放奖励的潜力。

5. 意义与主张

本文主张，充分且忠实的感知是解锁多模态情感任务中鲁棒推理的关键。作者认为，以往依赖粗粒度奖励或全局惩罚的方法之所以失败，是因为它们未能强制建立特定感官输入与模型推理陈述之间的因果联系。

通过强制要求关于某一模态的推理陈述必须依赖于该模态的输入（忠实度），并且要求模型必须主动检索多样化的线索（利用率），OPPO 证明了可靠的感知不仅仅是更好的语言建模的副产品，而是一种必须被显式优化的独立能力。研究结果表明，情感计算和人机交互的未来进展取决于确保模型不是在幻觉证据，而是将其情感解释锚定在可验证的多模态信号之上。