💻 computer science

A Reliable Multimodal Conversational Emotion Recognition Model Based on a Dual-Stage Attention Mechanism

本文提出了 DSA-MERC，一种可靠的多模态对话情感识别模型，该模型利用结合了双向多注意力机制（Bi-Directional Multi-Attention）与具有多尺度优化的音频引导领航者-跟随者网络（audio-guided leader-follower network）的双阶段注意力机制，并辅以置信度与迁移学习策略，以有效地整合多模态特征并减轻标签噪声，从而提高准确性与鲁棒性。

原作者： Xinheng Wang, Lun Xie, Xurong Xie, Xiaolan Peng, Zhiliang Wang

发布于 2026-09-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinheng Wang, Lun Xie, Xurong Xie, Xiaolan Peng, Zhiliang Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类是解读弦外之音的大师。当我们说话时，我们传递的不只是事实；我们的情感也承载在声音的音调、面部的紧张感以及言语的节奏之中。然而，计算机往往难以捕捉这些细微差别。它可能会听到“我很好”这几个字，并将其记录为一个中性的陈述，却忽略了那颤抖的声音或紧绷的微笑，而这些细节正揭示了说话者其实很沮丧。这种言不由衷的差距，是研究人员试图教会机器理解人类情感所面临的核心挑战。这一领域被称为“对话中的情感识别”，旨在构建能够通过聆听一段对话来准确推测一个人感受的系统。为了做好这一点，计算机不能仅仅依赖文本；它必须学会将口语、语调和视觉表情综合起来，形成对那一时刻连贯且统一的理解。

多年来，研究人员一直试图构建这些系统，但他们经常碰壁。许多现有方法只是简单地将不同类型的数据堆叠在一起，就像把积木堆叠起来一样，而没有真正理解它们是如何相互作用的。另一些方法则会被对话的超长篇幅所压垮，从而丢失了埋藏在长篇演讲中最重要的情感线索。此外，用于训练这些计算机的数据往往并不完美。人类在判断某人的情绪时表现得极不一致；一个人可能将一个皱眉标注为“悲伤”，而另一个人却称之为“愤怒”。这种混乱产生了“噪声”数据，使学习算法感到困惑，导致结果不可靠。来自北京科技大学和中国科学院的研究团队提出了一种新方法来解决这些特定问题。他们开发了一种模型，该模型不仅观察数据，而且能主动学习如何忽略标签中的错误，并高度专注于最可靠的情感信号。

他们新系统的核心是一个旨在模拟人类关注对话方式的两阶段过程。在第一阶段，模型将三种主要信息汇聚在一起：文本、音频和视频。它并没有简单地混合这些信息，而是使用了一种机制，允许每种类型向其他类型“寻求帮助”。想象一位正在听取证人陈述的侦探；侦探可能会通过核对言语与语调是否匹配来验证证词。同样，该模型通过将文本与声音及视觉线索进行交叉引用，来构建对说话者状态的初步理解。然而，研究人员注意到，在人类对话中，声音往往承载着最直接且最有力的情感信号。一声呐喊或一声低语都可能覆盖掉所说文字的本意。为了应对这一点，他们的模型引入了第二个更专业的阶段，让音频占据主导地位。

在第二个阶段中，系统将音频视为“领导者”，而将其他信息视为“跟随者”。该模型使用一种复杂的方法来扫描声音中的情感高峰与低谷，寻找语调发生转变或节奏发生断裂的具体时刻。它通过在不同尺度上检查音频来实现这一点，就像使用广角镜头看全景，同时使用缩放镜头捕捉细节一样。这使得系统既能捕捉对话中宏观的情感弧线，也能捕捉到暗示情感转变的微小且转瞬即逝的声音变化。通过让音频引导整个过程，该模型确保了最强烈的感情线索不会淹没在文本或视觉数据的噪声之中。

训练这些系统的一个主要障碍是数据本身的不确定性。研究人员发现，如果只是将带有所有标注错误的原数据喂给计算机，会导致混乱。为了解决这个问题，他们加入了一种类似于质量控制检查员的策略。在模型完全训练之前，该策略会分析数据以识别哪些标签可能是错误的。它通过观察模型自身预测的模式来寻找不一致之处——例如，如果模型始终非常确信某个片段是“快乐”的，但标签却说是“悲伤”，系统就会将该标签标记为可疑。随后，它会过滤掉这些不可靠的样本，并在更干净、更可靠的数据上重新训练模型。这个过程显著减少了由原始数据集中人类误差引起的困惑，使模型能够从一个更接近现实的准确版本中学习。

当研究人员在两个主要的对话数据集上测试这种新方法时，结果非常明确。在一个包含超过7,000行语音的数据集中，他们的模型达到了71.38%的性能得分，高于此前在该数据集上测试过的任何其他方法。在第二个更大的、包含超过13,000行语音的数据集上，它达到了65.99%，再次超越了竞争对手。这些数字之所以重要，是因为它们表明该模型不仅仅是在瞎猜；它确实更擅长理解构成人类情感的复杂线索组合。实验还表明，该模型的成功在很大程度上取决于是否同时使用这三种类型的信息。当他们移除音频或视频时，性能显著下降，这证明了该系统需要完整的图景才能正常工作。

研究人员还仔细观察了模型是如何关注数据的。通过对内部运作机制进行可视化处理，他们发现系统始终聚焦于说话者声音发生剧烈变化的时刻。它不会被无关的背景噪音或细微细节所干扰，而是精准锁定在情感转换点上。这种过滤噪声并聚焦信号的能力，正是该系统可靠性的来源。这项研究表明，通过将智能融合不同类型数据的方法与清理训练信息的方法相结合，我们可以构建出更加契合人类处境的机器。虽然这项工作并非解决人类情感所有复杂性的终极方案，但它提供了一个稳健且有效的进步，表明当计算机不仅学习语言，也学会倾听声音时，它们能更好地理解我们。

技术摘要：一种基于双阶段注意力机制的可靠多模态对话情感识别模型

1. 问题陈述

对话情感识别（ERC）对于增强人机交互至关重要，然而现有方法面临三个主要挑战：

多模态融合效率低下： 当前的方法通常依赖简单的特征拼接，未能建模文本、音频和视觉模态之间复杂的关联。先进的基于注意力的方法在处理长序列时容易受到干扰，并且往往忽略了诸如语调和语速等关键非文本线索。
计算复杂度高： 使用标准的自注意力机制处理长对话序列会导致指数级的计算复杂度（ $O(N^2d)$ ），从而导致高昂的训练/推理成本，并使注意力权重分散，从而错过关键的局部情感线索。
标签噪声与不确定性： 情感标注具有高度主观性，导致数据集存在噪声标签。小规模数据集结合标注的不确定性阻碍了模型的泛化能力和鲁棒性。

2. 方法论：DSA-MERC

作者提出了 DSA-MERC（双阶段注意力多模态情感识别），这是一个旨在通过双阶段融合策略和噪声缓解技术来提高准确性和鲁棒性的框架。

2.1 单模态特征提取

该模型从三种模态中提取特征：

文本： 微调后的 RoBERTa 模型用于捕捉局部话语和全局上下文。
音频： 通过 OpenSMILE 提取声学向量，并通过 DialogueRNN 进行上下文建模。
视觉： 利用 MTCNN 检测人脸，并使用 ResNet-101 提取特征，同样通过 DialogueRNN 进行建模。

2.2 双阶段注意力机制

其核心创新是一个两阶段的融合过程：

第一阶段：初始多模态交互（Bi-MultiAttn）

利用 双向多注意力（Bi-MultiAttn） 机制进行初始跨模态融合。
文本、音频和视觉特征通过双向交叉注意力进行交互，以便在深度融合之前捕捉互补信息。

第二阶段：音频引导的领航者-跟随者注意力网络（Audio-LFAN）

认识到音频在情感表达中的主导地位，此阶段将音频视为“领航者（Leader）”，将其他模态视为“跟随者（Follower）”。
领航者网络： 采用 单位力操作的多尺度注意力（MSA-UFO） 机制。
- UFO 注意力： 使用 XNorm 模块（单位力操作）取代传统的 Softmax 函数。它将输入序列在空间和通道维度上归一化为单位向量，将计算复杂度从 $O(N^2d)$ 降低到 $O(Nd)$ ，并减轻了数值不稳定性。
- 多尺度学习： 将 UFO 注意力（全局依赖）与深度可分离卷积（局部上下文）以及逐点前馈网络（特定 Token 特征）相结合，以捕捉多粒度的情感线索。
跟随者网络： 将第一阶段优化后的音频特征与文本及视觉特征进行深度多模态融合。

2.3 标签噪声缓解

为了应对标签不确定性，模型集成了 置信学习（Confident Learning, CL） 和 迁移学习：

置信学习： 估计噪声标签与真实标签之间的联合分布，以识别并过滤错误标注的样本，且不依赖于特定的数据模态。
迁移学习： 模型首先在原始数据集上进行预训练，随后通过 CL 对数据进行清洗，最后在清洗后的数据集上进行重训练，以增强泛化能力。

2.4 损失函数优化

模型采用复合损失函数来协同提升性能：

Soft-HGR Loss： 最大化不同模态之间的互信息，以增强特征相关性。
SWFC Loss： 通过最大化类间距离并最小化类内距离，改善对语义相似或稀有情感类别的分类。
交叉熵损失（Cross-Entropy Loss）： 作为主要的分类损失。

3. 核心贡献

双阶段融合架构： 提出了一种可靠的模型，通过将初始交互与深度音频引导融合分离，解决了当前多模态集成中的局限性。
MSA-UFO 注意力机制： 引入了一种新型注意力机制，通过使用 XNorm 取代 Softmax，显著降低了处理长序列时的计算复杂度，同时提升了对全局和局部情感特征的捕捉能力。
对标签噪声的鲁棒性： 系统地验证了结合置信学习与迁移学习来过滤噪声标签的有效性，证明了在标注存在不确定性的数据集中的稳定性提升。
以音频为中心的设计： 建立了“音频引导的领航者-跟随者”架构，明确优先考虑音频模态，而音频模态在现有的 ERC 模型中往往未被充分利用。

4. 实验结果

该模型在两个基准数据集上进行了评估：IEMOCAP 和 MELD。

在 IEMOCAP 上的表现： DSA-MERC 达到了 71.38% 的加权 F1 分数，超过了之前的最先进模型（G2AMIF）1.38%，并比最弱的基准模型（CMN）高出 23.20%。
在 MELD 上的表现： 该模型达到了 65.99% 的加权 F1 分数，超越了近期的基准模型如 HyFusER (65.76%) 和 MM-DFN (65.48%)。
消融实验：
- 多模态融合： 三模态融合（文本+音频+视觉）的表现明显优于单模态和双模态方法。
- 置信学习： 去除 CL 会导致性能下降（例如，IEMOCAP 从 71.38% 下降到 69.81%），证实了其在处理噪声标签方面的功效。
- 注意力机制： 使用其他注意力机制（SA, ESA, AFT, MUSA）替换所提出的 MSA-UFO 会导致性能降低，验证了所提双阶段设计的优越性。
- 噪声过滤： “按噪声率剪枝（Pruning by Noise Rate）”被确定为置信学习框架中最有效的过滤策略。

5. 意义与主张

论文声称，DSA-MERC 通过同时解决长序列处理的计算效率问题和标签噪声引起的可靠性问题，实现了 ERC 领域的重大进展。通过转向音频引导的融合策略并采用数学上高效的注意力机制（UFO），该模型实现了卓越的鲁棒性和准确性。作者强调，尽管在少数类情感上的改进非常显著，但由于数据集存在极端的类别不平衡（例如 MELD 中“中性”标签的普遍存在），整体加权 F1 的增益受到了限制。尽管如此，该模型在处理复杂对话场景中的细微情感动态方面展现出了强大的能力。