💬 NLP

Relational graph-driven differential denoising and diffusion attention fusion for multimodal conversation emotion recognition

该论文提出了一种面向多模态对话情感识别的模型，通过差分 Transformer 实现模态去噪、构建关系子图捕捉情感依赖，并利用文本引导的扩散注意力机制实现鲁棒的跨模态融合，以解决噪声干扰和模态不平衡导致的性能下降问题。

原作者： Ying Liu, Yuntao Shou, Wei Ai, Tao Meng, Keqin Li

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Ying Liu, Yuntao Shou, Wei Ai, Tao Meng, Keqin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让电脑更聪明地“读懂”人类对话情绪的新方法。我们可以把它想象成教一个**“超级侦探”**如何在嘈杂的聚会中，准确听出每个人是开心、生气还是难过。

在现实生活中，当我们看视频或听录音时，画面可能会抖动、光线会变暗，声音里也会有背景噪音（比如车流声、风声）。这些“噪音”就像侦探耳朵里的杂音，容易让他听错或看错。而且，文字（说的话）通常比声音和画面更能直接表达情绪，但以前的电脑模型往往把这三者“一视同仁”，导致重要的文字信息被噪音淹没。

为了解决这些问题，作者设计了一个名为**“关系图驱动的差分去噪与扩散注意力融合”**的模型。这个名字听起来很复杂，但我们可以把它拆解成三个简单的步骤，用生活中的比喻来理解：

1. 第一步：给耳朵和眼睛装上“降噪耳机”和“动态滤镜”

（差分去噪 Differential Denoising）

问题： 就像你在嘈杂的咖啡馆里听朋友说话，如果朋友突然提高音量（情绪激动），背景噪音也会变大。以前的模型会把“朋友突然提高音量”和“背景突然变吵”混为一谈，导致误判。
新方法： 作者设计了一个**“差分 Transformer"**。
- 比喻： 想象你在看一部电影。如果画面一直静止不动（比如背景里的墙），那它通常不重要。但如果画面突然有了剧烈的动作（比如主角摔杯子），那才是关键。
- 原理： 这个模块不直接看“现在的画面”，而是拿“现在的画面”和“上一秒的画面”做减法。
  - 如果背景噪音一直存在（比如持续的空调声），做减法后它就消失了（因为前后一样）。
  - 如果情绪发生了突变（比如突然大笑），做减法后这个“变化”就被保留了下来。
- 结果： 就像给音频和视频戴上了一副智能降噪耳机，只保留那些真正代表情绪变化的动态信息，把静止的、无用的噪音过滤掉。

2. 第二步：理清“谁和谁在对话”的关系网

（关系子图 Relation Subgraphs）

问题： 在多人对话中，A 对 B 说话，B 又对 C 说话。有时候 A 的情绪是受 B 影响的，有时候 A 自己心情不好（自言自语）。以前的模型容易把这些关系搞混。
新方法： 作者构建了两张**“关系地图”**（子图）。
- 比喻： 想象你在画一张社交关系网。
  - 地图 A（跨说话人）： 专门记录“张三对李四说了什么”。这用来捕捉互动，比如李四被张三逗笑了。
  - 地图 B（同说话人）： 专门记录“张三自己上一句说了什么，这一句又说了什么”。这用来捕捉惯性，比如张三本来就很生气，连续说了几句狠话。
- 原理： 模型把这两种关系分开处理，就像把“朋友间的互动”和“个人的内心戏”分开分析，这样能更精准地理解情绪的来龙去脉。

3. 第三步：让“文字”当队长，指挥“声音”和“画面”

（文本主导的扩散注意力融合 Text-Guided Diffusion Fusion）

问题： 在情绪表达中，文字（说的话）通常是最准确的（比如“我很生气”），而声音和画面容易受环境影响（比如“我很生气”这句话可能因为录音不好听成“我很高兴”）。以前的模型往往让声音、画面和文字“平起平坐”，导致噪音大的模态干扰了判断。
新方法： 作者设计了一个**“以文字为向导的扩散机制”**。
- 比喻： 想象一个乐队，文字是指挥家，声音和画面是乐手。
  - 以前的做法：指挥家、小提琴手、鼓手一起乱指挥，声音和画面如果跑调了（有噪音），整个曲子就乱了。
  - 现在的做法：指挥家（文字）拿着乐谱（语义）站得最稳。声音和画面（乐手）会主动去“听”指挥家的节奏，把自己的信息“扩散”到指挥家的节奏里。
- 原理： 模型让文字作为核心锚点。声音和画面的信息不是简单地加在一起，而是被文字“引导”着，只提取那些和文字语义相符的部分。如果画面里有人在做鬼脸（噪音），但文字说“我很开心”，模型会相信文字，并自动过滤掉那个鬼脸的干扰。

总结：这个模型厉害在哪里？

这就好比训练一个超级侦探：

去噪： 他学会了忽略背景里的杂音，只盯着那些突然发生的情绪变化（差分去噪）。
理关系： 他手里有两张地图，一张看谁在影响谁，一张看谁自己在纠结（关系子图）。
抓重点： 他坚信**“说的话”最靠谱**，让声音和画面都围着文字转，只吸收那些能解释文字的信息（文本主导扩散）。

实验结果：
作者在两个著名的对话数据集（IEMOCAP 和 MELD）上测试了这个方法。结果发现，这个“超级侦探”比以前的所有方法都更准、更稳。特别是在环境嘈杂或者画面模糊的情况下，它依然能准确识别出人们是开心、悲伤还是愤怒。

简单来说，这篇论文就是教电脑**“去伪存真、分清主次、理清关系”**，从而真正听懂人类对话中的情绪。

这是一篇关于**多模态对话情感识别（MCER）的学术论文技术总结。该论文提出了一种名为“关系图驱动的差分去噪与扩散注意力融合”（Relational Graph-Driven Differential Denoising and Diffusion Attention Fusion, ReDiFu）**的新框架，旨在解决现实场景下音视频模态噪声干扰严重以及多模态融合中模态不平衡的问题。

以下是详细的技术总结：

1. 研究背景与核心问题 (Problem Statement)

多模态对话情感识别旨在利用文本、音频和视觉特征来分类话语的情感状态。然而，现有方法面临两大主要挑战：

音视频模态的噪声干扰： 在真实场景中，音频常受环境噪声影响（导致语调模糊），视频常受光照变化和运动伪影影响（导致表情不清）。直接融合这些含噪特征会导致信息失真和权重偏差，而现有模型往往缺乏显式的去噪机制。
模态不平衡与文本的主导地位： 不同模态的数据质量和信息承载能力存在显著差异。研究表明，文本模态在情感理解中起主导作用，但现有方法多通过隐式注意力权重来建模模态重要性，未能显式利用文本的主导地位来引导融合，导致次要模态（音视频）的噪声干扰了整体性能。

2. 方法论 (Methodology)

作者提出了一个包含三个核心模块的框架：

A. 差分去噪机制 (Differential Denoising)

针对音频和视觉模态，设计了一个差分 Transformer (Differential Transformer)：

原理： 不直接对特征值进行差分，而是在**注意力分布（Attention Maps）**层面进行差分。
机制： 构建一个时间参考视图（使用上一时刻的 Key），计算当前注意力分布与参考注意力分布的差值。
- 公式核心： $DiffAttn = (\alpha - \lambda \alpha_{ref})V$ 。
- 作用： 这种设计能够增强时间上一致的情感信息，同时抑制时间上不相关的静态噪声（如背景音、静态场景）。
门控滤波 (Gated Filtering)： 引入门控机制，过滤掉由非平稳噪声引起的随机突变，保留残差路径以稳定语义信息。

B. 关系子图交互 (Relation Subgraphs)

针对文本模态，构建了两个独立的子图来捕捉说话者之间的情感依赖：

说话者间子图 (Inter-speaker Subgraph, InterGAT)： 捕捉不同说话者之间的情感交互。
说话者内子图 (Intra-speaker Subgraph, IntraGAT)： 捕捉同一说话者自身的情感动态变化（情感惯性）。
实现： 使用图注意力网络（GAT），并引入可学习的边嵌入（Edge Embeddings）来区分自环、前向（过去影响未来）和后向（未来反馈过去）三种关系类型。通过增量式交互学习，先建模全局交互，再建模个体动态。

C. 文本主导的扩散注意力融合 (Text-Guided Diffusion Attention Fusion)

为了解决模态不平衡，提出了一种以文本为核心的跨模态融合机制：

文本锚点： 利用语义可靠的文本模态作为“锚点”，显式引导音视频信息的融合。
扩散机制： 计算模态间的相似度，构建跨模态注意力矩阵。允许文本单向地从音频和视觉模态中“吸收”信息（Diffusion），而不是简单的加权平均。
自适应融合： 通过门控机制动态计算融合权重，确保在保留文本主导性的同时，有效整合音视频的补充信息，缓解模态间的语义鸿沟。

3. 主要贡献 (Key Contributions)

差分去噪模块： 提出了一种在注意力分布层面进行差分的新机制，有效抑制了音视频模态中的静态冗余和随机噪声，显著提升了特征纯度。
文本主导的扩散融合： 针对模态不平衡问题，设计了显式利用文本主导地位的扩散注意力融合机制，解决了传统隐式加权导致的偏差问题。
细粒度的关系建模： 通过构建说话者间和说话者内的独立子图，实现了对情感依赖关系的精细化建模。
性能提升： 在多个真实世界数据集上，该方法在鲁棒性和准确率上均优于现有的最先进（SOTA）方法。

4. 实验结果 (Experimental Results)

数据集： 在 IEMOCAP（双人对话）和 MELD（多人对话，基于《老友记》）两个基准数据集上进行了测试。
主要指标： 加权准确率 (w-Acc) 和加权 F1 分数 (w-F1)。
性能表现：
- IEMOCAP: w-Acc 达到 75.17%，w-F1 达到 74.87%，优于所有对比基线模型（如 DialogueRNN, MMGCN, DialogueTRM 等）。
- MELD: w-Acc 达到 66.52%，w-F1 达到 66.62%，同样取得了 SOTA 性能。
消融实验验证：
- 移除差分模块或门控模块会导致性能显著下降，证明了去噪机制的有效性。
- 移除关系子图模块导致性能大幅下降，证明了结构化交互的重要性。
- 在情感转移（Emotion Shift）和情感依赖识别任务中，该模型表现出更强的敏感性和鲁棒性。
- 计算效率分析显示，尽管引入了复杂模块，但推理时间和参数量（约 11.48M）仍处于可控范围，具有竞争力。

5. 意义与价值 (Significance)

理论创新： 该研究打破了传统多模态融合中“隐式加权”的范式，提出了“显式文本引导”和“注意力域差分去噪”的新思路，为处理含噪多模态数据提供了新的理论框架。
实际应用： 该方法显著提高了情感识别系统在嘈杂环境（如客服系统、虚拟助手、在线教育）中的鲁棒性，使得情感计算系统更能适应真实世界的复杂场景。
未来方向： 为长对话中的时序依赖建模以及多模态信号与情感状态内在关联的进一步研究奠定了基础。

总结： 这篇论文通过引入差分去噪和文本主导的扩散融合机制，成功解决了多模态情感识别中的噪声干扰和模态不平衡两大痛点，在保持计算效率的同时，显著提升了模型在复杂对话场景下的情感识别精度。