💻 computer science

TDCO-Net: A Triple-Dynamic Collaborative Optimization Network for Multimodal Sentiment Analysis

本文提出了 TDCO-Net，一种三重动态协同优化网络，通过集成动态模态辅助学习、基于 KAN 的视听极性校准以及置信度驱动的样本选择，通过有效解决模态可靠性变化和边界样本噪声问题，从而增强多模态情感分析。

原作者： Minjie Tang, Lin Xie, Wei Li

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Minjie Tang, Lin Xie, Wei Li

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类的情感很少是单一的音符；它是由言语、微笑的弧度、声音的张力以及呼吸的节奏所构成的复杂和弦。在通过视频、直播和社交媒体进行交流的数字时代，机器正越来越多地被要求理解这些和弦。多模态情感分析领域正试图完成这项任务：教计算机通过同时聆听语音、阅读文本和观察面部表情来识别人类的情感。虽然一句话可能会传达明确的信息，但一个人的真实情感状态往往隐藏在言语内容与其表达方式之间那些微妙且有时甚至相互矛盾的信号之中。长期以来，研究人员面临的挑战在于这些不同的信息源并不具备同等的可靠性。文本通常是显性且清晰的，但一个人的脸部可能会因为光线不足而被遮挡，或者其声音可能会被背景噪音淹没。当计算机试图将这些不完美的信号融合为单一的理解时，结果可能是一个混乱的猜测，尤其是在情感微弱或处于正负界限边缘时。

四川师范大学的一个研究小组提出了一种新方法来解决这个问题，旨在帮助机器更精准地辨别这些微妙的情感状态。他们的研究工作名为 TDCO-Net，其目的并非从头开始重建计算机分析情感的整个系统，而是作为一个精密的优化层，叠加在现有的稳定框架之上。研究人员识别了当前系统处理情感数据的三个特定弱点：视觉和音频信号本身往往缺乏强烈的情感导向；“快乐”与“悲伤”之间的界限对计算机来说往往很模糊；以及系统有时会试图从过于模糊、无法提供有效信息的样本中学习。为了解决这些问题，他们引入了三种动态机制，这些机制协同工作，以增强计算机的专注力、过滤噪声，并仅在计算机最可能出错时对其进行纠正。

第一项改进针对的是这样一个事实：虽然文本通常是情感最强的信号，但视觉和音频信号往往会被忽视或利用不足。在新系统中，计算机被训练为在组合之前，先分别观察文本、面部和声音。它强制系统先仅凭面部、仅凭声音、然后再仅凭文字来对情感做出判断。如果系统仅凭面部就难以做出正确判断，它就会接收到更强的信号来提升对面部表情的理解。这一过程确保了每一部分输入都是清晰且准备好做出贡献的，而不是让清晰的文本掩盖了更微妙的视觉和声学线索。

第二和第三项改进解决了歧义问题。在现实生活中，许多情感陈述是中性的或混合的，处于量表的中间位置。当计算机试图判断一个中性陈述是略微积极还是略微消极时，往往会引入误差。研究人员发现，试图让计算机对每一个样本都去区分正向与负向，实际上会让情况变得更糟，因为那些模糊的样本对于学习而言噪声太大。他们的解决方案是让计算机在学习正向和负向方向时，忽略掉那些令人困惑、微弱的样本。他们设定了一条规则，即系统只关注清晰、强烈的样本，以此来学习好与坏情感之间的区别。对于那些接近中间位置的样本，系统使用一种特殊的、灵活的数学工具，在初始判断不确定时，轻轻地将预测向正确的方向推动。这个工具就像一个精细调节的旋钮，仅当计算机徘徊在决策线附近时才调整最终答案，而让那些清晰的答案保持原样。

这种方法的测试是在一个包含数千个带有面部和音频录制的口语句子的大型视频数据集上进行的。新系统在识别情感是积极还是消极方面比以往的方法更准确。具体而言，识别积极或消极情感的准确率从 82.70% 上升到了 84.44%。它还提高了系统预测情感精确强度的能力，而这需要对不同情感层级之间的细微差别有深刻的理解。研究人员指出，虽然系统在辨别情感方向方面变得更好了，但并没有丧失测量情感强度的能力。这种平衡至关重要，因为它意味着计算机现在不仅能分辨出一个人是开心的，还能分辨出他有多开心，而不会被那些情感并非非黑即白、混乱复杂的现实世界数据所迷惑。

这项工作表明，机器情感智能的未来不在于从头开始构建更大、更复杂的模型，而在于添加能够知道何时专注、何时忽略以及何时纠正的智能自适应层。通过对不同类型的数据给予应有的尊重，并过滤掉干扰学习过程的噪声，研究人员创造了一个更加稳健且可靠的系统。研究结果表明，通过动态调整计算机学习不同样本的方式，并优化其对情感边界的理解，机器可以更接近于人类解读微妙、无声的情感语言的能力。

技术摘要：用于多模态情感分析的 TDCO-Net

1. 问题陈述

多模态情感分析（MSA）旨在通过整合文本、视觉和听觉来识别人类的情绪状态。然而，现有方法面临三个关键挑战：

模态优化不平衡： 不同模态的可靠性各异。文本通常提供显式的语义线索，而视觉和听觉模态则容易受到噪声的影响（例如，缺失的表情、背景噪声）。现有方法往往无法充分优化这些较弱的模态，导致融合表示并非最优。
模糊的情感边界： 在连续情感回归任务（标签范围从负到正）中，位于零边界附近的样本（中性情感）特别容易受到噪声的影响。使用统一回归目标训练的模型在这些过渡区域往往难以做出准确的极性判断（正向 vs 负向）。
弱样本带来的监督噪声： 并非所有样本都适合进行二元极性监督。弱情感或接近中性的样本在被强制纳入二元分类约束时会引入不确定性，可能降低模型学习清晰情感方向的能力。

虽然模态特征优化网络（MFON）通过提示注意力和对比学习解决了模态不平衡问题，但它缺乏显式的单模态情感监督、动态边界校准以及针对极性任务的选择性样本过滤机制。

2. 方法论：TDCO-Net

作者提出了 TDCO-Net（三重动态协同优化网络），该网络构建于 MFON 主干之上。TDCO-Net 并没有替换核心融合架构，而是集成了三种协同机制，以在不破坏稳定的连续回归路径的前提下，增强表示优化和极性判别。

2.1 主干网络：MFON

其基础是 MFON 架构，该架构利用了：

文本引导的跨模态交互： 文本特征作为查询（Query），视觉和听觉特征（通过可学习的提示信号增强）在注意力机制中作为键（Key）和值（Value）。
模态内知识蒸馏： 利用冻结的单模态编码器来优化非文本模态。
跨模态对比学习： 增强文本与非文本模态之间的相关性。

2.2 三重动态协同机制

A. 动态模态辅助学习

为了解决单模态情感约束不足的问题，TDCO-Net 引入了三个轻量级的辅助预测头（分别对应文本、视觉和音频）。

机制： 每个预测头在其各自的模态表示（ $z_t, z_v, z_a$ ）上执行单模态情感回归。
动态特性： 辅助损失函数被计算为单模态预测值与地面真值连续标签之间的均方误差。优化信号是样本相关的；预测误差较高的模态会获得更强的梯度，从而自适应地迫使主干网络为优化不足的模态学习更具判别性的表示。
推理： 这些预测头仅在训练期间使用；推理路径仍保持原始的 MFON 融合。

B. 动态样本选择机制

为了减轻极性学习过程中弱情感样本带来的噪声，模型采用了基于标签强度的选择策略。

阈值设定： 对连续情感标签的绝对值（ $|y_i|$ ）应用阈值 $\tau$ （设为 0.5）。
选择： 只有当 $|y_i| \ge \tau$ （具有明确正向或负向倾向的高置信度样本）时，才会被选中进行极性监督。接近零的样本被排除在二元分类任务之外。
标签转换： 被选中的样本被转换为二元极性标签（ $c_i \in \{0, 1\}$ ），用以监督基于 KAN 的校准模块。

C. 基于 KAN 的动态情感极性校准

为了精细化决策边界，引入了一个基于 Kolmogorov-Arnold 网络 (KAN) 的视觉-听觉极性校准器。

架构： 视觉和听觉表示被输入到独立的 KAN 二元分类头中，以预测极性对数几率（logits $s_v, s_a$ ）。停止梯度操作防止这些分支干扰主干网络的融合表示。
校准逻辑： 极性得分经过平均处理，并通过双曲正切函数进行映射，生成极性方向向量（ $d_i \in [-1, 1]$ ）。
边界门控： 门控函数（ $g_i$ $g_{i}$ ）根据基础预测值（ $\hat{y}_0$ $\overset{y}{^}_{0}$ ）距离零点的距离来调节校准强度。
- 如果预测值接近零（边界区域），则 $g_i \approx 1$ ，允许进行强力修正。
- 如果预测值远离零点（情感明确），则 $g_i \to 0$ ，保留原始回归输出。
最终输出： 校准后的预测值为 $\hat{y}_i = \hat{y}_{0,i} + \lambda g_i d_i$ ，其中 $\lambda$ 是一个小的校准系数。

2.3 联合优化目标

总损失函数结合了主要回归任务、MFON 原有的损失（知识蒸馏和对比学习）以及新的辅助组件：
$L = L_{task} + \alpha(L_{distill}) + \beta L_{ICL} + \gamma L_{aux} + \eta L_{pol}$
其中 $L_{task}$ 是最终校准输出的 MSE， $L_{aux}$ 是单模态辅助回归损失， $L_{pol}$ 是高置信度样本的二元交叉熵损失。

3. 核心贡献

TDCO-Net 架构： 一种构建在 MFON 之上的新型网络，共同建模模态辅助优化、情感极性校准和样本选择。
动态模态辅助学习： 通过单模态辅助预测，提高文本、视觉和听觉表示的情感判别力，是对 MFON 现有优化机制的补充。
基于 KAN 的极性校准： 一种视觉-听觉校准器，能够自适应地修正情感边界附近的预测，并结合动态样本选择机制来过滤掉噪声较大的弱情感样本。
实证验证： 在 MOSEI 数据集上进行了全面的实验，证明了模型在二元分类和连续回归指标上的提升。

4. 实验结果

实验在 CMU-MOSEI 数据集（22,856 个样本）上进行。模型与经典的融合方法（TFN, LMF）、表示学习方法（MISA, Self-MM）以及直接的主干网络 MFON 进行了对比。

关键性能指标 (MOSEI 测试集)：

Has0-Acc2 (带零值的二元准确率)： 从 82.70% (MFON) 提升至 84.44%。
Has0-F1： 从 83.13% 提升至 84.26%。
Mult-Acc7 (7类准确率)： 从 52.87% 提升至 53.53%。
Corr (皮尔逊相关系数)： 从 0.7773 增加到 0.7987。
MAE (平均绝对误差)： 从 0.5359 降低到 0.5328。

消融研究：
作者验证了每个组件的增量贡献：

添加 动态模态辅助 (DMA) 使 Has0-Acc2 提升了 0.58%。
添加 KAN 极性监督 使 Has0-Acc2 进一步提升了 0.56%，并将 Corr 提升了 0.0056。
添加 动态样本选择 (DSS) 精炼了收益，突显了过滤弱样本的重要性。
完整的 TDCO-Net（包含边界门控）达到了最佳结果，证实了轻量级、针对边界的修正比全局极性约束更有效。

5. 重要性与主张

论文声称 TDCO-Net 通过以下方式有效地解决了当前 MSA 方法的局限性：

增强表示质量： 通过强制执行单模态情感约束，模型确保视觉和听觉模态不仅是消极的补充，而且能积极参与情感判别。
精细化边界决策： 基于 KAN 的校准器专门针对标准回归模型经常失效的“困难”区域（即零边界附近）进行处理。
减少监督噪声： 通过动态选择仅高置信度样本进行极性学习，模型避免了由模糊的中性样本引起的不稳定性。

作者强调，该方法在保持原始 MFON 融合路径稳定性的同时，增加了协同增强。他们指出，虽然该方法显著改善了二元极性和连续趋势拟合，但在细粒度多分类方面的提升较为温和，这表明该方法是专门针对极性边界问题而非强度层级的粒度进行优化的。未来的工作建议探索在其他数据集（如 MOSI, CH-SIMS）上的泛化能力，以及集成用于样本选择的不确定性估计。