Reconstruction-Gated Refinement for Multimodal Sentiment Analysis under Controlled Perturbations

以下是关于论文《用于受控扰动下多模态情感分析的重构门控细化（Reconstruction-Gated Refinement for Multimodal Sentiment Analysis under Controlled Perturbations）》的技术摘要详细翻译：

问题陈述

多模态情感分析（MSA）依赖于整合文本、音频和视觉线索。然而，由于背景噪声、说话人差异、遮挡或追踪误差等因素，非文本模态（音频和视频）往往不如文本可靠。当这些不可靠的表示直接进入跨模态融合时，噪声或不完整的证据可能会降低下游的情感预测性能。

现有的方法通过表示学习（减少模态差异）、交互式融合（整合异构线索）或针对缺失/噪声模态设计的方法（特征生成或代理驱动的融合）来解决这一问题。然而，作者认为这些方法往往未能实现在进入融合阶段之前主动细化不可靠特征。因此，在跨模态交互之前，非文本表示的可靠性并未得到有效控制。

方法论：重构门控细化 (RGR)

本研究提出了重构门控细化（RGR），这是一个参数轻量级的两阶段预融合模块，旨在音频和视觉表示参与跨模态交互之前对其进行细化。完整的模型 CVAE-AIMS 将 RGR 集成到了先前发表的 AIMS（自适应交互与多尺度融合）骨干网络中。

RGR 的处理流程如下：

1. 文本条件的 CVAE 重构：

   • 该模块将音频和视觉特征视为目标变量，并将文本特征视为稳定的语义条件。
   • 采用条件变分自编码器（CVAE）。它将聚合后的音频/视觉特征与聚合后的文本特征拼接，编码入一个潜在分布。
   • 解码器在文本语义的条件下重构音频和视觉表示。这并非一个监督式的“去噪”任务（因为没有干净的地面真值音频/视频可用），而是一种在情感语义约束下正则化潜在空间并重构表示的机制。
   • 损失函数结合了重构损失（$L_{rec}$）和 Kullback-Leibler（KL）正则化项（$L_{KL}$）。

2. 自适应门控融合：

   • 为了防止硬性特征替换可能导致的信息丢失，模型为每个非文本模态学习了一个自适应标量门控。
   • 门控（$g_m$）通过对原始聚合特征（$x_m$）与重构特征（$\hat{x}_m$）的拼接应用 Sigmoid 函数计算得出。
   • 最终的细化特征序列（$\tilde{X}_m$）是一个加权混合：$\tilde{X}_m = g'_m \odot X_m + (1 - g'_m) \odot \hat{x}_m$。
   • 如果某个模态缺失（由掩码 $r_m=0$ 表示），门控将强制依赖于文本条件的重构；否则，它学习一种软混合。

3. 下游流水线：

   • 细化后的特征被传递到 AIMS 骨干网络中，该网络包括自适应交互融合（AIF）、UnetTSF（多尺度序列建模）以及用于最终情感预测的增强动态加权融合（DWF）。

核心贡献

1. 提出了预融合细化形式： 作者将细化非文本 MSA 表示的问题表述为一个条件重构门控问题，并实现为一个插入在跨模态融合之前的轻量级模块。
2. 架构设计： 引入了文本条件的 CVAE 重构分支和自适应门控融合机制，专门用于在交互前细化聚合后的音频和视觉表示。
3. 受控评估： 研究在三个基准数据集（CMU-MOSI、CMU-MOSEI、CH-SIMS v2.0）上进行了评估，并通过匹配的高斯噪声和随机置零压力测试显式评估了 RGR 的性能，同时仔细界定了与使用不同鲁棒性协议的方法之间的比较限制。

实验结果

研究在完整模态设置和受控扰动下，评估了 CVAE-AIMS 相对于 AIMS 骨干网络及其他基线模型（如 TFN、MulT、MISA、ALMT）的表现。

• 完整模态性能：

  • 在 CMU-MOSEI 上，CVAE-AIMS 实现了 86.64±0.31 的 F1(Non0) 分数，优于已发表的 AIMS 参考值（86.43）和其他基线。
  • 在 CMU-MOSI 上，它实现了 87.03±0.41 的 F1(Non0)，对比 AIMS 的 86.00 有所提升。
  • 在中文 CH-SIMS v2.0 数据集（单种子）上，它实现了 81.04 的 F1，略高于已发表的 AIMS 参考值（80.24）。

• 受控扰动下的鲁棒性（CMU-MOSEI）：

  • 高斯噪声： 在不同噪声水平（$\sigma$）下，CVAE-AIMS 始终优于 AIMS。在不同噪声水平下，平均 F1 优势在 +0.93 到 +2.05 个点之间。
  • 随机置零（模态缺失）： 在随机缺失模态场景（10% 到 70% 缺失）下，CVAE-AIMS 保持了正向优势，平均 F1 增益在 +1.23 到 +2.10 个点之间。在 70% 缺失的情况下，C即使 CVAE-AIMS (81.25) 显著优于 AIMS (79.15)。

• 消融实验：

  • 移除**门控（Gate）**机制导致了最大的性能下降（−2.00 F1），证实了其在防止硬性替换导致信息丢失方面的作用。
  • 移除整个 RGR 模块使 F1 下降了 1.20 点。
  • 移除 KL 损失（导致潜在空间无结构化）使 F1 下降了 1.40 点。
  • 将 CVAE 替换为标准自编码器（AE）或移除文本条件会导致较小但一致的性能下降。

意义与声明

本文对其贡献和局限性保持了适度且严谨的态度：

• 受支持的结论： 实验支持了以下假设：使用文本条件重构和自适应门控进行预融合可靠性细化，可以提高模型在受控扰动（高斯噪声和随机置零）下的稳定性。在匹配的内部压力测试中表现出的正向平均 F1 差异表明，RGR 是细化非文本模态的一种可行方案。
• 明确的局限性：
  • 该研究并未声称优于专门的不完整模态方法（如 MPLMM、HRLF），因为这些方法是在不同的训练/测试协议下进行评估的。
  • 鲁棒性测试是合成的（高斯噪声、随机置零），并未模拟结构化的现实世界故障，如特定的传感器遮挡或“非随机缺失”情况。
  • CH-SIMS v2.0 的结果基于单种子，限制了关于跨语言泛化能力的结论。
  • CVAE 重构的是**聚合后（pooled）**的特征而非时间层级的特征，这可能会丢失细粒度的时间信息。
  • 依赖文本作为条件信号在讽刺或反讽等情况下可能不可靠，因为在这些情况下文本并非最稳定的语义线索。

总之，本文将 RGR 定位为一种特定的、有效的机制，用于在评估的 AIMS 实现中提高受控条件下的鲁棒性，同时也呼吁未来开展涉及标准化协议、更多骨干网络以及时间层级重构的研究，以建立更广泛的泛化性。