TGSE-DFN: Text-guided Generative Semantic Enhancement and Disentangled Adaptive Fusion Network for Multimodal Sentiment Analysis
本文提出了 TGSE-DFN，一种新颖的多模态情感分析框架，该框架利用文本引导的生成式语义增强和解耦自适应融合来弥合模态间的语义鸿沟，并有效捕捉全局情感趋势与细粒度时序动态。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类的交流很少仅仅关乎我们所说的文字。一个句子可以根据所使用的语调、说话前的停顿或脸上的表情，承载完全不同的含义。要真正理解一个人如何感受，我们必须倾听整个画面：文本、声音与视觉。这就是多模态情感分析（multimodal sentiment analysis）所面临的挑战，这是一个致力于教机器如何读取这些复杂情感线索的计算机科学领域。虽然计算机在阅读文本方面已经做得相当出色，但它们往往难以将词语的显性含义与声音或面部表情中那些微妙且连续的信号联系起来。言外之意与表达方式之间的差距往往会导致误解，使机器无法掌握人类情感的深度。
新疆师范大学和新疆大学的研究人员开发了一种新方法来弥补这一差距，旨在帮助计算机理解音频和视频中隐藏的情感层。他们的研究成果名为 TGSE-DFN，解决了一个特定的问题：现有的系统通常将音频和视觉数据视为文本的次要信息，或者试图将这些连续信号强行归入僵化的、离散的类别，从而丢失了重要的细节。相反，该团队创建了一个系统，利用语言丰富的含义作为引导，帮助计算机更清晰地“看”到和“听”到情感，同时不丢失原始信号的细粒度细节。
这一新系统的核心思想是将文本作为其他感官的地图。在许多视频中，一个人可能说着中性的内容，但其声音却在颤抖或面部在紧绷，从而揭示出文字本身无法展示的真实感受。研究人员发现，以往的方法之所以无法从音频和视频中提取出这些高层的情感含义，是因为缺乏一个强大的语义锚点。为了解决这个问题，他们构建了一个类似于“翻译官”的模块，将原始的音频和视觉数据引导到一个连续的空间中，使其能够与语言一起被理解。这个过程并不是将声音或面部表情转化为简单的文字描述（因为这会剥离情感的时序性和细微差别），而是生成一种连续的、潜在的表示——一种情感蓝图——它在注入语言模型中所蕴含的深层语义知识的同时，保留了原始信号的流动性。
一旦音频和视觉数据通过这种语言引导得到了增强，系统便面临另一个挑战：决定信任哪种信息。在任何给定的时刻，文本可能是最可靠的情感指标，而在另一时刻，声音的突然变化或转瞬即逝的面部表情可能才是关键。研究人员设计了一种机制，用于将共享的情感信息与各感官特有的细节分离开来。这种“解耦”（disentanglement）使得计算机能够识别出所有三种模式中的共同点（例如普遍的悲伤感），同时保留声音或面脸部各自独特的、私有的线索。这防止了不同类型的数据产生冲突，并确保了每种模态的独特优势得以保留。
最后一步涉及以一种适应特定情况的方式将所有这些部分整合在一起。该系统使用了一种既关注大局又关注细节的融合策略。它在捕捉视频片段整体情感趋势的同时，也同步追踪细粒度的变化，例如说话时的停顿或微表情。至关重要的是，系统学会了动态地权衡文本、音频和视觉的重要性。如果一个样本在文字上具有歧义但在语调上很明确，系统会自动更多地信任音频；如果文字表达明确但声音平淡，系统则会更侧重于文字。这种自适应加权使模型能够在广泛的情感表达中做出更稳定、更准确的预测。
研究人员在两个包含数千个带有情感强度人工标注（范围从极度负面到极度正面）的知名大型数据集上测试了他们的系统。结果显示，该方法优于许多现有技术，在预测情感方向和情感强度方面都实现了更高的准确度。团队进行了详细的实验，以确认系统的每个部分都对这一成功做出了贡献。当移除文本引导的增强功能时，系统理解音频和视频的能力下降了；当移除共享信息与私有信息的分离机制时，模型的精确度降低了。这些测试证实，语义引导、表示分离和自适应融合的结合是推动性能提升的核心驱动力。
尽管取得了这些成功，研究人员也承认这项任务仍然困难。他们对误差的分析表明，系统在处理情感混合或情感强度极端的样本时仍会遇到困难。例如，模型有时会低估非常强烈的负面情绪的强度，或者高估微弱正面情绪的积极程度。在说话者使用讽刺或矛盾线索的情况下，系统偶尔也会误判整体极性。这些发现表明，尽管该系统在理解文本、声音与视觉之间的相互作用方面取得了显著进展，但人类情感的复杂性仍然提出了挑战，需要进一步的精炼。这项工作标志着向着能真正理解人类情感全谱系的机器迈出了重要一步，而不仅仅是理解我们选择说出的文字。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。