An Adaptive Cross Attention Multimodal Transformer Architecture for Multilingual Speech Emotion Recognition
本文提出了一种自适应交叉注意力多模态 Transformer（ACAMT），这是一种旨在通过双向交叉注意力和自适应门控机制动态融合声学、文本和视觉模态，以处理缺失数据和语言差异，从而增强多语言语音情感识别的新型架构，同时在缺乏完整经验训练结果的情况下，概述了一套全面的评估协议。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类的交流是一幅由不仅仅是言语所织就的丰富织锦。当我们交谈时，我们的情感随之在声音的高低起伏、语速的节奏以及脸上闪现的表情中流露。一个能够理解这些情感信号的机器，具有改变我们与技术互动方式的潜力，为监测心理健康、改善在线学习或让客户服务更具同理心提供新的途径。多年来，研究人员一直试图教会计算机识别这些情感，从测量声音音高和能量的简单工具开始。近来，强大的人工智能模型通过聆听海量的原始音频，学会了理解语音，并发现了人类可能忽略的模式。然而，大多数此类系统仍然仅依赖一种类型的信息，通常是声音，或者以一种僵化的方式结合声音和文本等不同线索，这种方式在其中一部分信息缺失或不可靠时无法进行调整。
来自科内鲁·拉克什迈亚教育基金会（Koneru Lakshmaiah Education Foundation）的一个研究小组提出了一种旨在解决这些特定问题的全新架构。他们将该系统称为“自适应交叉注意力多模态 Transformer”（Adaptive Cross-Attention Multimodal Transformer）。这种新设计并非强迫计算机分别观察声音、文本和视频，然后简单地将结果拼接在一起，而是允许不同类型的信息相互观察并相互学习。想象一下一场对话，听者不仅能听到言语，还能观察说话者的面部表情并倾听语调，不断将注意力转向此时此刻最可靠的线索。该系统也通过数学方式实现这一点：计算声音特征如何与文本相关，文本如何与视频相关，以及视频如何反馈给声音。它创造了一个动态的连接网络，并为每一句说出的话语进行更新。
研究人员构建该系统是为了应对一个重大的现实世界复杂情况：有时，一段录音可能有声音但没有视频，或者它使用的是计算机从未见过的语言。为了处理这种情况，系统包含了一个特殊的安全机制，其作用类似于一道门。如果视频缺失，这道门就会直接关闭该路径，并将计算机的焦点重新引导至声音和文本，从而确保系统不会产生困惑或失效。这与旧方法不同，旧方法可能会尝试用空白猜测或静态平均值来填补缺失的视频。研究人员还设计了使系统能够跨多种语言工作的方案，具体包括英语、德语和意大利语，采用了一种策略，让计算机先学习通用的情感模式，然后再针对特定语言进行微调，而无需为每种语言都准备海量的新数据。
为了测试他们的想法，该团队收集了来自各种来源的六个不同的语音录制集，涵盖了演员和演讲者的数千个片段。这些录制包含了人们表达愤怒、快乐、悲伤、恐惧、厌恶和中性情绪的内容。其中一些集合包含视频，一些仅有音频，还有一些包含转录文本。研究人员将所有这些不同的情感标签映射到一个统一且一致的六类标准中，以便进行公平比较。随后，他们制定了一套严密的计划，以测试他们的系统在不同场景下的表现：在相同语言的未见数据上进行测试，在完全不同的语言上进行测试，以及在完全不同的来源录制上进行测试，以观察其泛化能力。
尽管设计详尽且计划明确，但论文报告了一个关键的局限性：研究人员尚未运行完整的训练过程以获得实际结果。由于撰写论文的环境缺乏训练如此大型模型所需的强大处理器，且未准备好源数据集，他们无法测量系统的最终准确率。他们所提供的是一台机器的完整蓝图、关于各部分如何连接的修正后的数学描述，以及一套严格的测试协议。他们证明了该架构是稳健的，且处理缺失数据的方法在数学上保证有效，但尚未在实践中证明其优于现有系统。
作者明确表示，他们的贡献在于设计本身和评估框架，而非在构建完美情感识别器竞赛中的最终胜利。他们确定的紧迫下一步是在必要的硬件上进行完整训练，以验证其理论是否成立。如果成功，这种方法可能会催生出更加稳健且适应性更强的系统，能够在不同语言甚至录制质量不佳的情况下理解人类情感。然而，在训练完成之前，这项工作仍处于一个复杂的提议阶段——它是研究人员已准备好踏上、但尚未完成旅程的一份详细地图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。