Lightweight Prompt-Based Enhancement for Missing-Modality Multimodal Sentiment Analysis
本文提出了一种由真实特征增强、可靠性感知融合和内容引导分布适配器三个协同模块组成的轻量级提示框架，旨在通过恢复细粒度特征、动态调整融合权重以及修正分布偏移，有效解决多模态情感分析中的模态缺失问题。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类的情感很少是单一的音符；它是由文字、语调和面部表情共同奏响的一段复杂的和弦。试图理解这些情感的计算机必须同时聆听这三种乐器。这一被称为多模态情感分析（multimodal sentiment analysis）的领域，通过结合文本、音频和视频，在教机器识别人类情绪方面取得了长足进步。然而，在混乱的现实世界中，其中一种乐器往往会陷入沉默。摄像头可能会失效，麦克风可能会断开，或者隐私设置可能会屏蔽视频流。当计算机被迫仅凭碎片化的数据来猜测一个人的情绪时，它的理解往往会崩溃，从而错失了定义我们真实感受的微妙线索。
多年来，研究人员一直试图通过教计算机“想象”缺失的部分来解决这个问题。他们使用一种称为提示学习（prompt learning）的技术，即给机器一个暗示或“提示”，让它根据现有的信息来重建缺失的音频或视频。虽然这种方法效率很高，但它隐藏着一个缺陷。重建信息的整个过程往往会抹平人类表达中那些尖锐、锯齿状的边缘。就像低质量的复印件会丢失照片的细腻纹理一样，这些重建的信号会丢失高频的细节——比如微表情的快速闪烁或声音突然的颤抖——而这些细节往往是识别情感最重要的线索。此外，现有的方法通常将这些猜测的信号与真实信号同等对待，未能意识到重建的信息本质上不如直接录制的信息可靠。最后，由于这些系统依赖于一个无法进行实时学习的、冻结的预训练“大脑”，重建的数据往往会与系统的其余部分显得“不和谐”，导致机器在尝试整合信息时踉跄跌倒。
来自长沙社会工作学院和湖南师范大学的研究团队提出了一种针对这三个问题的轻量化解决方案。他们并没有尝试从头构建整台机器，而是向现有系统添加了三个小型且专门的工具，这些工具的设计初衷是像一位精炼草稿的熟练编辑一样协同工作。第一个工具专注于仍然可用的真实数据。它提取真实音频或视频中平滑且略显沉闷的特征，并重新注入丢失的高频细节，从而有效地锐化图像并清晰声音。第二个工具充当融合过程的“守门员”。它不断检查哪些信号是真实的，哪些是猜测的，自动调高可靠数据的音量，同时压低重建部分的噪音。第三个工具是一个“翻译官”，确保猜测的数据能与真实数据相契合。它利用可用信号的内容，轻轻引导重建的特征进入正确的形状，使其在计算机做出最终判断之前，能够与其余信息无缝融合。
研究人员在包含数千次人类互动的标准视频剪辑数据集上测试了这个三部分组成的系统。他们模拟了一个计算机丢失了70%数据的场景，迫使机器高度依赖其填补空白的能力。结果显示，这三个工具在协同使用时效果最好，其表现不仅仅是各部分之和。当三个工具全部激活时，系统正确识别正面或负面情感的能力显著提高，准确率达到了约70.6%，较基准线有了显著提升。有趣的是，研究人员发现，如果仅将前两个工具结合使用，其表现甚至比只使用第一个工具时还要差。这表明，如果没有第三个工具来修复真实数据与猜测数据之间的不匹配，系统会被冲突的信号所迷惑。只有当加入了分布适配器（distribution adapter）来使数据和谐统一后，系统的全部潜力才得以释放。
该研究还探讨了当特定类型的数据缺失（例如仅剩文本可用，或仅视频缺失）时，系统的表现如何。在这些固定场景下，完整的系统再次证明了其整体的鲁棒性，尽管研究人员指出，每个工具的具体益处取决于究竟缺失了哪种数据。例如，当视频缺失时，其中一个工具特别擅长提高系统与人类评分的相关性，而全套组合则在通用准确性方面表现卓越。整个增强过程仅增加了系统极小比例的新参数——大约是主模型的1%——这证明了提升机器理解人类情感的能力并不一定需要大规模、高能耗的彻底改造。
这项工作表明，实现更具鲁棒性的机器情感智能之路，不在于生成完美的缺失数据副本，而在于精心管理已知信息与猜测信息之间的关系。通过锐化真实信号、给予真实信号更高的信任度，并确保猜测的内容符合语境，研究人员创造了一个能够优雅处理缺失信息的系统。虽然这项研究局限于英语数据集和特定的缺失模式，但其发现为构建即使在连接不完善时也能理解我们的机器提供了清晰的蓝图。这项技术的未来可能取决于这类轻量化、智能化的调整，使计算机能够在数字生活的间隙中航行，而不丢失人类情感的细微差别。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。