Structured Semantic Prototype-Guided Multi-Source Multimodal Sentiment Analysis with Fine-Grained Gating and Disagreement Decomposition
本文提出了 SPG-MSA，一种新型的多模态情感分析框架，该框架利用结构化语义原型、质量感知门控机制以及特定关系的分支，有效地对文本、视觉和 OCR 模态中对齐、互补及冲突的证据进行建模，并在基准数据集上实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
社交媒体帖子很少仅仅是文字或仅仅是图片；它们是两者复杂的结合，通常还叠加了隐藏在图像中的文本、其他对话的截图，以及讲述着标题并未言明的视觉场景。当一个人发布一张带有中性句子产品的照片，或者用讽刺的评论配上一张开心的图片时，帖子背后真实的感受是分散在这些不同部分之中的。为了让计算机理解这一点，它们不能仅仅分别观察图片和阅读文本。它们需要弄清楚图像中的哪个特定部分或哪个特定词汇承载了真实的感情，以及当这些部分相互一致或相互矛盾时，它们是如何组合在一起的。这就是多模态情感分析的挑战：教导机器去理解数字帖子的完整语境，而不仅仅是其表面特征。
一位研究人员开发了一种应对这一问题的新方法，创建了一个像精心的编辑而非笨拙工具的系统。该方法被称为 SPG-MSA，它不再将标题中的每个词和照片中的每个像素都视为同等重要，而是学习如何挑选出最相关的线索。它通过使用一组八个引导概念（即“原型”）来实现这一点，这些原型代表了人们对事物产生强烈感受的常见原因，例如信任、工艺质量或怀旧感。这些概念充当了过滤器，帮助计算机决定帖子的哪些部分与所表达的情感真正相关。例如，如果一个帖子是关于一件手工制品的，系统就会知道要在图像和文本中寻找“工艺”的证据，同时忽略无关的背景细节。
该研究人员还意识到，并非所有信息都是同样可靠的。社交媒体帖子经常包含从图片中自动读取的文本或由其他计算机程序生成的描述。有时这些额外来源是有帮助的，但有时它们是错误或无关的。为了处理这个问题，新系统包含了一个质量检查机制，在利用每条信息之前，先权衡其信息的可靠程度。它可以选择高度依赖照片中清晰可读的标志，同时忽略模糊、令人困惑的标志。此外，该系统旨在察觉文本和图像似乎在表达不同内容的情况。如果用户写了一句悲伤的话，却配了一张庆祝的照片，系统并不会强迫它们达成一致。相反，它会为这种分歧创建一个特殊的表示，使最终的判断能够反映出这种张力，而不是将其抹平。
为了测试这种方法是否真的奏效，研究人员将其应用于两个大型真实社交媒体帖子集合。他们将自己的系统与近期开发的几种先进方法进行了对比。结果显示，他们的新方法在预测正确的情绪或情感方面更加准确。在一个数据集上，它达到了约 82.5% 的准确率；在另一个数据集上，它达到了近 73%。更重要的是，研究人员证明了这种进步并非仅仅因为计算机查看了更多的数据，或者仅仅是因为它变得更大、更复杂。他们进行了特定的测试，给其他系统提供完全相同的额外信息，但不使用特殊的过滤和分歧处理工具。那些系统表现得并不如预期，这表明新方法组织和选择信息的方式才是其成功的关键。
研究还仔细观察了系统如何处理错误和困难案例。当研究人员故意混淆图像和文本以制造混乱的帖子时，新系统表现得比其他系统更稳定，表明它能更好地处理视觉线索与书面线索不匹配的情况。然而，研究人员也谨慎地指出，这种复杂性是有代价的。该系统比简单的模型需要更多的计算能力，且处理每个帖子所需的时间也更长。它并非为瞬时、分秒间的决策而设计，而是更适用于需要对帖子进行更深入、更可靠分析的情境。
最终，这项工作表明，理解在线情感的未来在于结构与细微差别。通过教导计算机去寻找特定类型的意义，去检查其来源的可靠性，并尊重帖子的不同部分发生冲突的情况，该系统实现了对数字表达更接近人类的理解。研究结果表明，虽然我们尚无法完美解码人类情感的每一个细微之处，但加入一层结构化推理有助于机器以显著更高的技能来应对社交媒体中混乱、矛盾且丰富的现实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。