MCD-DFusion: A Modality Consistency-Aware Dynamic Fusion Framework for Robust Multimodal Sentiment Analysis on Social Media
该论文提出了 MCD-DFusion，这是一个通过引入模态一致性度量（Modality Consistency Degree）来量化跨模态语义对齐，并采用动态融合策略以根据一致性水平进行自适应调整的新型框架，从而增强了多模态情感分析中的对抗鲁棒性，进而显著抑制了针对社交媒体迷因（memes）的对抗攻击。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在社交媒体上，一张图片很少仅仅是一张图片，一个句子也很少仅仅是一个句子。当人们在网上分享感受时，他们经常将文字、图像、表情符号和嵌入式词汇混合在一起，形成一个像迷因（meme）一样的整体包。为了理解一个人真实的感受，计算机必须同时阅读文字并观察图像，因为意义往往存在于两者之间的关系中。一句欢快的句子配上一个悲伤的面孔，可能实际上意味着这个人正在进行讽刺。多年来，研究人员一直在开发计算机程序来分析这些混合信息，希望能以此衡量公众情绪或检测有害内容。然而，这些程序有一个隐藏的弱点：它们很容易被欺骗。如果一个恶意行为者对文本或图像进行微小的、几乎不可察觉的改动，计算机就会被误导，认为一条仇恨帖子是友好的，反之亦然。这种脆弱性对于任何试图维护社交媒体安全或准确理解公众舆论的人来说都是一个重大问题。
来自西安石油大学和斯旺西大学的一个研究小组提出了一种让这些系统变得更强大的新方法。他们意识到，抵御这些诡计的关键在于文本和图像之间的契合程度。他们将这种契合度称为“模态一致性”（modality consistency）。想象一个迷因，文字说“我非常开心”，而图像显示一个人在微笑；这两个部分相互强化。这是高一致性。现在想象一个迷因，文字说“我非常开心”，但图像显示一个人在哭泣；这两个部分相互矛盾。这是低一致性。研究人员发现，当文本和图像一致时，计算机就更难被欺骗。当它们不一致时，计算机就会变得困惑且更容易被误导。
为了证明这一点，该团队创建了一个能够按 0 到 1 的比例衡量这种一致性的系统。他们测试了来自大型社交媒体帖子集合中的数千个迷因。他们发现了一个显著的模式：文本和图像的一致性越高，计算机被攻击误导的可能性就越低。事实上，这种关系非常强，以至于他们只需通过观察特定帖子的各部分一致性，就能预测该帖子的脆弱程度。那些文本和图像完美对齐的帖子非常难以被操纵，而当两部分发生冲突时，即使是微小的变化也能轻易动摇这些帖子。
基于这一发现，研究人员构建了一个新的防御系统，该系统会根据情况改变其策略。该系统不再对每一个帖子都使用相同的方法来组合文本和图像，而是先检查一致性的水平。如果文本和图像高度一致，系统会将它们深度融合，让它们相互支持，从而创建一个稳固、统一的理解。但如果文本和图像似乎在相互对抗，系统就会停止如此紧密地融合它们。相反，它会分别倾听每个部分，并根据哪个部分看起来更可靠来进行判断，从而防止一个令人困惑或矛盾的图像拖累文本，或者反之亦然。这种方法就像一个智能过滤器，知道何时信任整体画面，以及何时需要保持警惕。
他们的测试结果非常明确。当他们用旨在欺骗系统的各种诡计攻击该系统时，该系统比旧方法更能坚守阵地。与之前保护这些系统最强大的尝试相比，他们的新方法将攻击成功率降低了一半以上。具体而言，他们观察到系统被成功欺骗的次数下降了 57.4%。他们还将这个想法应用在不同的数据集上（不仅仅是最初使用的那个），并发现这一规律在任何地方都成立：一致性创造力量。即使在攻击变得更加激烈时，该系统依然保持稳定，证明了这种方法适用于不同类型的社交媒体内容。
这项工作为构建更安全、更可靠的在线人类情感理解工具提供了一条切实可行的路径。通过认识到文字与图像之间的和谐是抵御操纵的一种天然护盾，研究人员表明，我们并不需要让系统变得更加复杂来使其更安全。相反，我们可以通过让它们适应它们正在阅读的内容来使它们变得更聪明。他们的发现表明，分析社交媒体最稳健的方法不是将文本和图像视为独立的流数据，而是尊重它们之间的关系，并将这种关系作为决定如何处理信息的指南。这种从僵化的、一刀切的方法向灵活的、具备一致性意识策略的转变，有助于在数字内容不断受到威胁的时代，保护在线情绪分析的完整性。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。