💻 computer science

AVTF-Net: Attention-Guided Visual–Textual Fusion with AlexNet and BERT for Multimodal Fake News Detection

本文提出了 AVTF-Net，这是一个结合了改进的 AlexNet 和经过微调的 BERT，并利用早期融合与注意力机制来有效检测虚假新闻以捕捉跨模态不一致性的多模态深度学习框架，在 Fakeddit 数据集上实现了 95.80% 的准确率，达到了最先进的性能。

原作者： Asad Ur Rehman

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Asad Ur Rehman

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下互联网是一个繁忙、喧闹的市场，人们在这里不断地大声传播新闻故事。有时，这些故事是真的，但经常有心怀叵测的人试图通过将一个谎言与一张看起来很真实的图片结合起来来欺骗大众。这就像有人举着一张建筑着火的照片，却大喊：“看啊！城市着火了！”而实际上那栋建筑好好的。

这篇论文介绍了一个名为 AVTF-Net 的新型“侦探”，旨在识破这些诡计。以下是它的工作原理，用简单的语言进行解释：

问题所在：仅靠一名侦探是不够的

大多数传统的查证者就像只读报纸文章（文本）或只看照片（图像）的侦探。

如果他们只读文本，可能会忽略照片是假的。
如果他们只看照片，可能会忽略标题在撒谎。
差距在于： 假新闻往往依赖于两者之间的不匹配。一张真实的图片配上一个虚假的标题，或者一张虚假的图片配上一个极具说服力的故事。

解决方案：双人侦探团队

作者构建了一个使用两名专业专家协同工作，而非各自独立的系统。

图像专家（改进型 AlexNet）： 把这想象成一位资深的艺术评论家。它观察图片，学习识别模式、边缘和纹理。它经过了微调，非常擅长将复杂的图像转化为其所见内容的简单“摘要”。
文本专家 (BERT)： 把这想象成一位才华横溢的语言学家。它阅读标题和帖子，不仅理解文字，还理解背后的语境和情感。它知道如何区分一个玩笑和一个严肃的声明。

秘诀所在：“早期融合”策略

这是论文中最核心的部分。在许多旧系统中，图像专家和文本专家各自独立工作，做出自己的判断，然后由一个“老板”在最后阶段汇总答案（就像两个人分别投票一样）。

AVTF-Net 采取了不同的做法： 它迫使两名专家在第一时间就坐到同一张桌子旁。

类比： 想象图像专家和文本专家是两名侦探。他们不是各自写好报告再交给法官，而是被强制要求在调查过程中就进行沟通。
他们在开始阶段就把笔记合并成一份巨大的“案件卷宗”。
然后，一个特殊的**注意力模块（Attention Module）**充当了“聚光灯”的角色。它扫描合并后的卷宗并说道：“嘿，看这里！文本说的是‘和平抗议’，但照片显示的却是暴乱。这种不匹配很可疑！”它会强调矛盾之处，并忽略那些平淡无奇、相符的部分。

训练场

团队在名为 Fakeddit 的大规模数据集上训练了这个侦探。这是一个巨大的图书馆，包含数百万条 Reddit 帖子，其中每一条帖子都配有一张图片和一个故事，并且已经有人将其标记为“真实”、“虚假”、“讽刺”或“混合”。

结果：这个侦探有多厉害？

当他们用 AVTF-Net 测试其他方法时：

准确率： 它的正确率达到了 95.8%。
对比：
- 仅靠文本的侦探正确率约为 89%。
- 仅靠图像的侦探正确率约为 81%。
- 即使是“投票”系统（即两个独立的模型进行猜测然后投票）也仅达到了 93.7% 的正确率。
胜出者： 通过让两名专家及早结合并让他们相互交流，AVTF-Net 成了识破那些足以欺骗其他模型的微妙谎言的最佳选择。

为什么这很重要（根据论文所述）

论文声称该系统之所以更好，是因为它不仅看文本或图像，它看的是它们如何相互契合。这就像意识到一张阳光明媚的海滩照片与一个关于暴风雪的故事并不匹配。

作者表示，该模型已准备好用于：

内容核查： 检查一个故事是否真实。
虚假信息监测： 监控在线传播的谎言。
自动化审核： 帮助社交媒体网站自动标记可疑帖子。

简而言之，AVTF-Net 是一种更聪明的查证方式，因为它会在判定一条新闻是真是假之前，先确保图片和故事是相互吻合的。

技术摘要：用于多模态虚假新闻检测的 AVTF-Net

问题陈述
数字平台上虚假新闻的快速传播对信息完整性构成了重大威胁，这些新闻通常依赖于欺骗性文本与操纵图像的结合。虽然单模态检测系统（仅文本或仅图像）已取得进展，特别是基于 Transformer 的模型（如 BERT），但它们无法检测跨模态的不一致性。基于文本的模型忽略了视觉语境，而基于图像的模型则缺失了文本中的语义细微差别。因此，这些系统难以识别利用文本主张与视觉证据之间差异来进行误导的策略。目前迫切需要一种能够对多模态输入进行联合推理，以检测此类跨模态语义差异的鲁棒系统。

方法论
本文提出了一种名为 AVTF-Net 的混合深度学习框架，旨在进行多模态虚假新闻检测。该架构集成了一个经过修改的 AlexNet 用于视觉特征提取，以及一个经过微调的 BERT 模型用于文本上下文嵌入，并通过**早期融合（early fusion）**策略将两者连接。

视觉分支（修改后的 AlexNet）： 模型利用定制的 AlexNet 从调整为 227×227 像素的图像中提取空间和语义特征。与标准 AlexNet 不同，其最终层经过修改，包含一个紧凑的投影模块。这涉及两个各含 4096 个单元的全连接层，随后是一个带有 ReLU 激活、Dropout 和批归一化的 512 单元全连接层。这一过程生成了一个用于融合优化的 512 维紧凑视觉嵌入 ( $h_v$ )。
文本分支 (BERT)： 文本内容（标题、帖子、评论）使用预训练的 BERT 模型进行处理。输入 Token 由词嵌入、位置嵌入和段落嵌入求和而成。模型采用多头自注意力机制和前馈网络来捕捉上下文关系和长程依赖。最终输出是一个被投影到共享 512 维嵌入空间的句子表示 ( $h_t$ )。
多模态融合策略： 核心创新在于早期融合机制。512 维的视觉和文本嵌入被拼接成一个 1024 维的复合向量。该向量经历以下过程：
1. 非线性对齐： 一个可学习的权重矩阵和偏置对拼接后的向量进行变换，并通过 tanh 激活函数来协调尺度和语义。
2. 轻量级注意力模块： 一种跨模态注意力机制动态地为模态特定组件分配权重，以放大信息丰富的线索并抑制无关模式。
3. 分类： 融合后的表示通过一个全连接层和 Sigmoid 激活函数进行二分类（虚假 vs 真实）。
训练： 模型使用 Adam 优化器和交叉熵损失进行优化，并引入 Dropout 和批归一化以实现正则化和稳定性。

主要贡献

新型混合架构： 该设计通过轻量级全连接层和全局平均池化对 AlexNet 进行了定制，以生成紧凑的视觉嵌入，同时集成了微调的 BERT 模型。这与轻量级融合注意力模块相结合，有效地整合了视觉和文本信息。
多模态数据集利用： 本研究利用了 Fakeddit 数据集，这是一个包含配对文本和图像的大规模 Reddit 帖子语料库。这使研究重点从仅限文本的基准转向了更真实的、涉及两种模态的误导场景。
融合策略评估： 论文系统地评估了早期融合（特征级）和后期融合（决策级）策略。实验结果表明，早期融合在捕捉深层模态间相关性方面表现更优，优于后期融合和单模态基准模型。

结果
所提模型在 Fakeddit 数据集（100 万个样本）上进行了评估，并与单模态基准（仅 BERT、仅 AlexNet）、后期融合多模态模型、集成方法以及最先进的方法（SOTA）进行了对比。

性能指标： AVTF-Net 实现了 95.80% 的准确率和 95.60% 的 F1 分数，超过了最佳单模态基准（仅 BERT：89.20% 准确率；仅 AlexNet：81.50% 准确率）和后期融合多模态模型（92.60% 准确率）。
与 SOTA 对比： 该模型在 Fakeddit 数据集上超越了最近的最先进方法，如 MACN+MKD、MTTV 和 GS2F，实现了最高的 AUC-ROC (0.97) 和最低的误分类率 (4.20%)。
泛化能力： 在 Twitter、PolitiFact 和 Weibo 数据集上的跨领域评估显示，该模型保持了较高的准确率（89.40%–91.60%），表明尽管存在领域偏移，仍具有强大的泛化能力。
消融实验： 去除注意力模块导致性能显著下降（准确率降至 91.30%），验证了其在锚定图像-文本语义方面的作用。同样，移除特征融合（仅使用一种模态）也导致性能大幅下降。

意义与主张
论文声称，AVTF-Net 通过有效解决单模态系统的局限性，为自动识别误导信息建立了新的技术标杆。通过利用早期融合，该模型成功捕捉到了作为复杂虚假新闻特征的跨模态依赖和语义差异。作者断言，其高水平的性能（接近人类标注者 96.90% 的准确率）以及对噪声的鲁棒性，使其适用于内容核查、误导信息监测和自动化审核等实际应用。研究强调，视觉和文本证据的整合对于检测文本与图像被操纵以强化虚假叙事的这种高保真度虚假新闻至关重要。作者建议的未来工作包括探索先进的视觉编码器（如 Vision Transformers）、引入外部知识库，以及提高针对不同平台和语言的领域适应性。