🤖 AI

CORE: Conflict-Oriented Reasoning for General Multimodal Manipulation Detection

本文提出了 CORE，这是一个以冲突为导向的推理框架，它利用新构建的冲突归因语料库来增强多模态大语言模型通过识别内在语义或物理不一致性来检测泛化虚假新闻的能力，从而在少样本和零样本场景下实现比现有最先进方法更优越的性能。

原作者： Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinjie Shen, Yaxiong Wang, Yujiao Wu, Lechao Cheng, Tianrui Hui, Nan Pu, Zhihui Li, Zhun Zhong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网是一个巨大的、繁忙的市场，人们在其中交易故事、图片和新闻。最近，一种新型的商人来到了这里：生成式人工智能（Generative AI）。这些商人非常擅长绘画和写作，以至于他们可以创造出看起来完全真实的“假新闻”。这就像是一个大师级的伪造者，可以画出一幅总统赢得足球奖杯的肖像，尽管这从未发生过。

问题在于，旧的安全警卫（现有的检测工具）是针对特定类型的伪造进行训练的。如果他们知道如何识别“歪斜的微笑”，他们可能会抓到它。但如果伪造者把招数换成了“奇怪的光影”，旧警卫就会感到困惑。每当伪造者改变风格时，他们都需要从头开始重新训练，这太耗费时间和数据了。

走进 CORE：这位“冲突侦探”

Jinjie Shen 及其团队的研究人员意识到，所有的假新闻都有一个共同点：它们不合逻辑。 它们内部存在矛盾。

把它想象成一名正在破解谜团的侦探：

旧的方法： 侦探记住了每一个已知罪犯的面孔。如果一个带着不同面孔的新罪犯出现，侦探就会失败。
CORE 的方法： 侦探学习的是犯罪的逻辑。他们会问：“这个故事是否与我对世界的认知相矛盾？”

CORE（冲突导向推理，Conflict-Oriented REasoning）教会了一个聪明的计算机大脑（称为多模态大语言模型）成为这样一位基于逻辑的侦探。它不再是通过记忆特定的伪造手段，而是通过学习如何识别冲突。

CORE 如何运作：三个步骤的训练营

为了教导这个计算机大脑，研究人员构建了一个包含三个部分的特殊训练计划：

1. “冲突图书馆”（冲突归因语料库）
首先，他们需要一本教科书。他们创建了一个包含 1 万 4 千条假新闻故事的海量图书馆。但他们不仅仅是将它们标记为“假”。他们像法医专家一样对其进行了细致的拆解：

冲突因子（The Conflict Factor）： 矛盾是什么？（例如：“文本说‘总统’，但图像显示的是‘足球奖杯’。”）
冲突来源（The Conflict Source）： 谎言来自哪里？（例如：“文本在撒谎，”或者“图像在撒谎，”或者“这与现实世界的常识相悖。”）
类比： 这就像是给学生一套测试题，他们不仅要标出“错误”，还要写下确切地为什么错，以及问题的哪一部分导致了错误。

2. “桥梁搭建者”（模态桥接预训练）
计算机经常在连接它们“看到”的东西（图像）与它们“读到”的东西（文本）方面遇到困难。有时，计算机看到了足球场的图片，但并不真正“理解”文本中提到的“总统”。

CORE 在这两个世界之间搭建了一座桥梁。它训练计算机观察一张图片并立即理解其文本描述，反之亦然，使它们能够使用同一种语言交流。

3. “逻辑健身房”（冲突感知训练）
现在，计算机进入了健身房。利用“冲突图书馆”，它练习识别矛盾。

计算机学习在脑海中将“冲突的想法”推开。如果它同时看到“总统”和“足球奖杯”，它会学会大喊：“等等！这两者不应该出现在一起！”
它学会说：“这是假的，因为文本声称 X，但图像显示 Y，而我的知识告诉我也许 X 和 Y 不能同时发生。”

为什么这是一个游戏规则的改变者

论文表明，这种新方法具有极高的速度和灵活性。

“少样本（Few-Shot）”超能力： 想象一下，你想教一个警卫识别一种新型的假新闻（例如，某个特定新名人的深度伪造视频）。
- 旧方法： 需要成千上万个关于该特定名人的例子才能学习。
- CORE： 只需要极少数的例子（有时只需 100 个，甚至为零！）。因为它已经理解了冲突的逻辑，它可以立即将这种逻辑应用于新的名人。这就像是通过解释规则来教人下国际象棋，而不是让他们死记硬背每一局可能的对弈。
“零样本（Zero-Shot）”奇迹： 在某些测试中，CORE 可以识别出它从未见过的全新类型的假新闻，只需阅读新闻并询问：“这合理吗？”

总结

论文声称，通过关注内在冲突（逻辑矛盾）而非特定的视觉技巧（伪造技术），CORE 创建了一个鲁棒、通用且不需要海量数据来学习新招数的检测器。它将计算机变成了一个批判性思考者，它会问：“这个故事站得住脚吗？”而不是仅仅问：“我以前见过这张照片吗？”

研究人员已将其“冲突图书馆”和代码向公众开放，希望其他人可以使用这个“基于逻辑的侦探”来维护互联网的诚信。

技术摘要：CORE —— 面向通用多模态篡改检测的冲突导向推理

1. 问题陈述

生成式人工智能（Generative AI）的飞速发展导致了现实且普遍存在的多模态虚假新闻激增，对公众信任和社会稳定构成了重大威胁。现有的检测方法面临两个关键局限性：

数据依赖性： 它们过度依赖大规模、特定类型的标注数据集。
设计僵化性： 它们利用针对特定篡改类型（如换脸、图文不一致）定制的模型和训练范式。

因此，当遇到新兴的篡改模式时，这些方法表现出较差的泛化能力。伪造技术与检测方法之间的“军备竞赛”意味着，当新的伪造演变速度超过数据收集和模型重训的周期时，当前模型的性能会显著下降。此外，尽管多模态大语言模型（MLLMs）拥有丰富的世界知识，但它们往往缺乏概念清晰度，无法区分语义上差异巨大的概念（例如，在特征空间中将“美国总统”与“足球奖项”混淆），从而导致在鲁棒的误导信息检测中失败。

2. 核心洞察

作者观察到，被篡改的误导信息的本质在于其内在的冲突（Conflict）。这些冲突体现为：

语义矛盾： 内容与常识性世界知识之间的一致性缺失（例如，新闻标题声称美国总统获得了一项足球奖项）。
物理不一致性： 被篡改内容与原始图像或文本之间在光照、阴影或物体属性上的差异。

论文认为，如果一个检测模型被赋予显式的冲突捕捉能力，它就可以模拟人类的鲁棒性，从而在无需针对特定伪造痕迹进行专门设计的情况下，通过极少量的数据（少样本或零样本）实现对新型篡改类型的有效适应。

3. 方法论：CORE 框架

冲突导向推理（Conflict-Oriented REasoning, CORE） 框架旨在赋予 MLLMs 显式的概念理解和冲突检测能力。它由三个主要阶段组成：

3.1. 冲突归因语料库（CAC）构建

为了提供必要的细粒度监督以实现冲突感知，作者构建了包含 14,000 个样本的冲突归因语料库（CAC）。

来源： 衍生自 SAMM 数据集（100k 图像-文本对）。
标注过程： 利用专家级 MLLM 池（GPT-4o, Gemini2.5-Pro, Qwen3-VL-Plus），系统生成关于为什么某条新闻是虚假的详细逻辑说明（rationales）。这些逻辑说明被蒸馏成包含以下内容的结构化格式：
- 冲突因子 ( $C_1, C_2$ )： 特定的矛盾概念（例如，“美国总统” vs. “金球奖”）。
- 冲突来源 ( $S_1, S_2$ )： 矛盾的起源（图像、标题或世界知识）。
分布： 冲突源自标题（29.98%）、图像（36.86%）和世界知识（33.16%）。

3.2. 模态桥接预训练（MBPT）

由于 CAC 中的冲突标注是文本形式，但通常描述的是视觉元素，因此训练了一个**跨模态对齐器（Cross-Modal Aligner）**来弥合模态间隙。

数据： 来自 FineHARD 数据集的 50k 样本（包含图像、正向文本和硬负向文本）。
机制： 通过一个交叉注意力层将视觉特征与文本特征进行对齐。
损失函数： 结合了对比学习损失（SigLIP）以确保匹配文本与视觉特征之间的语义相关性，以及语言生成损失（VQA 风格）以保留语言能力和细粒度理解。

3.3. 冲突感知训练（CPT）

此阶段显式地重塑模型的概念理解以检测冲突。

输入： 带有结构化冲突因子和来源的 CAC 样本。
特征处理： 如果冲突因子源自图像，则提取其视觉特征；否则使用文本特征。
损失函数：
- 冲突感知对比损失 ( $L_{cacl}$ )： 在语义空间中将两个冲突因子的表示 ( $z_1, z_2$ ) 推开，以建立清晰的概念边界。
- 冲突推理损失 ( $L_{cr}$ )： 一种语言建模损失，训练模型根据 $C_1$ 与 $C_2$ 之间的冲突输出决策（真/假）及推理过程。

3.4. 快速适应

一旦完成训练，CORE 框架可以实现对新篡改类型的快速适应。该模型仅需一个简单的问答指令（“这条新闻是真的还是假的？”）以及极少的微调（few-shot）或零样本（zero-shot）推理，即可在未见的篡改模式上取得高性能。

4. 核心贡献

通用范式： 引入了一种用于通用多模态篡改检测的学习范式，能够通过有限的目标样本快速适应新型篡改，摆脱了针对特定伪造类型的专门设计。
CORE 框架： 一个通用的框架，赋予 MLLMs 类人化的冲突推理能力，通过关注内在冲突而非特定的伪造痕迹，实现对未见误导模式的快速适应。
冲突归因语料库 (CAC)： 一个精心策划的、包含 14k 样本的数据集，具有细粒度的冲突因子和来源标注，作为研究多模态篡改中冲突推理的基准。

5. 实验结果

该框架使用 Qwen2.5VL-3B 和 Gemma3-4B 作为骨干网络，在四个数据集上进行了评估：DGM4, MDSM, MMFakeBench, 和 NewsCLIPpings。

少样本性能： 在有限训练数据（100–750 个样本）下，COREQwen 和 COREGemma 达到了 SOTA（最先进）水平，分别比第二优的方法平均高出 9.94% 和 10.50%。
零样本泛化： 在跨篡改检测（在一种篡改类型上训练并在未见的类型上测试）中，CORE 显著优于基准方法（例如，在 MDSM 上提升了 >14%）。
大规模鲁棒性： 即使在处理大规模数据（完整 SAMM, MDSM, 以及 200k NewsClippings）时，CORE 仍保持了卓越的稳定性，比基准方法高出约 3.8–4.2%。
时效性事件： 在涉及 2025 年事件（超出模型预训练范围）的评估中，CORE 达到了 74% 的准确率，显著优于基准方法（44–52%），证明了其在缺乏特定实体知识的情况下检测逻辑违规的能力。
消融实验： 实验证实了 MBPT 阶段（桥接模态间隙）和 CPT 阶段（学习冲突边界）都是必不可少的。移除 CPT 会导致性能大幅下降（~4.58%），而移除 MBPT 中的对比损失会导致 4.44% 的下降。

6. 重要性与主张

论文声称 CORE 解决了当前检测方法的一个根本缺陷：过度依赖特定的数据模式和模型设计。通过将重点转向误导信息固有的核心冲突，CORE 使模型能够实现鲁棒的泛化。

效率： 该框架减少了对高能耗全参数重训和大规模、特定类型数据收集的需求。
鲁棒性： 它提供了一种能够应对不断演变的生成式 AI 威胁（包括缺乏特定世界知识的“零日”误导信息）的解决方案。
伦理考量： 作者指出，CAC 数据集的发布严格遵循研究许可，禁止将其用于生成任务，以防止被误用于创建欺骗性内容。

作者总结道，掌握冲突感知的基本能力可以让模型摆脱对数据的依赖，为多模态误导信息检测提供一种可扩展且鲁棒的方法。