🤖 AI

Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models

本文提出了 Deep-VRM，一种新型的多模态大语言模型架构，该架构通过深度残差路径注入低层取证伪影，在保留预训练语义知识的同时，实现了全频谱取证信号的最先进检测性能，且不牺牲语义理解能力。

原作者： Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaiqing Lin, Zhiyuan Yan, Ruoxin Chen, Ke-Yue Zhang, Yue Zhou, Caiyong Piao, Bin Li, Taiping Yao, Bo Wang, Youchang Xiao, Shouhong Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：那位错失微小线索的“聪明侦探”

想象你拥有一位才华横溢的侦探（一个多模态大语言模型，简称 MLLM）。这位侦探极其聪明，能够理解故事、识别物体，并能察觉出一张照片的“氛围”。如果你给他看一张猫的照片，他不仅能告诉你这是一只猫，还能说出它的颜色，甚至能猜出这只猫在想什么。

然而，一个新问题出现了：AI 生成的图像正变得越来越逼真，肉眼看起来近乎完美。它们完美地通过了“氛围检测”。

这位侦探的问题在于，他过于关注宏观图景了。他太擅长理解“语义”（即图像的含义和故事），以至于完全忽略了制造该图像的 AI 所留下的微小、微观层面的瑕疵。这些微小的瑕疵就像是数字指纹或矩阵中的漏洞（glitches in the matrix）。

困境： 如果你试图通过强迫侦探从头开始重新学习来教他寻找这些微小漏洞，他会感到困惑。他会开始忘记如何识别一只猫或理解一个故事。为了学习如何识别漏洞，他失去了他的“常识”。
结果： 现有的方法要么使用一个独立的、专门的“漏洞猎手”工具（这使得侦探依赖于拐杖），要么试图直接训练侦探，但这会搞坏他的大脑。

解决方案：“深度残差注入”（秘密侧门）

这篇论文的作者提出了名为 Deep-VRM 的巧妙方法，旨在不破坏侦探大脑的前提下解决这个问题。他们称之为深度残差注入（Deep Residual Injection）。

以下是其工作原理，我们使用工厂流水线来进行类比：

流水线（模型层）： 想象侦探的大脑是一个拥有许多楼层（层）的工厂。
- 第 1–10 层（早期/中期）： 这是工厂理解图像“故事”的最佳阶段。它识别猫、背景和情绪。这是“语义区”。
- 第 11–20 层（后期）： 这是工厂进行最终推理并做出决策的地方。
旧方法（天真训练）： 以前，如果你想让工厂发现漏洞，你会尝试让前 10 层（第 1–10 层）也去寻找漏洞。
- 问题在于： 前 10 层被压垮了。它们试图在理解故事的同时，还要观察微小的漏洞。它们变得混乱，忘记了故事，导致整个工厂开始出错。
新方法 (Deep-VRM)： 作者意识到，他们应该保持前 10 层完全不变。这些层非常擅长理解故事，所以让他们继续做这件事。
- “绿色通道”（残差路径）： 他们没有强迫前 10 层发生改变，而是建造了一个秘密侧门（残差路径）。
- 他们安装了一个特殊的、微小的“漏洞扫描仪”（一个小型、可适配的模块），这个扫描仪只负责寻找数字指纹。
- 这个扫描仪完全绕过了前 10 层。它会等到图像已经被“故事理解”层处理完毕后再介入。
- 注入： 就在最终决策做出之前（大约在第 16 层左右），扫描仪将它的发现（“漏洞数据”）直接注入到主流程中。

接下来会发生什么？

现在，工厂的最后几层会同时接收到两股信息流：

信息流 A： “这是一只坐在沙发上的猫。”（保留的原始语义知识）。
信息流 B： “等等，毛发的纹理有一种现实中的猫所没有的奇怪、重复的数字模式。”（新注入的取证信号）。

工厂现在可以将这两股信息流结合起来。它会说：“好吧，我知道这是一只猫，但是，毛发的纹理是假的。因此，这是一张伪造的图像。”

为什么这很重要

无需拐杖： 侦探不再需要外部的“漏洞猎手”工具。侦探学会了通过自身来识别漏洞，且不会失去原有的智能。
鲁棒性（稳健性）： 因为侦探不仅仅是在死记硬背某种特定的漏洞，而是在学习如何将“故事逻辑”与“漏洞逻辑”相结合，所以即使图像经过压缩、缩放或编辑（比如当你把照片发到社交媒体上时），他们也能更好地识别伪造图像。
适应性： 模型学会了决定要给“漏洞信号”分配多少权重。有时故事本身就足够了；有时漏洞是唯一的线索。它能根据情况进行调整。

实验结果

论文测试了这种全新的 “Deep-VRM” 侦探在各种各样的伪造图像上的表现，并将其与世界上许多其他方法进行了对比。

它击败了世界上几乎所有的其他方法（达到 SOTA，即最先进水平）。
它在“野外”图像（即从真实社交媒体上获取的、杂乱且经过压缩的照片）上表现得极其出色。
它并没有忘记如何理解世界；它只是为自己原有的脑力增加了一项超能力。

简而言之： 他们并没有尝试重新训练整个大脑。他们保留了大脑的智慧，只是添加了一个专门的“漏洞传感器”，并将发现的结果直接输入到决策中心，从而让 AI 既能看到森林，也能看到树木中隐藏的微小虫子。

技术摘要：用于多模态大语言模型全谱系取证信号感知的深度残差注入

1. 问题陈述

AI 生成图像（AIGI）的快速发展引发了数字信任危机，亟需稳健的检测机制。虽然多模态大语言模型（MLLM）提供了强大的语义推理和可解释性，但在取证任务中面临一个关键局限：无法在不损害其预训练语义能力的情况下，检测低层级生成器伪影（artifacts）。

现有方法通常依赖外部专家检测器来补偿 MLLM 的弱点，或尝试直接对 MLLM 进行微调。然而，作者发现了一个根本性的表示冲突（representation conflict）：

语义与伪影学习的冲突： 预训练的 MLLM 针对高层语义特征（风格、内容、逻辑）进行了优化。通过标准微调（如 LoRA 或全量微调）强制这些模型学习细微的低层级生成器痕迹（伪影），会破坏已建立的语义表示。
两难困境： 标准微调无法有效恢复低层级伪影，而激进的微调（全量微调）会导致模型核心语义知识的“灾难性遗忘”，使其在通用检测任务中失效。

2. 方法论：深度视觉残差 MLLM (Deep-VRM)

为了解决语义保留与伪影检测之间的冲突，作者提出了基于**深度残差注入（Deep Residual Injection）**的新型架构 Deep-VRM。

2.1. 核心洞察：层级功能分层

通过对预训练 MLLM（特别是 Qwen-2.5-VL-7B）进行线性探测分析，作者发现了模型层内部的功能分层现象：

前中层（第 1–16 层）： 这些层对于形成稳定的语义表示至关重要。它们在语义任务上收敛迅速，但在处理低层级伪影检测任务时保持停滞。强制这些层学习伪影会破坏语义收敛。
后层： 这些层负责高层推理和信息整合。

2.2. 架构设计

Deep-VRM 采用了一种带有残差注入策略的双分支视觉架构，以实现学习过程的解耦：

冻结语义路径 ( $V_o$ )： 原始视觉编码器和 LLM 的前 $K-1$ 层保持冻结。这保留了预训练的语义感知能力，并防止灾难性遗忘。
适配伪影路径 ( $V_a$ )： 一个配备了 LoRA 适配器的并行视觉分支，旨在提取特定于伪影的视觉线索。
残差注入： 并非在输入层面进行特征对齐，而是将 $V_a$ $V_{a}$ 提取的伪影特征直接注入到 LLM 的中间隐藏状态（在第 $K$ $K$ 层处）。
- 注入公式为： $\tilde{h}^{(K-1)}_v = \alpha \cdot h^{(K-1)}_v + \beta \cdot V_a(I)$ ，其中 $\alpha$ 和 $\beta$ 是缩放因子（设为 0.5）。
- 这种“绿道（Green Road）”绕过了以语义为主导的前层，允许模型仅在语义特征收敛之后再学习低层级痕迹。

2.3. 训练策略

训练过程分为两个阶段：

阶段 1（语义对齐）： 使用专注于语义线索的数据集 ( $D_1$ ) 对 LLM 组件进行微调，以激活用于 AIGI 检测的预训练知识。
阶段 2（伪影感知精炼）： 引入专注于生成器痕迹的数据集 ( $D_2$ )（通过 VAE 重构创建，以消除语义干扰）。此时前层 LLM 保持冻结，而残差分支 ( $V_a$ ) 以及从 $K$ 到 $N$ 的 LLM 层进行优化。这使得模型能够对语义推理和信号级取证线索进行联合建模。

3. 核心贡献

发现了表示冲突： 本文系统地揭示了原生 MLLM 无法在不激进修改特征空间的情况下学习可泛化的低层级伪影，而这种修改会损害语义提取。研究确立了有效的检测需要将伪影学习与语义保留进行解耦。
Deep-VRM 架构： 一种将伪影特定特征直接注入 LLM 深层的新方法，绕过了以语义为主导的前层。这实现了无需外部专家检测器的最优特征集成。
达到最先进性能（SOTA）： 该方法仅基于 MLLM 即可实现卓越的性能，在低层级伪影常因后处理而退化的“实地（in-the-wild）”环境下展现出强大的泛化能力。

4. 实验结果

作者在包括 GenImage、SynthBuster、AIGI-Bench 和 WildRF（反映真实社交媒体条件的数据库）在内的多个基准测试中评估了 Deep-VRM。

泛化能力： Deep-VRM 在大多数基准测试中均达到了 SOTA 结果。例如，在 GenImage 数据集上，它实现了 97.42% 的平均准确率，超过了专门的取证模型如 OMAT (94.63%) 和 DRCT (83.53%)。
野外鲁棒性： 在测试抗压缩和抗缩放能力的 WildRF 基准测试中，Deep-VRM 达到了 89.51%，显著优于次优方法（AIDE 为 59.49%）以及专门的取证模型。
与 MLLM 的对比： 与难以进行检测的通用型 MLLM（如 Qwen-2.5-VL-7B, LLaVA-1.5，准确率为 50–68%）以及专门的取证 MLLM（Forensic-Chat, 88.75%）相比，Deep-VRM 取得了 93.28% 的最高平均准确率。
消融实验：
- 注入深度： 在深度 $K=16$ 处进行注入效果最佳。浅层注入（ $K=4$ ）会破坏语义编码，而过深注入（ $K=20$ ）则会导致用于联合推理的层数不足。
- 冻结前层： 冻结前层对于防止语义知识的遗忘至关重要，与全量微调相比，使在野外数据集上的性能提升了 5% 以上。
- 融合系数： 平衡设置 $\alpha=0.5, \beta=0.5$ 在保留语义表示与引入伪影线索之间提供了最佳权衡。

5. 重要性与主张

本文声称 Deep-VRM 成功弥合了高层语义分析与低层级取证感知之间的鸿沟。通过深度残差注入解决表示冲突，该模型使 MLLM 能够自主检测微妙的生成器痕迹和高层语义异常，而无需依赖外部专家检测器。

作者强调，这种方法提供了一个统一且可泛化的框架，用于可靠的 AI 生成图像检测。该模型在真实世界图像退化（压缩、缩放）下保持稳健性能的能力表明，它并非依赖于脆弱的单一模式伪影，而是利用了联合推理过程。这项工作证明，如果能通过架构创新而非暴力微调来尊重并利用 MLLM 内部的功能分层，那么 MLLM 可以有效地被适配于取证任务。