Consistency-Aware Multimodal Media Authentication for Deepfake Detection, Tampering Localization, and Source Verification
本文提出了一种一致性感知多模态认证框架，该框架整合了视觉特征、双域水印证据以及结构化溯源元数据，旨在共同执行深度伪造检测、篡改定位和来源验证，并证明在证据退化、缺失或冲突的情况下，其鲁棒性和准确性均优于传统的融合方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在这个照片可以被篡改以显示一个人说了其从未说过的话，或者视频可以被替换以使政客看起来进入了其从未进入过的房间的时代，视觉真相的概念本身正受到威胁。几十年来，专家们一直试图通过寻找像素中微小的、不自然的瑕疵来捕捉这些伪造品，就像法医检查指纹上的污点一样。另一些人则试图从源头保护图像，通过在文件内部隐藏被称为“水印”的秘密数字代码，希望这些代码能在任何修改图片的尝试中幸存下来。第三种方法依赖于数字收据或“来源证明”（provenance records），通过加密方式记录谁创建了图像以及图像之后发生了什么。然而，每种方法都有其弱点：伪造品可能完美到不留下任何视觉瑕서，水印可能会因为简单的裁剪而被意外抹除，或者数字收据可能会被伪造。当代的科学家面临的核心挑战不仅是寻找其中一种线索，而是要弄清楚当这些线索讲述不同故事时，该如何权衡它们。
韩国崇实大学的一位研究人员提出了一种解决这一难题的新方法，该方法将这些不同的线索视为法庭上不同的证人，而非单一拼图中的可互换碎片。在 2026 年 10 月发表的一项研究中，他们引入了一个系统，能够同时检测深度伪造（deepfakes）、精准定位图像被篡改的具体位置，并验证图像声称的来源是否值得信赖。该方法并没有强行将所有证据压缩为一个“真实或虚假”的结论，而是分别倾听视觉细节、隐藏水印和数字收据的声音。然后，它会问一个关键问题：这三个来源是否相互一致？如果视觉证据表明发生了换脸，但隐藏的水印和数字收据都确认了原始创作者，该系统会识别出这种特定的张力，而不是简单地宣布图像为假。
研究人员构建该系统时，考虑到了证据经常缺失、退化或相互矛盾的复杂现实。他们使用大规模的高质量面部图像库训练模型，创建了数千个案例，包括换脸、改变表情或由人工智能重新生成整个图像的情况。至关重要的是，他们还创建了一个受控环境，可以在其中嵌入两种不同类型的隐藏水印——一种存在于图像生成过程的数学“潜空间”（latent space）中，另一种则直接位于可见像素中。他们还将这些水印与记录图像历史的结构化数字记录相结合。目标是观察计算机是否能学会区分“证据缺失”（应导致“不确定”结论）与“证据与声明主动冲突”（应导致“错误”结论）这两种情况。
实验结果令人瞩目。在受控集合上的测试显示，该系统正确识别篡改图像的准确度转化为 0.969 的得分，较以往仅简单合并所有数据的模型有了显著提升。更重要的是，它能以 0.816 的精度定位图像被修饰的具体位置，并能以 0.945 的得分判断来源声明是被支持、被反驳还是缺乏足够证据。研究表明，即使在某些证据缺失或冲突时被迫做出决策，该系统的表现仍大幅优于旧方法。例如，当隐藏水印受损或数字记录缺失时，该系统不会惊慌或盲目猜测；它能正确识别出自己缺乏足够信息来进行定论，而旧系统往往缺乏这种能力。
最重要的发现之一是，该系统能够处理互联网上的混乱现实，即图像可能经过编辑但仍保留其原始创作者的数字签名。在许多情况下，一张图片可能被篡改（例如，将一张脸换到另一个身体上），但隐藏的水印和数字收据仍会正确指向原始生成者。旧系统在此类情况下往往会失败，要么因为签名有效而忽略了篡改，要么因为图像被编辑而错误地拒绝了签名。然而，新方法成功分离了这两项任务。它既能标记图像已被篡改，同时又能确认关于其起源的声明仍有证据支持。这种区分至关重要，因为它承认了一件内容可以既是被修改过的，又是来源真实的——这种细微差别是那些仅进行二元“真或假”检测的系统所忽略的。
研究人员还测试了该系统在压力下的表现，模拟了图像在网络传播过程中遭受的各种损伤，如压缩、调整大小或裁剪。他们发现，尽管重度编辑或完全重新生成图像会增加难度，但该系统依然保持稳健。即使隐藏水印被激进的滤镜部分破坏，或者数字记录缺失，系统仍能依靠剩余的线索进行可靠评估。在视觉证据、水印和记录讲述不同故事的情景下，该系统通过权衡其可靠性来维持高水平的准确性，而那些仅仅将数据混合在一起的简单系统则会崩溃。
这项工作表明，媒体认证的未来不在于寻找一种能检测所有伪造行为的“万能钥匙”，而在于构建能够理解不同类型证据之间关系的系统。通过将视觉痕迹、隐藏代码和数字日志视为独立但相关的真相来源，研究人员创建了一个对当前复杂的图像篡改和分享方式更具韧性的框架。该研究并未声称已经彻底解决了深度伪造问题，也没有承诺每一张编辑过的图像都能被完美追踪。相反，它提供了一种更高级的方式来应对不确定性，提供了一个工具，不仅能告诉我们哪里出了问题，还能告诉我们何时我们仅仅是缺乏足够的信息来做出判断。随着生成式工具变得日益强大，这种区分“线索缺失”与“证据冲突”的能力，可能是维持我们所见之物信任度的关键。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。