🤖 machine learning

The Calibrated Deepfake Trust Score (CDTS): Competence-Coupled Trust Degradation Across Deepfake Detectors

本文介绍了校准深度伪造信任评分（CDTS）框架，该框架证明了深度伪造检测器的校准与判别能力本质上是耦合的，从而确立了判别能力作为一种确保在现实世界验证流水线中实现可信度、公平性能和有效路由的关键且无需标签的指标。

原作者： Md Anas Biswas

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Md Anas Biswas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一名在博物馆工作的保安。他的工作是识别伪造的画作。在过去，我们只关心他是否大部分时间都能得到正确答案（准确率）。但在现实世界中，我们需要的不仅仅是一个“是/否”的答案；我们需要知道他的“是”或“否”在多大程度上是值得信任的。

如果保安说：“我有 99% 的把握这是伪造品，”但实际上他只是在瞎猜，那是很危险的。如果他自信满满地指着一幅真画说它是伪造的，博物馆可能会把它扔掉。这篇论文介绍了一种衡量这种信任度的新方法，称为校准深度伪造信任分数（Calibrated Deepfake Trust Score, CDTS）。

以下是该论文核心发现的简单解释：

核心秘密：“能力”是总开关

作者发现，一个检测器给出可靠分数的水平，完全取决于它在识别特定伪造目标方面的实际表现有多好。他们称之为“能力”（Competence）。

把这想象成一位天气预报员：

高能力： 预报员是研究局部风暴的专家。当他们说“有 90% 的降水概率”时，你可以信任这个数字。如果他们说 90%，那么 90% 的情况下确实会下雨。
低能力： 预报员正在对一种从未见过的天气模式（比如一种新型风暴）进行猜测。即使他们说“我有 90% 的把握会下雨”，他们其实也只是在瞎猜。他们的信心是虚假的。

论文证明了，随着检测器的技能（能力）下降，它提供可靠分数的能力也会随之崩溃。这不是因为数学逻辑出了问题，而是因为检测器根本不知道自己在看什么，所以它的“信心”变得毫无意义。

五个信任信号同步波动

研究人员观察了衡量检测器是否值得信任的五种不同方式：

校准度（Calibration）： 概率是否符合现实？（例如：“80% 的概率”是否真的意味着 10 次中有 8 次发生？）
公平性（Fairness）： 分数对于不同群体（如不同肤色或年龄）是否同样可靠？
解释性（Explanation）： 当检测器指向图像的一部分并说“这是伪造部分”时，它观察的是否真的是那个部分？
监控（Monitoring）： 我们能否在不需要看到标准答案的情况下，判断出检测器是否正处于挣扎状态？
路由（Routing）： 我们能否决定何时忽略检测器的答案？

令人惊讶的发现： 论文表明这些并不是五个独立的问题。它们都受控于同一个“总开关”（能力）。

如果检测器技术精湛，那么所有五个信号都是良好的。其解释是有意义的，公平性也是存在的，分数也是准确的。
如果检测器技术拙劣（面对一种新的伪造类型），所有五个信号会同时失效。解释变得荒谬，分数变得不可靠，公平性也会随之崩溃。

关于“时间”的误解

作者最初认为，随着时间的推移和新伪造技术的出现，信任度会逐渐流失。他们发现事实并非如此。

类比： 这关乎的不是“日历”；而是“距离”。
检测器失效并不是因为伪造品是“新的”。失效是因为伪造品离检测器所训练的内容太远了。如果一个检测器是基于“粘土模型”训练的，而你给它看一个“塑料模型”，它就会失效。如果你给它看一个“木头模型”（它认识的模型），它就能正常工作。制作这个塑料模型花了多少“时间”并不重要；重要的是检测器缺乏处理塑料的经验。

解决方法：“无标签”雷达

在现实世界中，你通常没有“标准答案”（标签）来检查检测器是否正确。你只有检测器的输出。

论文表明，你只需观察检测器分数的行为，就可以估算出检测器的能力，而无需知道真相。
类比： 想象汽车的发动机。你不需要打开引擎盖就能知道它是否在挣扎；你可以通过听发动机的声音（分数分布）来判断。如果引擎在剧烈抖动（高不确定性），你就知道车子出问题了。
作者发现，预测熵（Predictive Entropy）（一种表示检测器看起来有多困惑的高级说法）是一个可靠的雷达。如果检测器看起来很困惑，你就知道它的信任分数是不可靠的，即便你不知道具体原因。

实际解决方案：“感知能力的路由策略”

因为我们现在可以检测到检测器何时处于挣扎状态（低能力），所以我们可以改变使用它的方式。

旧方法： 如果检测器以高置信度说“伪造”，我们就拦截内容。（问题在于：一个困惑的检测器可能会表现得非常自信且错误。）
新方法 (CDTS)： 在信任检测器之前，我们先检查它的“能力雷达”。
- 如果检测器针对这种特定类型的伪造品是精通的，我们就信任它的分数。
- 如果检测器正在挣扎（低能力），我们就放弃（abstain）。我们会说：“我不知道，请让人工检查一下，”或者将其路由到另一个系统。
这防止了系统在面对新的、棘手的伪造品时做出自信的错误判断。

总结

论文认为，我们不应再将深度伪造检测器视为简单的“是/否”机器。相反，我们应该将它们视为需要不断审计其能力的信任工具。

如果检测器胜任工作： 它的分数、解释和公平性都是值得信赖的。
如果检测器无法胜任工作： 一切都会同时崩溃。
解决方案： 使用一个“能力监测器”（类似于雷达）来检测检测器何时超出了其能力范围，并在发生这种情况时停止信任其分数。这使得整个系统更加安全且可靠。

技术摘要：校准深度伪造信任分数 (CDTS)

1. 问题陈述

现代深度伪造检测器正越来越多地作为操作流水线中的信任信号（而非仅仅是二元分类器）进行部署，用于内容审核、来源验证和身份认证。在这些场景中，检测器的输出概率被解释为一种信任程度；一个具有高置信度但标签错误的资产（高概率、错误标签）会在系统中无声无息地传播，而不触发人工审查。因此，校准（即概率估计的可靠性）与判别准确性同样至关重要。

然而，现有文献主要优化准确率（AUC、检测率），并将校准视为针对固定基准的静态改进问题。这种方法无法解决当检测器遇到新型生成器、压缩伪影或人口统计学子群体时，信任信号如何发生退化的现象。本文指出，当前的信任工具缺乏“优雅的信任退化”（Graceful Trust Degradation, GTD）：即当检测器的底层能力下降时，仍能保持校准、提供忠实的解释并避免无声失效的能力。

2. 方法论

作者引入了校准深度伪造信任分数 (CDTS)，这是一种包装机制，旨在将任何检测器的原始逻辑值（logit）转换为一个增强了无标签能力监测功能的校准信任分数 ( $T$ )。

实验设置

检测器： 评估了三种架构：Xception 和 EfficientNet-B4（卷积神经网络）以及一个 CLIP 视觉 Transformer。所有模型均在人脸替换（face-swap）伪造数据上进行训练。
数据集： 包括 FaceForensics++ (c23)、Celeb-DF v2、涵盖从 GAN 到扩散时代的 DF40 生成器套件，以及一个外部的 FaceForensics 深度伪造检测 (DFD) 集，用于分布外（OOD）验证。
能力操控： 为了将“能力”与“数据集身份”分离，作者在人脸替换（FS）数据上使用了经过重演（reenactment）训练的（FR）Xception 检查点。这诱导了低判别能力（AUC < 0.67）的伪造情况，从而创造了一个受控的“低能力”机制。
校准协议： 研究采用了先验协议（oracle protocol），其中校准器是在每个目标生成器中身份不相交（identity-disjoint）的一半标注数据上拟合的。这隔离了核心问题：即在给定检测器能力的情况下，一个分数是否是可校准的，从而将其与单个校准器的迁移性区分开来。
指标：
- 能力（Competence）： ROC 曲线下面积 (AUC)。
- 校准（Calibration）： 等质量预期校准误差 (Equal-mass ECE)，以避免分箱偏差。
- 解释忠实度（Explanation Faithfulness）： 一种无饱和度的、基于区域排名的指标（Spearman 相关系数，衡量 Grad-CAM 重要性与移除补丁后实际概率下降之间的关系），以避免由于能力型检测器中的分数饱和导致的混淆。
- 无标签信号： 在无需地面真值标签的情况下计算的预测熵、分数离散度和参考差异度（KS、Wasserstein）。

3. 核心贡献与发现

C1: 能力与校准的耦合关系

核心发现是，检测器的判别能力（Competence）与校准误差之间存在强烈的负相关关系。随着能力（AUC）下降，校准误差（ECE）上升。

证据： 这一耦合关系在 32 种配置中均成立（汇总 Pearson $r = -0.81$ ），涵盖了两种 CNN 和一种 Transformer。
因果关系： 这种关系不仅是时间性的或特定于数据集的。当直接操纵能力时（使用 FR 检查点处理 FS 数据），这种耦合进一步加强（ $r = -0.94$ ）。
外部有效性： 该耦合在第四个未见过的 held-out 数据集（DFD）上得到了复制，该检测器从未在该数据集上训练过，且每个演员的相关性依然显著（Xception 的 $r = -0.89$ ）。
部署现实： 一个冻结在域内数据上的单一校准器，在面对低能力生成器时会精准失效。这种部署的校准器误差对能力的追踪甚至比先验协议更为紧密（ $r = -0.98$ ），证实了信任分数恰恰在新型生成器出现时变得不可靠。

C2: 校准公平性 vs. 准确性公平性

论文证明了校准公平性与准确性公平性是不同的概念。

发现： 子群体可能具有相等的准确率（相似的 AUC），但校准程度却不平等。例如，肤色子群体的 AUC 差距仅为 0.0006，但成对的 ECE 差距却达到了 0.0151。
启示： 仅关注错误率的标准公平性审计会忽略人口统计学群体在信任分数可靠性方面存在的实质性差异。

C3: 解释忠实度与能力的耦合

使用无饱和度指标，作者展示了解释忠实度随能力上升而上升（ $r = +0.94$ ）。

机制： 高能力的检测器生成的显著图（saliency maps）能够真正驱动决策。而低能力的检测器生成的显著图与所依据的证据不相关，导致解释失去忠实性。

C4: 无标签能力监测

论文确定了**预测熵（predictive entropy）**是一种稳健的、无标签的能力估计信号。

可移植性： 不同于参考差异度信号（如 KS 距离，其在不同架构间符号会反转：在 Xception 上为正，在 EfficientNet 上为负），预测熵在所有三种架构中都保持了与能力一致的负相关性（ $r = -0.84, -0.38, -0.95$ ）。
效用： 这使得系统可以在无需地面真值标签的情况下，检测出未见生成器带来的校准风险。

C5: 信任信号的统一性

在卷积检测器上，内在信任信号（校准度和解释忠实度）会坍缩到一个由能力对齐的单一因子上（解释了约 90% 的方差）。虽然完整的多信号结构（包括监测信号）具有架构特异性，但核心发现——即能力是信任退化的共同驱动因素——在 CNN 和 Transformer 之间具有普适性。

C6: 基于能力的路由

基于无标签能力估计（分数离散度）进行的源批次路由，其表现优于基于置信度的路由。

结果： 能力感知路由降低了整体风险覆盖曲线下面积 (AURX)，特别是在验证系统必须决定是否放弃执行的低到中等覆盖操作区间内，提升了性能。

4. 意义与主张

本文认为，检测器的可信度并非由五个独立的保证（校准、公平、忠实等）组成，而是由一个可测量的单一因子组织起来的：能力（Competence）。

重构问题： 作者拒绝了“时间性假设”（即信任仅仅是随时间退化的）。相反，他们断言时间只是距离检测器能力前沿的代理变量。这些信号之所以同步发生，是因为它们共享同一个能力驱动力。
行动指南： 信任评分必须具备能力感知能力。系统应通过预测熵估计能力，并根据能力来调节信任度。
范围与谦逊： 作者明确限制了关于“统一因子”的主张。虽然能力-校准耦合和无标签监测在所有三种架构中都具有通用性，但将所有信任信号统一为一个单一因子的完整结构是针对卷积骨干网络的。本文并不声称能力是所有可能架构或所有忠实度方法的通用单一因子，而是指在所测试的 CNN 和 Transformer 中，它是展现出的共同驱动因素。

CDTS 包装器被提议作为实现这一洞察的机制，使系统能够基于检测器的实际能力而非原始置信度来实现“知晓、展示、预警、非歧视及路由”。