⚡ electrical engineering

Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

本文提出了一种名为维度共激活（DCA）的新指标，该指标通过分析未经标准归一化的原始特征维度共激活情况，来衡量冻结视觉基础模型中的样本内表征一致性，并通过识别合成人脸中的结构性不连贯性来证明其在检测深度伪造方面的有效性。

原作者： Izaldein Al-Zyoud Abdulmotaleb El Saddik

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Izaldein Al-Zyoud Abdulmotaleb El Saddik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明但处于“冻结”状态的机器人，它从未被教导过如何识别假照片。它刚刚通过观察数百万张真实图片学会了如何“看”世界。现在，你给它看一张人脸图片。

通常，我们会问机器人：“这看起来像真人吗？”但这篇论文提出了一个不同且更微妙的问题：“机器人是将这张脸视为一个连贯的整体故事，还是将其视为一堆不匹配的拼图碎片？”

以下是他们发现的分解，使用了简单的类比。

1. 问题：“弗兰肯斯坦”式人脸

深度伪造（Deepfakes，即虚假视频）变得越来越逼真。它们可以让假眼睛看起来完美，假鼻子看起来完美，假嘴巴看起来完美。如果你只看眼睛，它是真的；如果你只看嘴巴，它也是真的。

但在真实的人脸上，眼睛、鼻子和嘴巴由一种隐藏的“身份胶水”连接在一起。它们属于同一个人。而在假脸上，这种胶水断裂了。各个部分单独看是真实的，但它们彼此之间并不“说同一种语言”。

2. 工具：“维度共激活”（DCA）指纹

研究人员发明了一种测量这种“胶水”的新方法。他们称之为维度共激活（Dimensional Coactivation, DCA）。

你可以把机器人的大脑想象成拥有1,024 个不同的“电灯开关”（维度），当它看到某些东西时，这些开关就会亮起。

旧方法： 大多数工具会观察整张脸，然后说：“这看起来有 80% 像真人脸。”它们将所有内容平均化。
新方法（DCA）： 这个工具观察特定的特征对（例如眼睛和嘴巴），并问道：“当机器人看到眼睛时，哪些具体的电灯开关会亮起？而当它看到嘴巴时，是那些完全相同的开关亮起吗？”

如果是真脸，眼睛和嘴巴会点亮相同的开关，因为它们属于同一个身份。如果是假脸，眼睛和嘴巴点亮的开关则是随机且不同的。“胶水”缺失了。

3. 秘密武器：“约束解放”

这是论文中最重要的部分。研究人员发现，要看到这种“胶水”，你必须停止将机器人的大脑当作普通的数学问题来处理。

通常，在比较事物时，数学家会做三件事来使其“公平”：

中心化（Centering）： 减去平均值（移除“基线”）。
归一化（Normalization）： 确保所有数值大小一致（将大数字压缩）。
混合（Mixing）： 观察每个开关如何与其他每个开关相互作用。

论文认为，对于这项特定任务，这些“公平”规则实际上破坏了信号。

类比： 想象你试图在房间里听到一声低语。
- 中心化就像为了听清低语而调低房间的音量。
- 归一化就像强迫低语和喊叫具有相同的音量。
- 混合就像倾听低语在每面墙上反弹产生的回声。

研究人员发现，对于冻结的机器人（即不再进行重新训练的机器人），电灯开关的音量（幅度）和基线（均值）实际上包含了人脸身份的秘密代码。如果你“归一化”或“中心化”数据，你会意外地抹去你试图寻找的东西。他们将此称为**“约束解放”**——让原始数据自由发声，而不强行将其塞入框中。

4. 结果：“眼 - 口 - 鼻”指纹

他们在著名的假脸检测器DINOv3上测试了这种方法。

他们提取了人脸的眼睛、嘴巴和鼻子。
他们测量了这三个部分之间“电灯开关”的共激活情况。
他们创建了一个3,072 维的指纹（一长串数字），描述了这些部分之间的关系。

评分：

当他们在深度伪造数据集（CelebDF-v2）上测试时，即使机器人从未见过这些特定的伪造图像，其识别假脸的准确率也达到了91%。
“顿悟”时刻： 当他们再次尝试使用“公平”规则（中心化/归一化）时，准确率暴跌至 46%（基本上等于瞎猜）。这证明了他们的“原始”方法是唯一有效的方法。

5. 为什么机器人很重要

他们还尝试更换机器人的“大脑”。

DINOv3（自学）： 效果极佳。它拥有一个稳定的“坐标系”，其中电灯开关对眼睛和嘴巴意味着相同的内容。
FaRL（被教导去标记部分）： 效果极差（准确率 58%）。这个机器人被训练为仅仅说出“那是眼睛，那是鼻子”。它没有学会它们之间深层的、稳定的联系。

这证明，识别“断裂的胶水”的能力完全取决于机器人是否拥有对世界的稳定内部地图，而不仅仅取决于它能否找到人脸的各个部分。

总结

这篇论文指出：不要只看各个部分；要看这些部分在机器人大脑内部是如何相互“交谈”的。

如果你剥离掉通常的数学规则（归一化、中心化），并观察为眼睛和嘴巴点亮的原始“电灯开关”，你就能看到一个隐藏的指纹。如果该指纹杂乱无章，这张脸就是假的。如果它是一致的，这张脸就是真的。令人惊讶的是，我们通常用来清理数据的“杂乱”数学规则，实际上掩盖了这一真相。

技术摘要：用于冻结视觉基础模型表征一致性的维度共激活

1. 问题定义：表征一致性（RC）

本文探讨了冻结视觉基础模型评估中存在的空白。尽管这些模型已知能够提取特征，但作者提出它们还施加了一个学习到的坐标系来组织视觉结构。核心问题是表征一致性（RC）：确定单个冻结模型是否在其语义子区域内，将单一输入表示为内部连贯的整体。

与比较不同模型、层或分布之间表征的标准相似度度量（如 CKA、RSA）不同，RC 是一种样本内、模型内、区域间的测量。它询问同一物理身份（例如人脸的眼睛、鼻子和嘴巴）的语义区域是否在模型的特征空间内保持协调。作者认为，合成图像（深度伪造）可能复现局部合理的区域，但无法维持连接这些区域的表征结构，从而在针对真实世界图像训练的冻结模型中产生可检测的内部不一致性。

2. 方法论：维度共激活（DCA）

为了测量 RC，作者引入了维度共激活（DCA），这是一种旨在保留冻结坐标系特定属性的逐维度算子。

核心机制：
给定两个语义区域 $r_1$ 和 $r_2$ ，其采样补丁令牌矩阵为 $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$ ，DCA 计算这些区域间相同特征维度的共激活：
$\text{DCA}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$
这产生一个大小为 $D$ （特征维度）的向量，代表跨区域补丁令牌乘积的对角线。对于人脸，该方法将眼睛 - 嘴巴、眼睛 - 鼻子和嘴巴 - 鼻子对的 DCA 向量连接起来，形成一个3,072 维指纹（使用 $D=1024$ ）。

约束解放：
方法论的一个关键方面是刻意避免标准的相似度预处理步骤，称为"约束解放"。作者认为，适用于跨模型比较的操作与样本内测量不匹配：

无中心化：保留平均激活，因为它可能编码身份连贯性而非偏差。
无 L2 归一化：保留幅度，因为更强的维度可能承载更重的身份负载。
无全 Gram 耦合：丢弃非对角线的跨维度交互，以避免噪声并保留冻结坐标系可读的对角线结构。

流程：

特征提取：冻结的 DINOv3 ViT-L/16 骨干网络提取中间第 18 块的补丁令牌（避免最终归一化令牌）。
区域分配：冻结的 FaRL 解析器将令牌分配给语义区域（眼睛、嘴巴、鼻子）。
指纹生成：计算“眼睛 - 嘴巴 - 鼻子”（EMN）三元组的 DCA 向量。
验证：仅在源数据集（FF++ c23）上训练轻量级线性探针（逻辑回归），以评估该指纹在目标数据集（CelebDF-v2, DFD）上进行零样本检测不一致性的能力。

3. 主要贡献

RC 的定义：本文将表征一致性定义为冻结基础模型的一个独特测量维度，侧重于样本内连贯性而非模型间相似度。
DCA 算子：提出 DCA 作为一种逐维度工具，在不将特征空间坍缩为标量摘要或应用标准归一化约束的情况下，测量跨区域连贯性。
约束解放：证明去除中心化、L2 归一化和跨维度耦合不仅仅是简化，而是为了在固定坐标系中保留连贯性信号的必要条件。
骨干依赖性：验证了 RC 测量的成功取决于骨干网络（如 DINOv3）每维度坐标系的稳定性，而不仅仅是区域提取流程。

4. 实验结果

该方法通过跨数据集深度伪造检测进行了验证，其中在 FF++ c23 上训练的模型在 CelebDF-v2 和 DFD 上进行了零样本评估。

性能：EMN DCA 指纹在 CelebDF-v2 上实现了 0.9106 AUC，在 DFD 上实现了 0.9289 AUC。
约束消融：重新引入标准约束严重降低了性能：
- 添加中心化使 CelebDF-v2 的 AUC 降至 0.459。
- 添加 L2 归一化使其降至 0.862。
- 添加全 Gram 耦合（跨维度）使其降至 0.478。
骨干敏感性：用 FaRL（一种监督解析模型）替换 DINOv3 使 CelebDF-v2 的 AUC 降至 0.582，表明 FaRL 缺乏 RC 所需的稳定每维度坐标系。
区域选择：发现“眼睛 - 嘴巴 - 鼻子”三元组是最优的。包含头发（空间可变）或皮肤（稀释信号）会降低性能。
标量与向量：将 DCA 指纹简化为标量摘要（例如平均 DCA、余弦相似度）导致 AUC 介于 0.47 到 0.66 之间，证明判别信号分布在特征维度上，并在聚合中丢失。

5. 意义与主张

本文将 DCA 定位为并非优于所有现有方法的通用深度伪造检测器，而是一种测量原则，揭示了一种特定类型的信号：关系性、特征维度性和骨干依赖性的连贯性。

测量优于检测：主要贡献在于证明冻结基础模型包含可测量的“连贯性残差”，无需微调即可暴露深度伪造。该信号是关系性的（区域如何交互）而非区域性的（单个区域看起来如何）。
坐标系稳定性：结果表明，像 DINOv3 这样通过自蒸馏训练的模型，发展出了一个稳定的坐标系，其中相同的语义因素在空间位置跨越时激活相同的维度。这一属性对于 RC 测量至关重要，而在优化用于分类边界的模型（如 FaRL）中则不存在。
局限性：作者谦逊地指出，该方法目前特定于人脸，依赖于经验选择的特定块深度（第 18 块），且尚未经过针对现代基于扩散的操纵或人口统计鲁棒性的验证。本文将该工作定位为一种基础测量工具，而非可部署的取证模型。