技术摘要：T-VSS（测试时视觉子空间转向）

1. 问题陈述

视觉-语言模型（VLMs，如 CLIP）在零样本视觉识别方面表现出色，但在对抗性扰动面前极其脆弱。即使是不可察觉的输入变化也会导致显著的预测失败，这在医疗 AI 和自动驾驶等安全关键领域构成了风险。

现有的防御策略面临两个主要局限性：

1. 训练时方法： 对抗训练、鲁棒微调和基于扩散的净化等方法需要标注数据、昂贵的重训练或辅助模型，这使得它们对于大规模、冻结的 VLMs 来说并不切实际。
2. 测试时自适应（TTA）方法： 最近的 TTA 方法试图在不进行重训练的情况下提高推理时的鲁棒性，但通常依赖于间接的优化路径：
   • 基于提示的方法（例如 R-TPT）： 优化可学习的文本提示。
   • 输入空间方法（例如 TTP, TTC）： 优化像素级填充或反向攻击扰动。
     这些方法计算成本高昂，并且没有直接解决视觉表示本身被破坏的问题，而这才是对抗攻击的主要目标。

2. 方法论：测试时视觉子空间转向 (T-VSS)

T-VSS 提出了一种轻量级的、直接的防御手段，用于在测试时自适应视觉特征空间。它不是调整提示或像素，而是从受攻击图像的多视图特征中学习一个紧凑的、样本特定的低秩子空间内的共享修正。

该方法分为三个主要阶段运行：

A. 局部视觉子空间估计

给定一个对抗性测试图像 $x_0$ 及其 $N$ 个增强视图 $\{x_1, \dots, x_N\}$，模型使用冻结的 CLIP 图像编码器提取冻结的视觉特征 $\{f_i\}$。

• 残差构建： 通过从所有增强视图的特征中减去原始受攻击视图的特征 ($f_0$)，构建一个基于锚点的残差矩阵 $R$：
  $$R = [(f_1 - f_0)^\top, \dots, (f_N - f_0)^\top]^\top$$
• 子空间提取： 对 $R$ 应用奇异值分解 (SVD)。该方法选择由前 $m$ 个右奇异向量 ($V_m$) 定义的低秩子空间。秩 $m$ 是自适应选择的，使得累积奇异值能量超过阈值 $\rho$（例如 0.9）。
• 直觉： 由于所有视图都源自同一张受攻击的图像，它们的攻击诱导特征偏移共享一个共同分量。残差结构会塌缩成一种低秩几何结构，使该方法能够隔离由攻击引起的局部变化，同时抑制视图共享的偏移。

B. 共享低秩特征转向

T-VSS 在提取的子空间 $V_m$ 内学习一个单一的、共享的修正向量 $\Delta$：

• 一个可学习的系数向量 $\alpha \in \mathbb{R}^m$ 被初始化为零。
• 修正量计算为 $\Delta = V_m \alpha$。
• 该偏移量被同时应用于所有视图：$\tilde{f}_i = \text{norm}(f_i + \Delta)$。
• 这种设计强制执行跨视图的一致性修正，并受到低秩几何结构的约束，而不是允许每个视图进行独立且不稳定的更新。

C. 具备可靠性感知的优化与聚合

并非所有的增强视图在受到攻击时都是同样可靠的。T-VSS 引入了可靠性权重机制：

• 可靠性评分： 对于每个视图 $i$，根据其在特征空间中与其前 $K$ 个最近邻的平均相似度来计算得分 $r_i$。
• 权重分配： 这些得分通过温度缩放的 Softmax 函数转换为权重 $w_i$。具有高特征一致性的视图获得更高的权重；不稳定的离群值则被抑制。
• 损失函数： 通过最小化预测类别概率的可靠性加权逐点熵来优化系数向量 $\alpha$：
  $$\mathcal{L}_{\text{T-VSS}} = \sum_{i=0}^{N} w_i \mathcal{H}(p(\tilde{f}_i))$$
• 最终预测： 最终预测是来自所有自适应视图的概率的可靠性加权平均值。

3. 核心贡献

1. 直接的特征空间自适应： T-VSS 是首个通过在学习到的低秩子空间内直接自适应受损视觉表示来进行 VLM 测试时防御的方法，避免了对文本提示或像素网格进行间接且昂贵的优化。
2. 样本特定的低秩几何： 通过利用多视图特征的锚点残差构建子空间，该方法捕捉了攻击的局部跨视图几何结构，从而将更新限制在几何上合理的方向上。
3. 可靠性感知机制： 引入视图可靠性权重确保了自适应过程和最终聚合对于不稳定的增强视图具有鲁棒性，这是对抗设置中常见的问题。
4. 高效性： 该方法仅需通过一次冻结编码器的前向传播。优化是在一小组系数（秩 $m$）上进行的，而不是高维提示向量或像素网格，从而显著降低了推理延迟。

4. 实验结果

作者在八个细粒度数据集、ImageNet 以及四个 ImageNet 分布外 (OOD) 基准测试上，使用三种 CLIP 主干网络（ResNet-50, ViT-B/16, ViT-L/14）对 T-VSS 进行了评估。

• 对抗鲁棒性： T-VSS 在所有主干网络和数据集上均一致实现了最佳的平均对抗准确率。
  • 在使用 CLIP-ResNet-50 的细粒度数据集上，它将平均鲁棒准确率提升至 48.5%，超过了之前的最优方法 (R-TPT) 3.3 个百分点。
  • 在 ImageNet 上，它实现了 50.1% 的鲁棒准确率，优于 R-TPT (47.7%) 和其他基线。
  • 它在具有挑战性的细粒度类别（如 Cars, Flower102, Aircraft）上表现出卓越的性能，并在 OOD 基准测试（ImageNet-A, V2, R, S）中保持了增益。
• 干净准确率： T-VSS 保持了具有竞争力的干净准确率，避免了通常与激进的测试时修正相关的显著准确率下降。
• 效率： T-VSS 是最快的自适应防御方法。在 UCF101 上，它以 0.383 秒/图像 的速度实现了 52.5% 的鲁棒准确率，比 R-TPT (0.533s) 和 TTP (0.408s) 更快。即使在减少视图预算（例如 16 个视图）的情况下，它仍保持了强劲的表现。
• 泛化能力： 该方法对各种攻击类型（PGD, CW, DeepFool, FGSM）都表现出鲁棒性，表明它并未过拟合于特定的攻击机制。

5. 重要性与主张

论文声称 T-VSS 为鲁棒的零样本 VLM 推理提供了一种简单、实用且高效的替代方案，可以替代基于提示和基于像素空间的自适应。

• 直接性： 通过直接引导视觉特征空间，T-VSS 比间接方法更有效地解决了漏洞的根源（即受损的视觉表示）。
• 鲁棒性-效率权衡： 受限的低秩自适应产生了一个更优的权衡，与之前的测试时防御相比，它以较低的计算开销提供了更高的鲁棒性。
• 局限性： 作者承认，与其他基于增强的防御一样，T-VSS 依赖于随机多视图增强。如果对手显式地针对这种变换的期望进行优化（防御感知攻击），这可能会产生潜在的攻击面，这也是当前 TTA 范式所共有的局限性。

总之，T-VSS 证明了将测试时自适应约束在紧凑的、样本特定的视觉子空间内，是增强冻结视觉-语言模型对抗鲁棒性的可行且有效的策略。