A Systematic Failure Analysis of Vision Foundation Models for Open Set Iris Presentation Attack Detection

技术摘要：开放集虹膜呈现攻击检测中视觉基础模型的系统性失效分析

问题陈述
虹膜识别是一种高安全性的生物特征模态，但仍易受使用打印图像、纹理隐形眼镜、电子显示屏和合成虹膜等工具的呈现攻击（Presentation Attacks, PAs）的威胁。尽管基于深度学习的呈现攻击检测（PAD）在闭集场景（即测试攻击在训练集中已出现）中取得了高准确率，但现实世界的部署面临涉及未见过的攻击工具、不同传感器和不同光谱条件的“开放集”环境。近期研究已将视觉基础模型（Vision Foundation Models, VFMs）——即通过自监督或弱监督目标在大规模数据集上预训练的大规模模型——引入生物特征领域。然而，其适用于开放集虹膜 PAD 的能力，特别是其泛化至未见分布偏移的能力，尚未得到充分考察。本文旨在填补 VFMs 在闭集场景下的强大性能与其在现实开放集操作条件下的可靠性之间的差距。

方法论
本研究采用统一的实验框架，评估五种具有代表性的视觉基础模型：CLIP、DINOv2、DINOv3、EVA02 和 OpenVision。评估利用了一个包含 81,024 张近红外（NIR）眼周图像和 31,200 张可见光（VIS）眼周图像的多样化语料库。

• 输入表示：为确保跨异构数据集的一致性并避免与分割质量相关的混淆因素，主要实验使用眼周图像（裁剪至 224×224 像素），而非分割后的虹膜区域。
• 适应策略：评估了两种适应机制：
  1. 冻结特征：冻结骨干网络，训练一个轻量级多层感知机（MLP）来分类真实样本与攻击样本。
  2. 参数高效适应（LoRA）：在最终 Transformer 块的注意力层中应用低秩适应，允许以极少的可训练参数进行特定任务的微调。
• 开放集协议：三种不同的协议隔离了特定的分布偏移来源：
  • 协议 1（跨攻击工具）：通过在训练期间排除整个攻击工具（PAI）类别（例如合成虹膜、纹理隐形眼镜、纸质打印、病变眼睛），评估对未见攻击工具的泛化能力。
  • 协议 2（跨数据集）：采用留一数据集法在 NIR 语料库上评估对未见数据集/传感器的泛化能力。
  • 协议 3（跨光谱）：评估从 NIR（训练）到 VIS（测试）图像的迁移能力。
• 指标：使用攻击呈现分类错误率（APCER）、真实呈现分类错误率（BPCER）和检测等错误率（D-EER）衡量性能，并通过非参数自举法估计 95% 置信区间。
• 特征分析：利用可分性比率下降（SRD）和离散度下降百分比（DDP）进行几何可分性分析，以理解偏移如何影响嵌入空间结构。

主要贡献

1. 大规模评估：首次使用统一框架和包含 NIR 与 VIS 眼周数据的大型多源语料库，对五种不同的视觉基础模型进行虹膜 PAD 的系统性评估。
2. 协议驱动的失效分析：设计并应用三种互补的开放集协议，分别隔离攻击级别、数据集级别和光谱级别的偏移，从而精确归因失效模式。
3. 适应影响评估：对冻结表示与 LoRA 适应表示进行受控比较，揭示参数高效微调并不能普遍提升开放集鲁棒性。
4. 几何洞察：通过实证分析将 PAD 性能下降与特征流形几何结构的变化（类间距离和类内离散度）联系起来。
5. 扩展验证：进行额外实验，包括使用分割虹膜输入、全骨干网络微调、联合跨数据集/攻击工具偏移以及反向（VIS→NIR）光谱迁移，以排除观察到的失效现象的其他解释。

结果
研究揭示了闭集/跨数据集性能与开放集安全性之间的关键差异：

• 未见攻击工具（协议 1）：基础模型无法泛化至未见攻击工具。D-EER 值经常接近随机水平（50%），特别是对于合成虹膜和纹理隐形眼镜。LoRA 适应往往加剧了这一失效，增加了 D-EER 和 BPCER，表明对训练攻击工具产生了过拟合。
• 未见数据集（协议 2）：当传感模态（NIR）保持不变时，模型在不同数据集间表现出更好的迁移能力。冻结模型（如 DINOv2 和 OpenVision）在某些留出的数据集上实现了较低的 D-EER。在此机制下，LoRA 经常能提升性能，将特定数据集的 D-EER 降低至个位数。然而，这种成功是不均衡的，并未延伸至合成数据或所有传感器类型。
• 跨光谱迁移（协议 3）：当从 NIR 迁移到 VIS 时，性能显著崩溃。大多数模型表现出高 D-EER 和饱和的 BPCER。LoRA 适应消除了冻结模型的部分迁移优势，将性能推至随机水平。
• 特征空间分析：可分性分析证实，在未见攻击工具和光谱偏移下，真实类与攻击类之间的几何分离度下降（高 SRD）。LoRA 适应往往增加了类内离散度（负 DDP），进一步纠缠了各类别。
• 扩展验证：
  • 使用分割虹膜输入并未解决开放集失效问题。
  • 全骨干网络微调未能提供一致的鲁棒性，在未见攻击工具和跨数据集偏移下，其表现往往不如冻结或 LoRA 变体。
  • 联合跨数据集和跨攻击工具偏移导致了持续的失效，证实了孤立的成功并不意味着对组合偏移的鲁棒性。
  • 反向光谱迁移（VIS→NIR）同样失败，表明问题在于光谱域不匹配，而非特定的方向性。

意义与主张
本文论证，在闭集或有限的跨数据集评估中的强大性能，不应被解读为虹膜 PAD 具备鲁棒开放集安全性的证据。研究结果强调，旨在优化语义不变性的通用视觉基础模型，往往会抑制对 PAD 至关重要的细微低级伪影（例如打印图案、隐形眼镜纹理）。

研究结论指出，当前的基础模型缺乏处理现实部署变化所需的“感知攻击（PAD-aware）”表示。具体而言：

• 不变性与敏感性：为处理光照和传感器噪声而设计在 VFMs 中的不变性属性，对依赖检测这些变化的 PAD 是有害的。
• 适应风险：参数高效适应（LoRA）并非通用解决方案；它可能通过对训练分布的过拟合，在攻击级别和光谱偏移下放大失效。
• 设计启示：基于基础模型的未来 PAD 系统需要明确的策略来保留对伪影敏感的线索，例如 PAD 感知的预训练、受限适应以及光谱感知的决策层校准。

这项工作作为一个方法论警示，呼吁建立明确反映开放集条件的评估协议，确保鲁棒性声明通过其所解决的具体分布偏移类型加以限定。