A Systematic Failure Analysis of Vision Foundation Models for Open Set Iris Presentation Attack Detection

기술 요약: 오픈 세트 홍채 제시 공격 탐지를 위한 비전 기반 모델의 체계적 고장 분석

문제 제기
홍채 인식은 고보안 생체 인증 수단이지만, 인쇄된 이미지, 질감 있는 콘택트 렌즈, 전자 디스플레이, 합성 홍채와 같은 도구를 이용한 제시 공격 (Presentation Attacks, PAs) 에 여전히 취약합니다. 딥러닝 기반 제시 공격 탐지 (PAD) 는 폐쇄 세트 시나리오 (테스트 공격이 훈련 데이터에 포함됨) 에서 높은 정확도를 달성했으나, 실제 배포 환경에서는 보지 못한 공격 도구, 다른 센서, 다양한 스펙트럼 조건을 포함하는 '오픈 세트' 조건에 직면합니다. 최근 연구는 자기지도 또는 약지도 목적을 통해 방대한 데이터셋으로 사전 훈련된 대규모 모델인 비전 기반 모델 (Vision Foundation Models, VFMs) 을 생체 인증 분야에 도입했습니다. 그러나 이러한 모델이 보지 못한 분포 변화에 일반화하는 능력과 관련하여 오픈 세트 홍채 PAD 에 적합한지는 아직 충분히 검토되지 않았습니다. 본 논문은 VFMs 의 강력한 폐쇄 세트 성능과 실제적인 오픈 세트 운영 조건 하에서의 신뢰성 사이의 격차를 해소합니다.

방법론
본 연구는 CLIP, DINOv2, DINOv3, EVA02, OpenVision 등 다섯 가지 대표적인 비전 기반 모델을 평가하기 위해 통합 실험 프레임워크를 사용합니다. 평가에는 81,024 개의 근적외선 (NIR) 주위안부 이미지와 31,200 개의 가시광선 (VIS) 주위안부 이미지로 구성된 다양한 코퍼스가 활용됩니다.

• 입력 표현: 이질적인 데이터셋 간의 일관성을 보장하고 분할 품질과 관련된 교란 요인을 피하기 위해, 주요 실험에서는 분할된 홍채 영역 대신 224×224 픽셀로 잘린 주위안부 이미지를 사용합니다.
• 적응 전략: 두 가지 적응 체제가 평가됩니다.
  1. 고정된 특징 (Frozen Features): 백본을 고정하고 경량 다층 퍼셉트론 (MLP) 을 훈련하여 정당한 샘플과 공격 샘플을 분류합니다.
  2. 파라미터 효율적 적응 (LoRA): 최종 트랜스포머 블록의 어텐션 레이어에 저랭크 적응 (Low-Rank Adaptation) 을 적용하여 최소한의 학습 가능 파라미터로 작업별 미세 조정을 가능하게 합니다.
• 오픈 세트 프로토콜: 세 가지 고유한 프로토콜이 분포 변화의 특정 원인을 분리합니다.
  • 프로토콜 1 (교차 PAI): 훈련 중에 합성 홍채, 질감 있는 렌즈, 종이 인쇄물, 질병이 있는 눈 등 전체 제시 공격 도구 (PAI) 카테고리를 제외함으로써 보지 못한 제시 공격 도구에 대한 일반화를 평가합니다.
  • 프로토콜 2 (교차 데이터셋): NIR 코퍼스에 대한 한 데이터셋 제외 (leave-one-dataset-out) 방식을 사용하여 보지 못한 데이터셋/센서에 대한 일반화를 평가합니다.
  • 프로토콜 3 (교차 스펙트럼): 훈련 (NIR) 에서 테스트 (VIS) 이미지로의 전이를 평가합니다.
• 지표: 성능은 공격 제시 분류 오류율 (APCER), 정당한 제시 분류 오류율 (BPCER), 탐지 균등 오류율 (D-EER) 로 측정하며, 비모수 부트스트래핑을 통해 95% 신뢰 구간을 추정합니다.
• 특징 분석: 임베딩 공간 구조에 대한 변화의 영향을 이해하기 위해 분리성 비율 감소 (SRD) 와 분산 감소 백분율 (DDP) 을 사용하여 기하학적 분리성 분석을 수행합니다.

주요 기여

1. 대규모 평가: 통합 프레임워크와 NIR 및 VIS 주위안부 데이터의 대규모 다중 소스 코퍼스를 사용하여 다섯 가지 다양한 비전 기반 모델에 대한 홍채 PAD 의 첫 체계적 평가.
2. 프로토콜 주도 고장 분석: 공격 수준, 데이터셋 수준, 스펙트럼 변화를 분리하는 세 가지 보완적인 오픈 세트 프로토콜의 설계 및 적용을 통해 고장 모드의 정확한 귀인을 가능하게 함.
3. 적응 영향 평가: 고정된 표현과 LoRA 적응 표현의 통제된 비교를 통해 파라미터 효율적 미세 조정이 오픈 세트 견고성을 보편적으로 향상시키지 않음을 규명.
4. 기하학적 통찰: PAD 성능 저하를 특징 매니폴드 기하학 (클래스 간 거리 및 클래스 내 분산) 의 변화와 연결한 실증적 분석.
5. 확장된 검증: 관찰된 실패에 대한 대안적 설명을 배제하기 위해 분할된 홍채 입력, 전체 백본 미세 조정, 결합된 교차 데이터셋/PAI 변화, 역방향 (VIS→NIR) 스펙트럼 전이를 사용한 추가 실험.

결과
본 연구는 폐쇄 세트/교차 데이터셋 성능과 오픈 세트 보안 사이의 중요한 불일치를 드러냅니다.

• 보지 못한 PAI (프로토콜 1): 기반 모델은 보지 못한 공격 도구에 일반화하지 못합니다. D-EER 값은 특히 합성 홍채와 질감 있는 렌즈의 경우 우연 수준 (50%) 에 자주 근접합니다. LoRA 적응은 종종 이러한 실패를 악화시켜 D-EER 와 BPCER 를 증가시키며, 이는 훈련 PAI 에 대한 과도한 전문화를 시사합니다.
• 보지 못한 데이터셋 (프로토콜 2): 센싱 모드 (NIR) 가 일정하게 유지될 때 모델은 데이터셋 간 전이성이 더 좋습니다. DINOv2 와 OpenVision 과 같은 고정 모델은 특정 홀드아웃 데이터셋에서 낮은 D-EER 를 달성합니다. LoRA 는 종종 이 체제에서 성능을 향상시켜 특정 데이터셋의 D-EER 를 한 자리수로 줄입니다. 그러나 이러한 성공은 불균등하며 합성 데이터나 모든 센서 유형으로 확장되지 않습니다.
• 교차 스펙트럼 전이 (프로토콜 3): NIR 에서 VIS 로 전이할 때 성능이 크게 붕괴됩니다. 대부분의 모델은 높은 D-EER 와 포화된 BPCER 를 보입니다. LoRA 적응은 고정 모델이 가진 부분적 전이 이점을 제거하여 성능을 우연 수준으로 떨어뜨립니다.
• 특징 공간 분석: 분리성 분석은 보지 못한 PAI 와 스펙트럼 변화 하에서 정당한 클래스와 공격 클래스 간의 기하학적 분리가 저하됨 (높은 SRD) 을 확인합니다. LoRA 적응은 종종 클래스 내 분산을 증가시켜 (음의 DDP) 클래스들을 더욱 얽히게 만듭니다.
• 확장된 검증:
  • 분할된 홍채 입력을 사용해도 오픈 세트 실패는 해결되지 않았습니다.
  • 전체 백본 미세 조정은 일관된 견고성을 제공하지 못했으며, 종종 보지 못한 PAI 와 교차 데이터셋 변화 하에서 고정 또는 LoRA 변형보다 성능이 더 나빴습니다.
  • 결합된 교차 데이터셋 및 교차 PAI 변화는 지속적인 실패를 초래하여, 고립된 성공이 결합된 변화에 대한 견고성을 의미하지 않음을 확인했습니다.
  • 역방향 스펙트럼 전이 (VIS→NIR) 또한 실패하여, 문제가 특정 방향성이 아닌 스펙트럼 도메인 불일치임을 나타냅니다.

의의 및 주장
본 논문은 폐쇄 세트 또는 제한된 교차 데이터셋 평가에서의 강력한 성능이 홍채 PAD 에 대한 견고한 오픈 세트 보안의 증거로 해석되어서는 안 된다고 주장합니다. 연구 결과에 따르면, 의미 불변성을 위해 최적화된 범용 비전 기반 모델은 PAD 에 결정적인 미세한 저수준 아티팩트 (예: 인쇄 패턴, 콘택트 렌즈 질감) 를 억제하는 경향이 있습니다.

본 연구는 현재 기반 모델이 실제 배포 변형을 처리할 수 있는 필요한 'PAD 인지형' 표현이 부족하다고 결론지었습니다. 구체적으로:

• 불변성 vs 민감성: 조명 및 센서 노이즈를 처리하기 위해 VFMs 에 설계된 불변성 속성은 이러한 변형 자체를 탐지하는 데 의존하는 PAD 에는 해롭습니다.
• 적응 위험: 파라미터 효율적 적응 (LoRA) 은 만능 해결책이 아니며, 훈련 분포에 과적합함으로써 공격 수준 및 스펙트럼 변화 하에서 실패를 증폭시킬 수 있습니다.
• 설계 시사점: 기반 모델에 기반한 향후 PAD 시스템은 PAD 인지형 사전 훈련, 제약된 적응, 스펙트럼 인지형 결정 계층 보정과 같은 아티팩트 민감 신호를 보존하기 위한 명시적 전략이 필요합니다.

본 작업은 방법론적 경고이자 오픈 세트 조건을 명시적으로 반영하는 평가 프로토콜에 대한 호소로서, 견고성 주장이 다루는 분포 변화의 특정 유형에 의해 자격이 부여되도록 보장합니다.