CPG-PAD: Concept-Informed Prompts Guided Presentation Attack Detection

기술 요약: CPG-PAD: 개념 기반 프롬프트에 의해 유도된 프레젠테이션 공격 탐지(Concept-Informed Prompts Guided Presentation Attack Detection)

문제 정의
프레젠테이션 공격 탐지(PAD)는 인쇄된 사진, 재생된 비디오, 3D 마스크와 같은 스푸핑 시도로부터 얼굴 인식 시스템을 보호하기 위해 매우 중요합니다. 딥러닝 기반 방법론들이 유망한 성과를 보여왔으나, 센서, 조명 조건, 공격 재료의 상당한 변화로 인해 미학습 도메인(unseen domains)에 대한 일반화 성능에서 어려움을 겪고 있습니다. 최근 비전-언어 모델(VLM), 특히 CLIP 기반 프레แ임워크를 활용하는 접근 방식들은 다중 모달 지식을 활용하여 일반화 능력을 개선했습니다. 그러나 기존의 CLIP 기반 PAD 방식은 대개 클래스 레이블 감독하에 최적화된 인간 설계 프롬프트(예: "실제 얼굴의 사진")에 의존합니다. 저자들은 이러한 인간 수준의 프롬프트가 미세한 공격 관련 시각적 의미론(예: 미세한 기하학적 왜곡이나 조명-반사 불일치)과 명시적으로 정렬되지 못하며, 전이 가능한 공격 단서보다는 도메인 특화된 아티팩트(artifacts)에 과적합되는 경향이 있다고 주장합니다.

방법론
본 논문은 모델 수준의 개념 가이드를 프롬프트 학습 과정에 통합하는 CPG-PAD(Concept-Informed Prompts Guided Presentation Attack Detection) 프레임워크를 제안합니다. 이 방법은 두 가지 주요 단계로 구성됩니다:

1. 시각적 개념 주도 강화 (Visual Concept-driven Enhancement, VCE):

   • 이 모듈은 파라미터 업데이트 없이 사전 학습된 CLIP 모델 상에서 작동합니다.
   • 개념 발견 (Concept Discovery): 도메인 데이터의 일부로부터 추출한 활성화 맵(activation maps)에 반음수 행렬 분해(Semi-NMF)를 적용하여, 시스템은 특징 공간으로부터 PAD 관련 시각적 개념(예: "종이 주름", "뚫린 구멍", "모호한 눈")을 자동으로 발견합니다.
   • 히트맵 생성 (Heatmap Generation): 발견된 이러한 개념들은 전체 데이터셋에 대한 미세한 특징 히트맵($H_{gt}$)을 생성하는 데 사용됩니다. 이 히트맵은 인간 수준의 이해를 넘어 공격 탐지에 관련된 특정 시각적 단서를 강조하는 국소적이고 개념과 연관된 가이드 신호 역할을 합니다.

2. 프롬프트 기반 개념 주입 (Prompt-based Concept Injection, PCI):

   • 이 단계는 VCE에 의해 발견된 시각적 개념을 텍스트 프롬프트와 정렬함으로써 개념 정보가 포함된 프롬프트를 학습합니다.
   • 학습 가능한 프롬프트 (Learnable Prompts): 프레임워크는 고정된 클래스별 텍스트 설명(예: "가짜 얼굴의 사진")과 결합된 학습 가능한 프롬프트 임베딩을 활용합니다.
   • 비주얼-프롬프트 디코더 (Visual-Prompt Decoder, VPD): 멀티 헤드 셀프 어텐션(MSA)과 제안된 멀티 헤드 듀얼 어텐션(MDA) 메커니즘을 포함하는 새로운 디코더 모듈은 프롬프트 특징과 이미지 토큰 간의 상호작용을 촉진합니다.
   • 개념 매핑 손실 (Concept Mapping Loss): VPD는 프로프트를 예측된 히트맵($H_{dec}$)으로 디코딩합니다. 헝가리안 매칭(Hungarian matching)을 사용하여 $H_{dec}$와 그라운드 트루스 개념 히트맵($H_{gt}$) 사이의 오차를 최소화하는 개념 매핑 손실($L_M$)이 적용됩니다. 이는 학습 가능한 프롬프트가 모델의 내부 개념 공간과 정렬되도록 강제하여, 시각적 개념 정보를 텍스트 프롬프트에 효과적으로 주입합니다.
   • 분류 (Classification): 최종 분류는 입력 이미지의 CLS 토큰과 학습된 프롬프트 특징 사이의 유사도 점수를 계산함으로써 수행되며, 분류 크로스 엔트로피 손실과 개념 매핑 손실 모두에 의해 감독됩니다.

주요 기여

• 새로운 프레임워크: 사전 학습된 VLM 상의 XAI 기술을 통해 발견된 시각적 개념을 프롬프트 학습 과정에 통합함으로써 도메인 일반화를 향상시키는 CPG-PAD를 도입했습니다.
• VCE 및 PCI 메커니즘: 공격 관련 개념을 자동 발견하고 특징 히트맵을 생성하는 시각적 개념 주도 강화(VCE)와, VPD를 통해 개념 정보가 포함된 프롬프트를 학습하는 프롬프트 기반 개념 주입(PCI)을 설계했습니다.
• 최첨단 성능 (SOTA): 다중 소스, 제한된 소스 및 단일 소스 평가 프로토콜 하에서 9개의 벤치마크 데이터셋에 걸쳐 우수한 교차 도메인 성능을 입증했습니다.

실험 결과
저자들은 5가지 평가 프로토콜(P1–P5)에 대해 9개의 데이터셋(MSU-MFSD, CASIA-FASD, OULU-NPU, CelebA-Spoof, SiW-Mv2 포함)에서 CPG-PAD를 평가했습니다.

• 다중 소스 (P1): ICMO 벤치마크에서 CPG-PAD는 평균 절반 전체 오류율(HTER) **2.08%**를 달성하여, 이전의 최첨단 CLIP 기반 방법인 S-CPTL(3.33%) 및 추가 데이터로 학습된 S-CPP(2.89%)보다 뛰어난 성능을 보였습니다.
• 제한된 소스 (P2/P3): 소스 도메인이 적은 시나리오에서 CPG-PAD는 일관되게 상위 2위의 성능을 기록했으며, CSW 데이터셋에서 평균 HTER를 9.91%(추가 데이터 없이) 및 6.59%(CelebA-Spoof 증강 시)로 낮추었습니다.
• 단일 소스 (P4): 이 방법은 평균 HTER 5.33%(증강 시 3.36%)를 달축하여 다른 단일 소스 베이스라인들을 크게 앞질렀습니다.
• 알려지지 않은 PAI (P5): 알려지지 않은 프레젠테이션 공격 도구(PAI)가 포함된 SiW-Mv2 데이터셋에서 CPG-PAD는 평균 HTER를 CLIP 베이스라인의 3.03%에서 **1.02%**로 감소시켜, 은폐(obfuscation), 메이크업 및 3D 마스크에 대한 탁월한 강건성을 보여주었습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 각 구성 요소(학습 가능한 프롬프트, 개념 매핑 손실, VPD), 최적의 프롬프트 수(발견된 개념의 수 $J=K=15$와 일치), 그리고 최적의 VPD 깊이(4개 층)의 필요성을 확인했습니다.

의의
본 논문은 CPG-PAD가 XAI를 사용하여 시각적 개념과 히트맵을 발견함으로써, CLIP 기반 PAD 방법의 한계인 인간 설계 프롬프트 문제를 해결한다고 주장합니다. 시각적 개념을 추출하고 히트맵을 활용함으로써, 이 프레임워크는 모델이 도메인 특화된 아티팩트가 아닌 미세하고 전이 가능한 공격 단서와 정렬된 프롬프트를 학습할 수 있게 합니다. 이러한 접근 방식은 모델이 일반화 가능한 특징을 포착하고 데이터셋 특유의 편향을 억제할 수 있게 하여, 추가적인 센서나 복잡한 다중 모달 추론 아키텍처(예: 거대 언어 모델) 없이도 미학습 타겟 도메인에서 강력한 성능을 발휘하게 합니다. 결과는 사전 학습된 VLM으로부터 시각적 개념을 증류(distilling)하는 것이 얼굴 안티 스푸핑 시스템의 도메인 일반화 성능을 높이는 효과적인 전략임을 시사합니다.