Foundation Models for Face Presentation Attack Detection: A Unified Linear-Probing Benchmark

기술 요약: 얼굴 프레젠테이션 공격 탐지를 위한 파운데이션 모델

문제 정의
얼굴 프레젠테이션 공격 탐지(Face Presentation Attack Detection, PAD)는 특히 센서, 조명 및 공격 유형의 도메인 변화로 인해 모델 성능이 저하되는 교차 데이터셋 평가 시나리오에서 여전히 중요한 과제로 남아 있습니다. 대규모 레이블링된 PAD 데이터(예: MCIO 데이터셋: MSU-MFSD, CASIA-FASD, Replay-Attack, OULU-NPU)의 부족은 특정 태스크를 위한 딥 뉴럴 네트워크를 처음부터 학습시키는 능력을 제한합니다. 최근 연구들이 파인튜닝이나 멀티모달 아키텍처를 통해 파운데이션 모델(Foundation Models, FM)을 적응시키려는 시도를 하고 있으나, 일반 목적의 비전 파운데이션 모델이 이미 최소한의 태스크 특화 학습만으로 접근 가능한 PAD 관련 정보를 인코딩하고 있는지, 아니면 명시적인 적응이 반드시 필요한지에 대한 근본적인 의문이 남아 있습니다.

방법론
저자들은 24개의 사전 학습된 비전 인코더의 내재된 PAD 능력을 체계적으로 평가하기 위해 통일된 **동결 백본 선형 프로빙 벤치마크(frozen-backbone linear-probing benchmark)**를 제안합니다. 핵심 실험 프로토콜은 다음과 같습니다:

1. 동결된 인코더(Frozen Encoders): 사전 학습된 비전 백본(CNN부터 Vision Transformer 및 멀티모달 거대 언어 모델의 비전 타워에 이르는 범위)의 가중치는 고정됩니다.
2. 선형 프로빙(Linear Probing): 전역 이미지 임베딩(예: CLS 토큰, Global Average Pooling)을 본아파이드(bonafide, 실제 얼굴) 대 공격 분류를 위한 이진 로짓(binary logit)으로 매핑하기 위해 가볍고 단일한 완전 연결(linear) 층만을 학습시킵니다.
3. 데이터셋: 평가는 네 가지 표준 MCIO 데이터셋을 사용하여 인트라 데이터셋(intra-dataset, 동일 데이터셋 내 학습 및 테스트) 및 단일 소스 교차 데이터셋(single-source cross-dataset, 하나의 데이터셋에서 학습 후 다른 데이터셋에서 테스트) 프로토콜을 통해 수행됩니다.
4. 베이스라인(Baselines): 본 연구는 이러한 동결된 프로브들을 두 가지 전문 PAD 모델인 DeepPixBiS(픽셀 단위 감독을 사용하는 컴팩트한 CNN) 및 FSFM-FAS(얼굴 스푸핑 데이터로 자기 지도 학습을 거친 후 파인튜닝된 ViT)와 비교합니다.
5. 지표(Metrics): 성능은 공격 프레젠테이션 분류 오류율(APCER)과 본아파이드 프레젠테이션 분류 오류율(BPCER)의 평균인 평균 분류 오류율(Average Classification Error Rate, ACER)을 사용하여 측정됩니다.

주요 기여

• 통합 벤치마크: 본 논문은 자기 지도 학습 기반 ViT(DINOv2/v3, BEiT, MAE), 비전-언어 모델(CLIP, SigLIP, EVA-CLIP), 그리고 멀티모달 LLM의 비전 인코더(InternViT, Qwen2.5-VL)를 포함한 24개의 다양한 동결 비전 인코더에 걸쳐 포괄적인 선형 프로빙 벤치마크를 구축했습니다.
• 체계적 평가: 인트라 데이터셋 성능 대 교차 데이터셋 전이 가능성을 엄격하게 비교하여, 백본 파인튜닝 없이 일반화하는 능력에 따라 모델 순위를 매겼습니다.
• 맥락화: 전문 베이스라인을 포함함으로써, 일반적인 파운데이션 모델이 언제 특정 태스크 아키텍처에 비해 계산량 측면에서 정당성을 갖는지 맥락화합니다.

결과

• 인트라 데이터셋 성능: 동결된 파운데이션 모델들은 강력한 인트라 데이터셋 성능을 보여줍니다. InternViT-6B는 가장 낮은 평균 인트라 데이터셋 ACER(1.6%)를 달성하며, 더 작은 모델들을 크게 압도했습니다. 그러나 가장 우수한 동결 프로브들도 학습 가능한 파라미터 수가 훨씬 적은 DeepPixBiS(3.4% ACER) 및 FSFM-FAS(4.2% ACER)와 같은 전문 베이스라인에 비해서는 인트라 데이터셋 설정에서 일반적으로 뒤처지는 모습을 보였습니다.
• 교차 데이터셋 전이: 데이터셋을 전이할 때 성능이 크게 저하됩니다. 규모가 큰 모델이 일반적으로 전이 가능성을 개선하지만(예: InternViT-6B는 InternViT-300M에 비해 교차 데이터셋 ACER를 낮춤), 모든 모델에서 "일반화 격차(generalization gap, 교차 데이터셋과 인트라 데이터셋 간의 차이)"는 여전히 큽니다. 예를 들어, InternViT-6B는 30.3%의 격차를 보이는데, 이는 코퍼스 내에서의 강력한 선형 분리성이 도메인 변화에 대한 강건성을 보장하지 않음을 나타냅니다.
• 아키텍처 및 사전 학습의 영향: 사전 학습 목적 함수는 모델 규모만큼 중요합니다. 자기 지도 학습(DINOv2/v3, BEiT) 및 비전-언어(CLIP, SigLIP) 인코더는 재구성 기반(ViT-MAE) 또는 프로토타입 기반(ViT-MSN) 목적 함수보다 일관되게 우수한 성능을 보입니다. 특히, CLIP ViT-B/32는 계산량과 교차 데이터셋 성능 사이에서 가장 유리한 트레이드오프를 제공하며, 평가된 프로브 중 가장 낮은 평균 오프-다이아고널(off-diagonal) ACER(31.6%)를 달성하여 훨씬 더 큰 변체들과 전문 베이스라인들 사이에서 전이 시나리오에서의 우수성을 입증했습니다.
• 제로샷 한계: 태스크에 정렬된 리드아웃(readout) 없이 수행된 제로샷 추론(예: InternVL-14B)은 성능이 저조했으며(28.8% ACER), 이는 선형 프로브가 PAD 관련 단서를 추출하는 데 필수적임을 확인시켜 줍니다.

의의 및 주장
본 논문은 사전 학습된 표현이 선형 분류기를 통해 접근 가능한 PAD 관련 정보를 포함하고 있지만, 도메인 변화를 효과적으로 다루기 위해서는 명시적인 적응이 여전히 필요하다고 주장합니다. 연구 결과는 다음을 시사합니다:

1. 규모는 만능 해결책이 아니다: 모델 크기를 키우는 것은 인트라 데이터셋 정확도를 높이지만, 교차 데이터셋 전이 가능성을 보장하지는 않습니다.
2. 사전 학습이 중요하다: 비전-언어 및 자기 증류(self-distillation) 목적 함수(DINO, CLIP)는 마스크드 오토인코딩이나 프로토타입 매칭보다 더 전이 가능한 특징을 생성합니다.
3. 효율성 대 강건성: 컴팩트한 전문가 모델(DeepPixBiS 등)은 훨씬 적은 계산 비용으로 인트라 데이터셋 성능을 맞출 수 있는 반면, 동결된 웹 규모 인코더(CLIP ViT-B/32 등)는 유사한 추론 비용에서 더 우수한 교차 코퍼스 강건성을 제공합니다.

저자들은 이러한 동결 프로브 점수가 각 백본이 달성할 수 있는 하한선(lower bound)을 나타내며, 향후 중간 계층 프로빙(intermediate-layer probing)이나 단일 선형 층을 넘어선 태스크 적응형 리드아웃(task-adaptive readouts)을 포함한 연구가 일반화 격차를 더욱 좁힐 수 있을 것이라고 결론짓습니다.