Event-based Liveness Detection using Temporal Ocular Dynamics: An Exploratory Approach

"Event-based Liveness Detection using Temporal Ocular Dynamics: An Exploratory Approach" 논문에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

얼굴 라이브니스 감지 (Presentation Attack Detection) 는 생체 인식 시스템에서 재연 공격 (예: 비디오 재생) 을 방지하는 데 필수적입니다.

• 기존 방법의 한계: 전통적인 RGB 기반 방법들은 통제된 환경 및 단일 데이터셋 내 설정에서는 높은 정확도를 달성하지만, 서로 다른 센서, 조명 조건, 공격 시나리오에 걸쳐 일반화되는 데는 실패합니다. 이러한 방법들은 종종 고유한 라이브니스 단서보다는 데이터셋 특유의 인공물 (artifacts) 에 의존합니다.
• 구체적인 과제: 재연 공격은 실제 얼굴의 시각적 외관을 모방하기 때문에 탐지가 특히 어렵습니다. 그러나 시간적 재샘플링 (프레임 레이트) 과 디스플레이 인공물로 인해 실제 인간 운동의 시간적 역학 (temporal dynamics), 특히 빠른 안구 운동 (사카드와 깜빡임) 을 재현하는 데는 어려움을 겪습니다.
• 격차: 이벤트 카메라 (뉴로모픽 센서) 는 마이크로초 해상도와 높은 동적 범위를 제공하지만, 카메라가 50cm 이상 떨어진 원거리 안구 라이브니스 감지 (remote-eye liveness detection) 에 적용되는 것은 여전히 largely 미개척 상태입니다.

2. 방법론

저자들은 시간적 안구 역학을 활용하는 능동적, 이벤트 기반 반스푸핑 시스템을 제안합니다.

A. 데이터 수집 및 데이터셋

• 기반 데이터셋: 기존 RGBE-Gaze 데이터셋 (동기화된 RGB 및 이벤트 카메라 데이터) 을 확장했습니다.
• 새로운 재연 공격 데이터셋: 60Hz IPS 화면에서 실제 RGB 클립을 재생하고 RealSense D435i, DAVIS346, Prophesee EVK4 로 구성된 멀티 센서 장비로 재녹화하여 맞춤형 재연 공격 데이터셋을 생성했습니다.
• 프로토콜: 능동적인 챌린지 - 응답 (Challenge-Response) 메커니즘을 구현했습니다. 사용자에게 빠른 안구 운동 (사카드 또는 깜빡임) 을 수행하도록 요청합니다. 시스템은 이벤트 스트림을 분석하여 운동이 실제인지 검증합니다.
• 규모: 실제 및 재연 시나리오 모두에 대해 동기화된 RGB 및 이벤트 데이터를 보유한 17 명의 피험자 (여성 4 명, 남성 13 명).

B. 이벤트 데이터 처리

시스템은 $p$가 극성 (polarity) 인 비동기 이벤트 스트림 $(x, y, t, p)$을 처리합니다.

• 특징 추출:
  • 활동 프로파일 ($A_p$): 시간적 역학을 모델링하기 위해 지수 감쇠 커널을 사용하여 이벤트 활동의 연속적인 추정치.
  • 활성 이벤트 표면 (SAE): 공간적 이웃에서 이벤트의 최근 시간적 역사를 인코딩하는 프레임 유사 표현으로, 표준 CNN 의 사용을 가능하게 함.
  • 통계적 특징: 화면 새로고침 인공물을 탐지하기 위한 평균 이벤트 레이트, 극성 균형, 그리고 이벤트 간 간격 (IEI).

C. 탐지 파이프라인

파이프라인은 두 가지 동시 작업을 수행합니다:

1. 안구 운동 분할: 챌린지 응답을 검증하기 위해 깜빡임과 사카드의 정확한 타이밍을 탐지.
   • 깜빡임 탐지: 활동 프로파일 ($A_{on} - A_{off}$ 신호의 평활화된 제로 크로싱 검색) 에 대한 신호 처리 사용.
   • 사카드 탐지: 시간적 의존성을 모델링하기 위해 확장 컨볼루션 (dilated convolutions) 을 사용하는 시간적 컨볼루션 네트워크 (TCN) 사용. 단순 피크 탐지법보다 성능이 우수함.
2. 얼굴 라이브니스 분류: 시퀀스가 실제인지 재연인지 결정.
   • 모델: **스파이킹 컨볼루션 신경망 (SCNN)**이 이벤트 데이터를 직접 처리 (보크셀 그리드 표현).
   • 비교: SAE 프레임에서 훈련된 비전 트랜스포머 (ViT) 와 표준 CNN 도 평가됨.

3. 주요 기여

1. 새로운 모달리티 적용: 원거리 안구 (remote-eye) 시나리오에서 시간적 안구 역학을 활용한 이벤트 기반 라이브니스 감지를 조사한 최초의 연구.
2. 새로운 데이터셋: 이벤트 기반 라이브니스 연구를 위해 특별히 설계된 RGBE-Gaze 에서 파생된 재연 공격 데이터셋 도입.
3. 시간적 분할 방법: 원거리 환경에서 사카드와 깜빡임의 정밀한 시간적 분할을 위한 이벤트 기반 방법.
4. 강건성 분석: 이벤트 카메라가 디스플레이 한계로 인해 재연 공격이 본질적으로 재현하기 어려운 고유한 운동 단서 (마이크로초 해상도) 를 포착함을 입증.

4. 결과

시스템은 피험자 독립 분할 (80/20) 을 사용하여 맞춤형 데이터셋에서 평가되었습니다.

• 라이브니스 감지:
  • **스파이킹 컨볼루션 신경망 (SCNN)**이 95.37% Top-1 정확도로 최상의 성능을 달성했습니다.
  • ACER (평균 분류 오율): 4.65% (APCER: 4.20%, BPCER: 5.10%).
  • SCNN 은 RGB 프레임으로 훈련된 비전 트랜스포머 (ViT, 92.15% 정확도) 보다 우수한 성능을 보여, 이 작업에 있어 이벤트 기반 시간적 특징의 우월성을 입증했습니다.
• 안구 운동 탐지:
  • 깜빡임 탐지: 단순 신호 처리가 **F1 점수 95.35%**를 달성했습니다.
  • 사카드 탐지: TCN 모델이 **F1 점수 89.65%**를 달성하여 기저선 피크 탐지 방법 (62.72%) 보다 현저히 우수한 성능을 보였습니다.
• 특징 분석: 통계적 분석은 재연 공격이 화면 밝기 한계로 인한 더 낮은 평균 이벤트 레이트와 화면 프레임 레이트 (예: 60Hz 의 경우 16.6ms) 주변에 군집된 이벤트 간 간격과 같은 고유한 인공물을 나타내며, 이는 실제 이벤트 스트림에는 존재하지 않음을 확인했습니다.

5. 중요성 및 향후 작업

• 강건성: 이 접근 방식은 정적 외모뿐만 아니라 *운동의 물리학 (시간적 역학)*을 분석함으로써 이벤트 카메라가 재연 공격에 대한 강력한 솔루션을 제공함을 보여줍니다.
• 개인정보 보호 및 지연 시간: 이벤트 카메라는 낮은 지연 시간과 개인정보 보호 기능 (전체 프레임 이미지 대신 희소 변화만 제공) 을 제공하여 실시간 생체 인식 시스템에 이상적입니다.
• 향후 방향:
  • 다양한 공격 도구 (다른 화면, 인쇄 공격, 마스크, AI 생성 위조) 를 포함하도록 데이터셋 확장.
  • 일반화를 개선하기 위해 데이터셋 규모 및 환경 다양성 증가.
  • 얼굴 등록을 위해 RGB 프레임에 대한 의존성을 제거하는 완전한 이벤트 기반 파이프라인 개발.

결론적으로, 이 연구는 이벤트 카메라가 포착한 시간적 안구 역학이 재연 공격과 실제 사용자를 구별하는 데 매우 효과적이고 강력한 단서임을 입증하며, 도전적인 원거리 안구 환경에서 최첨단 정확도를 달성했습니다.