TransFIRA: Transfer Learning for Face Image Recognizability Assessment

1. 문제 정의 (Problem Definition)

• 배경: 감시, 장편 비디오, 웹 이미지 등 비제약 환경 (unconstrained environments) 에서 얼굴 인식은 자세 (pose), 흐림 (blur), 조명 (illumination), 가림 (occlusion) 등의 극심한 변이에 직면합니다.
• 현재의 한계:
  • 기존의 시각적 품질 지표 (화질, 선명도 등) 는 배포된 인코더 (encoder) 가 실제로 입력 이미지를 인식할 수 있는지 (recognizability) 를 예측하는 데 실패합니다.
  • 기존 FIQA(Face Image Quality Assessment) 방법들은 시각적 휴리스틱, 수동 주석 (curated annotations), 또는 계산 비용이 큰 생성형 파이프라인에 의존합니다.
  • 이러한 방법들은 인코더의 결정 기하학적 구조 (decision geometry) 와 단절되어 있어, 실제 인식 성능과 직접적인 연관성이 부족합니다.
• 핵심 과제: 외관 기반의 품질 평가가 아닌, 배포된 인코더의 임베딩 공간에 기반한 '인식 가능성 (Recognizability)'을 직접 정의하고 평가하는 프레임워크가 필요합니다.

2. 방법론 (Methodology)

TransFIRA 는 사전 훈련된 백본 (backbone) 을 활용하여 인간의 품질 주석이나 IQA(이미지 품질 평가) 감독 없이 인식 가능성을 예측하는 경량화된 전이 학습 (Transfer Learning) 프레임워크입니다.

A. 인식 가능성 정의 (Definition of Recognizability)

임베딩 공간의 기하학적 특성을 기반으로 두 가지 핵심 지표를 정의합니다.

1. 클래스 중심 유사도 (CCS, Class-Center Similarity): 입력 임베딩 $z_i$와 해당 클래스의 중심 $\mu_{y_i}$ 사이의 코사인 유사도입니다.
   • $CCS_{x_i} = \cos \theta(z_i, \mu_{y_i})$
2. 클래스 중심 각도 분리 (CCAS, Class-Center Angular Separation): 해당 클래스 중심과의 유사도에서 가장 가까운 오분류 클래스 (impostor) 중심과의 유사도 (NNCCS) 를 뺀 값입니다.
   • $CCAS_{x_i} = CCS_{x_i} - NNCCS_{x_i}$
   • 의미: $CCAS > 0$인 경우, 해당 샘플이 올바른 클래스 중심에 더 가깝다는 뜻으로, 인코더의 결정 경계 (decision boundary) 내부에 위치함을 의미합니다. 이는 인식 가능/불가능을 구분하는 자연스러운 임계값으로 작용합니다.

B. 인식 가능성 예측 네트워크 (Recognizability Prediction Network)

• 구조: 사전 훈련된 얼굴 인코더 $\phi$에 경량 회귀 헤드 (linear layer) 를 추가합니다.
• 학습: 이미지 $x_i$를 입력받아 CCS 와 CCAS 값을 직접 예측하도록 학습합니다.
  • 손실 함수: 예측된 벡터 $\hat{r}_i$와 실제 임베딩에서 계산된 $r_i$ (CCS, CCAS) 간의 MSE(평균 제곱 오차).
• 특징:
  • 자기 지도 학습 (Self-supervised): 외부 주석 없이 인코더 자체의 임베딩에서 레이블을 생성합니다.
  • 인코더 특정성 (Encoder-specific): 배포된 특정 인코더의 판단 기준에 맞춰 인식 가능성을 학습합니다.
  • 경량화: 백본을 재학습하지 않고 헤지만 미세 조정 (fine-tuning) 하거나 엔드 - 투 - 엔드 학습을 통해 효율성을 확보합니다.

C. 인식 가능성 기반 템플릿 집계 (Recognizability-Informed Aggregation)

여러 프레임으로 구성된 템플릿의 품질을 높이기 위해 두 가지 전략을 적용합니다.

1. 필터링 (Filtering): 예측된 $CCAS > 0$인 프레임만 선별합니다. 이는 인코더의 결정 경계 기준으로 인식 불가능한 프레임을 제거하는 매개변수 없는 (parameter-free) 원칙적 기준입니다.
2. 가중치 부여 (Weighting): 선별된 프레임의 임베딩을 예측된 $CCS$ 값으로 가중 평균합니다. 클래스 중심에 더 가깝고 신뢰할 수 있는 임베딩에 더 높은 가중치를 부여합니다.

3. 주요 기여 (Key Contributions)

1. 인코더 특정적 인식 가능성 감독 (Encoder-specific Supervision):
   • 임베딩 공간에서 직접 유도된 CCS 와 CCAS 를 통해 FIQA 를 위한 첫 번째 기하학적으로 정립된 (geometry-grounded) 기준을 제시했습니다.
2. 유연한 전이 학습 (Flexible Transfer Learning):
   • 어떤 사전 훈련된 인코더라도 경량 회귀 헤드만 추가하여 인식 가능성 예측을 가능하게 합니다. 백본 구조 변경이나 인식 작업 재학습이 필요 없습니다.
3. 인식 가능성 기반 집계 및 설명 가능성 (Aggregation & Explainability):
   • $CCAS > 0$ 임계값과 CCS 기반 가중치를 통해 BRIAR 및 IJB-C 에서 SOTA 성능을 달성했습니다.
   • 얼굴뿐만 아니라 바디 (Body) 인식으로 확장 가능하며, 시그모이드 보정 (sigmoid calibration) 을 통해 다양한 모달리티에 적용됩니다.
   • 인코더의 관점에서 왜곡 (blur, occlusion) 이 인식 가능성에 미치는 영향을 설명할 수 있는 **인코더 기반 설명 가능성 (encoder-grounded explainability)**을 제공합니다.

4. 실험 결과 (Results)

• 데이터셋: BRIAR Protocol 3.1 (감시 영상, 극심한 열화), IJB-C (다양한 비제약 환경).
• 성능 비교: MagFace, CR-FIQA, DifFIQA, FaceQNet 등 기존 최첨단 방법들을 능가했습니다.
  • BRIAR: 필터링 + 가중치 전략을 적용했을 때, 균일 평균 (Average) 대비 TAR(True Accept Rate) 이 크게 향상되었습니다 (예: $10^{-6}$ FMR 에서 Swin 백본 기준 +0.1385 향상).
  • IJB-C: Swin 백본에서 최상위 성능을 기록했으며, ArcFace 백본에서도 기존 최상위 방법 (CR-FIQA) 과 유사하거나 더 나은 성능을 보였습니다.
• 이미지 수준 평가:
  • 상관관계 (Spearman Correlation): TransFIRA 는 실제 인식 가능성 (Ground Truth) 과 가장 높은 상관관계 (약 0.86) 를 보였으며, 기존 방법들 (0.45 미만) 보다 약 2 배 높은 정확도를 기록했습니다.
  • 오류 감소 (ERC): 인식 불가능한 프레임을 필터링하여 FNMR(False Non-Match Rate) 을 크게 낮췄습니다.
• 바디 인식 확장: SemReID 인코더를 사용한 바디 인식 실험에서도 시그모이드 보정을 통해 CCS/CCAS 의 분포를 정상화하고, 필터링 및 가중치를 통해 성능을 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: FIQA 를 단순한 이미지 품질 평가가 아닌, **배포된 인코더의 결정 기하학에 기반한 '인식 가능성 평가'**로 재정의했습니다.
• 실용성: 외부 주석이나 무거운 생성 모델 없이도 경량화되어 실시간 배포 시스템에 통합하기 용이합니다.
• 해석 가능성: "왜 이 프레임이 인식 불가능한가?"에 대해 인코더의 임베딩 공간 거리 (CCS, CCAS) 를 통해 투명하게 설명할 수 있습니다.
• 범용성: 얼굴 인식에 국한되지 않고 바디 인식 등 다른 모달리티로 자연스럽게 확장 가능한 통합 프레임워크를 제시했습니다.

결론적으로 TransFIRA 는 시각적 휴리스틱을 탈피하여 인코더의 실제 판단 능력에 부합하는 정확하고 해석 가능하며 확장 가능한 인식 가능성 평가 프레임워크를 확립했습니다.