Are Face Embeddings Compatible Across Deep Neural Network Models?

이 논문은 서로 다른 딥러닝 모델 (도메인 특화 얼굴 인식 모델 및 범용 파운데이션 모델) 이 얼굴 신원 (facial identity) 을 인코딩하는 방식이 근본적으로 호환 불가능한지, 아니면 단순한 매개변수화 차이인지에 대해 탐구합니다. 저자들은 서로 다른 모델 간의 임베딩 공간 (embedding space) 을 정렬하면 얼굴 인식 성능이 크게 향상된다는 것을 발견했습니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 얼굴 인식 기술은 도메인 특화 모델 (ArcFace, AdaFace 등) 과 범용 파운데이션 모델 (CLIP, BLIP-2, DINOv2 등) 의 발전으로 비약적으로 성장했습니다.
• 문제: 서로 다른 아키텍처, 학습 데이터, 손실 함수 (loss function) 로 훈련된 모델들은 얼굴 임베딩을 서로 다른 공간에 매핑합니다. 기존 연구 (Bhatta et al.) 는 이러한 임베딩 공간이 근본적으로 호환되지 않으며, 이는 생체 템플릿의 취소 가능성 (revocability) 을 제공한다고 주장했습니다.
• 핵심 질문: 서로 다른 DNN 모델들이 얼굴 신원을 인코딩하는 방식이 근본적으로 다르기 때문인지, 아니면 공통된 기하학적 구조를 다른 좌표계로 표현한 것 (misaligned parameterization) 일 뿐인지 확인하는 것입니다.

2. 방법론 (Methodology)

저자들은 서로 다른 모델에서 추출한 얼굴 임베딩을 점구름 (point cloud) 으로 간주하고, 간단한 아핀 변환 (affine transformation) 을 통해 한 모델의 임베딩을 다른 모델의 공간에 정렬하는지 실험했습니다.

• 데이터셋: CFP (Frontal-Profile), LFW (Wild), WebFace (CASIA-WebFace 샘플) 등 다양한 얼굴 인식 벤치마크를 사용했습니다.
• 모델:
  • 도메인 특화 모델: ArcFace, AdaFace, MagFace, KPRPE 등.
  • 파운데이션 모델: CLIP, ALIGN, DINOv2, SAM, BLIP-2, LLaVA, InternVL3 등.
• 정렬 기법 (Alignment Methods): 학습 데이터의 일부 (70%) 를 사용하여 다음 세 가지 선형 변환을 학습하고, 나머지 데이터 (30%) 로 평가했습니다.
  1. Procrustes 정렬: 직교성 (rotation) 만을 유지하는 변환.
  2. 선형 회귀 (Linear Regression): 제약 없는 선형 변환 (회전, 스케일링, 전단 포함).
  3. 릿지 회귀 (Ridge Regression): 과적합을 방지하기 위해 L2 정규화를 적용한 선형 변환.
• 평가 지표:
  • 식별 (Identification): Rank-k 정확도, mAP, CMC 곡선.
  • 검증 (Verification): ROC 곡선, AUC, EER (Equal Error Rate), TMR@FMR=1%.

3. 주요 결과 (Key Results)

A. 도메인 특화 모델 간 호환성

• 정렬 전: 모델 간 임베딩을 직접 비교할 때 Rank-1 정확도는 1% 미만으로 무작위 수준에 가까웠습니다.
• 정렬 후: 간단한 선형 변환을 적용한 후, 모든 데이터셋에서 평균 Rank-1 정확도가 97% 이상으로 급격히 향상되었습니다.
  • 예: ArcFace → AdaFace 정렬 시 CFP 데이터셋에서 Rank-1 이 0.57% 에서 98.53% 로 상승.
• 성능 비교: 선형 회귀 (Linear) 가 일반적으로 가장 좋은 성능을 보였으며, Procrustes 와 Ridge 도 유사한 높은 성능을 달성했습니다.

B. 파운데이션 모델 간 호환성

• 정렬 전: 도메인 특화 모델과 마찬가지로 정렬 전에는 성능이 거의 0% 에 가까웠습니다.
• 정렬 후: 평균 Rank-1 정확도가 **약 71%**까지 향상되었습니다.
  • 모델별 차이: 시각 - 텍스트 정렬 (Contrastive/Multimodal) 을 목표로 한 모델들 (CLIP, BLIP-2 등) 간의 정렬 성능이 매우 높았으나, 세그멘테이션에 특화된 모델 (SAM) 은 상대적으로 낮은 정렬 성능을 보였습니다.
• 검증 (Verification) 한계: 식별 (Identification) 작업에서는 큰 향상이 있었으나, 고보안 수준의 검증 (Verification, FMR=0.1%) 에서는 여전히 도메인 특화 모델보다 성능이 낮았습니다. 이는 파운데이션 모델이 신원 분리 (identity separation) 에 최적화되지 않았기 때문입니다.

C. 교차 데이터셋 일반화 (Cross-Dataset Generalization)

• 학습 데이터셋 (예: CFP) 에서 학습된 정렬 변환을 다른 데이터셋 (예: LFW) 에 적용했을 때에도 성능이 크게 향상되었습니다.
• 이는 모델 간의 기하학적 관계가 데이터셋의 분포 변화 (pose, lighting, demographics) 에 대해 부분적으로 불변 (invariant) 임을 시사합니다.

4. 핵심 기여 및 발견 (Contributions & Insights)

1. 선형 정렬의 유효성: 복잡한 비선형 매핑 없이도 단순한 선형 변환으로 서로 다른 모델 간의 얼굴 임베딩을 정렬할 수 있음을 증명했습니다.
2. 표현 수렴 (Representational Convergence): 서로 다른 모델들은 얼굴 신원을 인코딩할 때 공통된 저차원 다양체 (low-dimensional identity manifold) 위에 존재하며, 단지 좌표계 (parameterization) 만 다를 뿐임을 시사합니다.
3. 기하학적 해석: 매니폴드 학습 이론에 기반하여, 국소적으로 다양체는 접공간 (tangent space) 으로 근사될 수 있으며, 선형 변환은 이 접공간 간의 좌표 변환을 수행한다고 설명했습니다.
4. 모델 계층 구조: 정렬 행렬을 기반으로 한 계층적 클러스터링을 통해 모델들이 아키텍처나 학습 목적에 따라 일관된 군집을 이룬다는 것을 발견했습니다 (예: 시각 - 텍스트 모델군, 자기지도학습 모델군).
5. 방향성 비대칭성: A→B 정렬과 B→A 정렬의 성능이 다를 수 있음을 발견했습니다. 이는 타겟 모델의 임베딩 공간이 신원을 얼마나 잘 분리하는지 (기하학적 품질) 에 따라 정렬 성능이 결정됨을 의미합니다.

5. 의의 및 시사점 (Significance)

• 시스템 상호운용성 (Interoperability): 서로 다른 모델로 훈련된 템플릿을 재등록 (re-enrollment) 없이도 정렬하여 통합 시스템에서 사용할 수 있어, 이기종 모델 간의 앙상블 설계와 모델 교체가 가능해집니다.
• 생체 템플릿 보안의 재평가: 기존에 "서로 다른 모델은 호환되지 않아 템플릿 취소가 가능하다"는 가정이 깨질 수 있습니다. 공격자가 두 시스템의 임베딩을 확보하면 선형 변환을 통해 템플릿을 매칭할 수 있으므로, 템플릿 취소 가능성 (revocability) 이 이전보다 취약할 수 있음을 경고합니다.
• 미래 연구 방향: 다른 생체 인식 모달리티 (홍채, 지문) 로의 확장 및 적대적 공격 (adversarial attacks) 맥락에서의 기하학적 호환성 연구가 필요함을 제안합니다.

결론적으로, 이 논문은 서로 다른 DNN 모델들이 얼굴 신원을 인코딩하는 방식이 근본적으로 상충되는 것이 아니라, 공통된 기하학적 구조를 공유하고 있음을 증명하며, 이를 통해 모델 간 호환성을 높일 수 있는 실용적인 방법론을 제시했습니다.