1. 연구 배경 및 문제 정의 (Problem)

• 배경: 얼굴 인식 (Face Recognition, FR) 기술은 스마트폰 인증, 금융 거래, 보안 등 모바일 및 엣지 디바이스에서 광범위하게 활용되고 있습니다. 이러한 환경에서는 클라우드 의존 없이 로컬에서 처리해야 하므로 낮은 지연 시간 (latency), 제한된 메모리, 낮은 에너지 소비가 필수적입니다.
• 기존 한계:
  • CNN 기반 경량화 모델: MobileFaceNet, GhostFaceNet 등은 효율적이지만, 수용 영역 (receptive field) 이 제한되어 장거리 의존성 (long-range dependencies) 을 포착하는 데 한계가 있어 복잡한 자세 변화나 조명 변화에서 성능이 저하될 수 있습니다.
  • Transformer 기반 모델: Vision Transformer (ViT) 는 전역적 맥락 모델링에 뛰어나지만, 어텐션 메커니즘의 계산 복잡도로 인해 모바일 환경에서 실시간 추론이 어렵고 리소스 소모가 큽니다.
  • 하이브리드 모델의 과제: 기존 하이브리드 CNN-Transformer 모델 (FaceLiVTv1 등) 은 어느 정도 균형을 이루고 있으나, 여전히 글로벌 토큰 상호작용 모듈의 중복성, 비최적화된 로컬 - 글로벌 통합, 그리고 임베딩 단계의 단순한 전역 평균 풀링 (GAP) 으로 인한 공간 정보 손실 등의 문제가 존재했습니다.

2. 제안 방법론 (Methodology)

저자들은 기존 FaceLiVTv1 을 개선한 FaceLiVTv2를 제안하며, 모바일 환경에 최적화된 3 가지 핵심 아키텍처 개선을 통해 효율성과 정확도를 동시에 향상시켰습니다.

가. Lite MHLA (Lightweight Multi-Head Linear Attention)

• 문제: 기존 MHLA 는 MLP 스타일의 2 층 선형 설계와 비선형 활성화 함수를 사용하여 불필요한 오버헤드를 발생시켰습니다.
• 해결:
  • 단순화된 선형 매핑: 비선형 활성화 함수를 제거하고 단일 선형 매핑으로 토큰 상호작용을 수행합니다.
  • Affine Rescale Transformation: LayerNorm 대신 학습 가능한 아핀 (Affine) 스케일 및 편향 변환을 사용하여 특징 분포를 재조정합니다. 이는 메모리 바운드 (memory-bound) 환경인 모바일에서 정규화 레이어의 오버헤드를 줄이고 최적화를 안정화합니다.
  • 효율성: Q/K/V 및 출력 프로젝션, 소프트맥스 정규화를 제거하여 계산 복잡도를 획기적으로 낮추면서도 표현력을 유지합니다.

나. RepMix (Reparameterized Token Mixer) 와 통합 구조

• 로컬 특징 추출: RepMix 블록은 학습 시 3x3 과 1x1 깊이별 합성곱 (Depthwise Convolution) 을 병렬로 사용하지만, 추론 시 구조적 재매개변수화 (Structural Reparameterization) 를 통해 단일 3x3 합성곱으로 병합됩니다.
• 통합 설계: 초기 단계에서는 RepMix 만을 사용하고, 후기 단계 (Stage 3, 4) 에서는 RepMix 와 Lite MHLA 를 결합하여 로컬 구조 정보와 전역 토큰 상호작용을 효과적으로 통합합니다.

다. GDConv Head (Global Depthwise Convolution Head)

• 문제: 기존 모델들은 전역 평균 풀링 (GAP) 을 사용하여 모든 공간 위치를 동일하게 취급하여 중요한 국소적 특징을 잃을 수 있었습니다.
• 해결: 전역 평균 풀링을 **전역 깊이별 합성곱 (GDConv)**으로 대체합니다. 이는 채널별 공간 가중치를 학습하여 적응적인 공간 집계 (adaptive spatial aggregation) 를 가능하게 하며, 더 구별력 있는 (discriminative) 얼굴 임베딩을 생성합니다.

3. 주요 기여 (Key Contributions)

1. Lite MHLA 모듈 제안: 기존 FaceLiVT 의 MHLA 를 재설계하여 중복성을 줄이고 전역 맥락 모델링 효율을 극대화했습니다.
2. FaceLiVTv2 아키텍처 개발: 개선된 임베딩 헤드 (GDConv), 재매개변수화된 컨볼루션 믹서 (RepMix), Lite MHLA 를 통합하여 정확도와 추론 지연 시간 간의 균형을 최적화했습니다.
3. 광범위한 실험 검증: LFW, CA-LFW, CP-LFW, CFP-FP, AgeDB-30, IJB-B/C, TinyFace 등 8 가지 벤치마크에서 기존 경량 모델 및 최신 SOTA 모델보다 우수한 성능을 입증했습니다.
4. 실제 디바이스 성능 검증: iPhone 15 Pro, Jetson AGX Orin 등 다양한 엣지/모바일 기기에서 지연 시간을 측정하여 실제 배포 가능성을 입증했습니다.

4. 실험 결과 (Results)

• 정확도 - 효율성 트레이드오프:
  • FaceLiVTv2-S: GhostFaceNetV2-2 대비 30.8% 빠른 모바일 추론 속도를 유지하면서 평균 정확도가 0.21% 향상되었습니다.
  • FaceLiVTv2-L: FaceLiVTv1-M 대비 22% 지연 시간 감소 및 정확도 향상. ResNet200-TopoFR 과 같은 대형 모델에 비해 파라미터는 13.9 배, FLOPs 는 76.1 배 적으면서도 유사한 성능을 달성했습니다.
  • 저해상도 얼굴 (TinyFace): 추가적인 증류나 이미지 복원 기술 없이도, 90 MFLOPs 의 FaceLiVTv2-XS 가 MobileFaceNet 보다 우수한 성능을 보여주었습니다.
• 지연 시간 개선:
  • FaceLiVTv1 대비 모바일 추론 지연 시간이 22% 감소.
  • EdgeFace 및 KANFace 대비 플랫폼 전반에 걸쳐 20~41% 의 지연 시간 개선을 기록했습니다.
• Ablation Study:
  • Lite MHLA 도입으로 파라미터 22%, FLOPs 24% 감소 및 정확도 대폭 향상.
  • 4 개의 헤드 (Heads) 구성이 성능과 계산 비용 간의 최적 균형을 제공함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실용적 배포 솔루션: FaceLiVTv2 는 제한된 컴퓨팅 자원을 가진 모바일 및 엣지 디바이스에서 실시간 얼굴 인식을 가능하게 하는 실용적이고 배포 가능한 솔루션을 제공합니다.
• 하이브리드 아키텍처의 새로운 기준: CNN 의 효율성과 Transformer 의 전역 모델링 능력을 결합하면서도, 불필요한 연산을 제거하여 "효율적인 글로벌 - 로컬 특징 상호작용"의 새로운 표준을 제시했습니다.
• 미래 지향성: 저해상도 및 다양한 환경에서의 강건성을 입증함으로써, 보안, 금융, IoT 등 다양한 분야에서 경량화된 얼굴 인식 시스템의 핵심 기술로 자리매김할 것으로 기대됩니다.

이 논문은 모바일 환경에서의 얼굴 인식 기술이 단순히 모델을 축소하는 것을 넘어, 아키텍처 수준에서 연산 효율성과 표현력을 동시에 최적화해야 함을 강조하며, FaceLiVTv2 가 그 해답을 제시하고 있음을 보여줍니다.