기술 요약: MGFace – 조건부 유사도 라우팅을 통한 마스크 게이티드 얼굴 매칭

1. 문제 정의

얼굴 식별 시스템은 일반적인 조건에서는 높은 성능을 달ato지만, 쿼리 얼굴이 부분적으로 가려질 때, 특히 마스크에 의해 가려질 때 정확도가 크게 저하되는 문제를 겪습니다. 마스크는 하안부를 가려 중요한 신원 단서를 제거하며, 이로 인해 식별 정확도가 급격히 떨어집니다 (예: 이전 연구에서 98.41%에서 39.79%로 하락).

이 문제에 대한 기존 솔루션은 일반적으로 두 가지 범주로 나뉩니다:

1. 재학습/재구성(Retraining/Reconstruction): 합성된 마스크 데이터를 사용하여 모델을 재학습시키거나, 가려진 영역을 재구성하거나, 여러 특징을 결합하는 방법입니다. 이러한 방법들은 종종 추가적인 학습을 요구하거나, 신뢰할 수 없는 정보를 도입하거나, 모델의 복잡성을 증가시킵니다.
2. 재순위화 전략(Re-ranking Strategies): 글로벌 임베딩을 사용하여 후보를 검색한 후 패치 수준의 유사도(예: DeepFaceEMD)를 사용하여 순위를 정밀하게 조정하는 2단계 방식입니다. 마스크를 착용한 얼굴에는 효과적이지만, 이러한 접근 방식은 글로벌 임베딩만으로도 충분히 신뢰할 수 있는 언마스크(unmasked) 쿼리를 포함한 모든 쿼리에 대해 비용이 많이 드는 미세한 매칭을 적용합니다. 또한, 패치 수준 매칭 중에 가려진 영역을 명시적으로 제외하지 못해 잠재적으로 신뢰할 수 없는 유사도 신호를 도입할 수 있습니다.

핵심 과제는 언마스크 쿼리에 대한 미세한 매칭의 계산 오버헤드를 발생시키지 않으면서, 마스크를 착용한 얼굴에 대한 강건성을 개선하는 것입니다.

2. 방법론: MGFace 파이프라인

저자들은 쿼리 얼굴의 예측된 마스크 상태에 따라 매칭 전략을 적응적으로 선택하는 마스크 게이티드 얼굴 식별 파이프라인인 MGFace를 제안합니다. 이 시스템은 경량 마스크 분류 헤드가 추가된 사전 학습된 얼굴 인식 백본을 사용하여 단일 순전파(forward pass) 내에서 작동합니다.

A. 아키텍처 및 마스크 예측

별도의 독립된 분류기를 사용하여 추론 지연 시간을 늘리는 대신, MGFace는 사전 학습된 얼굴 인식 백본(예: FaceNet 또는 ArcFace)에 직접 통합된 경량 마스크 분류 헤드를 사용합니다.

• 입력: 이미지는 고정된(frozen) 백본에 의해 처리됩니다.
• 출력: 모델은 동시에 세 가지 출력을 생성합니다:
  1. 글로벌 특징 벡터 ($f$).
  2. 패치 수준 특징 맵 ($P$).
  3. 예측된 마스크 상태 ($p$): "masked" 또는 "unmasked".
• 효율성: 이 설계는 특징 추출과 마스크 상태 예측을 동시에 수행할 수 있게 하여, 두 개의 독립적인 모델을 순차적으로 실행하는 것을 방지합니다.

B. 조건부 유사도 라우팅 (Conditional Similarity Routing)

예측된 마스크 상태 ($p$)에 따라, MGFace는 쿼리를 두 개의 서로 다른 매칭 브랜치로 라우팅합니다:

1. 글로벌 매칭 브랜치 (언마스크 쿼리용)
쿼리가 unmasked로 예측되면, 시스템은 얼굴 전체가 신뢰할 수 있다고 가정합니다.

• 프로세스: 쿼리의 글로벌 특징과 모든 갤러리 글로벌 특징 간의 코사인 유사도를 계산합니다.
• 결과: 갤러리는 글로벌 유사도에 따라 정렬됩니다. 이 브랜치는 불필요한 패치 수준 계산을 피하여 표준 쿼리에 대한 효율성을 극대화합니다.

2. 2단계 마스크 인지 브랜치 (마스크 착용 쿼리용)
쿼리가 masked로 예측되면, 시스템은 가려짐을 처리하기 위해 2단계 프로세스를 채택합니다:

• 1단계 (글로벌 검색): 시스템은 검색 범위를 줄이기 위해 글로벌 코사인 유사도를 사용하여 상위-$k$ 명의 후보를 검색합니다.
• 2단계 (마스크 인지 패치 재순위화):
  • 필터링: 마스크는 일반적으로 하안부를 가리므로, 시스템은 패치 수준 특징 맵의 상단 공간 행(예: 그리드의 상단 절반)만을 유지하고 가려진 하단 영역에 해당하는 패치는 버리는 "마스크 인지 패치 필터"를 적용합니다.
  • 재순위화: 시스템은 쿼리의 필터링된 패치와 상위-$k$ 후보의 대응하는 패치 간의 평균 코사인 유사도를 계산합니다.
  • 최종 순위: 상위-$k$ 후보는 이러한 패치 수준 유사도에 따라 재순위화되며, 나머지 갤러리 이미지는 원래의 글로벌 유사도 순위를 유지합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. MGFace 파이프라인: 쿼리의 마스크 상태를 예측하기 위해 경량 마스크 분류 헤드로 사전 학습된 모델을 확장한 마스크 게이티드 식별 파이프라인입니다.
2. 조건부 라우팅 전략: 예측된 상태에 따라 매칭 프로세스를 선택하는 적응형 메커니즘입니다. 언마스크 쿼리는 효율적인 글로벌 코사인 유사도를 사용하고, 마스크 쿼리는 신뢰할 수 있는 상안부 영역에 집중된 마스크 인지 패치 수준 재순위화를 수행합니다.
3. 실증적 검증: 확장된 LFW-Mask 데이터셋에서 MGFace가 마스크 조건 하에서 향상된 식별 정확도를 보여주는 동시에 기존 재순위화 방법들에 비해 계산 비용을 크게 절감함을 입증했습니다.

4. 실험 결과

저자들은 FaceNet 및 ArcFace 백본을 사용하여 확장된 LFW-Mask 데이터셋에서 MGFace를 평가했습니다.

• 정확도:

  • FaceNet 백본: MGFace는 82.92% P@1(Precision@1)을 달성하여, 베이스라인인 코사인 유사도(77.54%)와 최신 기술인 DeepFaceEMD(81.83%)를 능가했습니다.
  • ArcFace 백본: MGFace는 91.91% P@1을 달성하여, DeepFaceEMD(89.71%)와 베이스라인(87.22%)을 넘어섰습니다.
  • Ablation (절제 실험): 마스크 전용 쿼리에 대해 MGFace는 70.24% P@1을 기록하여, 베이스라인(59.47%)보다 현저히 높은 성능을 보였습니다. 언마스크 쿼리에 대해서는 베이스라인과 유사한 성능(95.61% vs 95.62%)을 유지하여, 라우팅이 비마스크 얼굴의 성능을 저하시키지 않음을 증명했습니다.

• 효율성:

  • 쿼리 시간: DeepFaceEMD와 비교했을 때, MGFace는 쿼리 시간을 약 20배 단축했습니다 (보고된 테스트에서 182.59초에서 8.21초로 감소).
  • 메모리: 피크 VRAM 사용량이 2.77 GB에서 1.79 GB로 감소했습니다.
  • 오버헤드: 마스크 분류 헤드는 매우 적은 파라미터(예: FaceNet의 경우 약 115k)를 추가하면서도 높은 분류 정확도(FaceNet 95.44%, ArcFace 97.91%)를 달성했습니다.

5. 의의 및 주장

본 논문은 MGFace가 마스크 착용 얼굴 식별에서의 강건성과 효율성 사이의 트레이드오프를 효과적으로 해결한다고 주장합니다. 마스크 착용 여부를 명시적으로 구분함으로써, 이 방법은 다음을 실현합니다:

• 정확도 향 향상: 미세한 계산을 신뢰할 수 있는 상안부 영역에만 집중시켜, 가려진 하안부 패치로부터 발생하는 노이즈를 방지합니다.
• 비용 절감: 글로벌 임베딩만으로 충분한 언마스크 쿼리에 대해 비용이 많이 드는 패치 수준 매칭을 피합니다.
• 확장성: 균일한 미세 매칭 적용으로 인해 속도가 너무 느린 기존 재순위화 방법들에 비해 대규모 검색 시나리오에서 실용적인 솔루션을 제공합니다.

저자들은 시스템의 성능이 마스크 분류기의 정확도에 의존하며, 현재의 고정된 상안부 크롭 방식이 불규칙한 가려짐(예: 선글라스)이나 정렬되지 않은 얼굴을 완벽하게 처리하지 못할 수 있다는 점을 언급하며 한계를 인정했습니다. 향 향후 연구로는 적응형 가려짐 위치 파악(adaptive occlusion localization)을 탐구할 것을 제안했습니다.