Improving Low-Resolution Face Recognition under Limited Data: How Synthetic Data Generation Can Close the Domain Gap

기술 요약: 제한된 데이터 환경에서의 저해상도 얼굴 인식 성능 개선

문제 정의
감시 시스템에 배치된 얼굴 인식(FR) 시스템은 종종 얼굴 영역이 표준 112 × 112 입력 크기 미만(예: 16–32 픽셀)인 저해상도(LR) 얼굴에 직면합니다. 고해상도(HR) 학습 데이터는 풍부하지만, 레이블이 지정된 네이티브 저해상도(native-LR) 데이터와, 결정적으로 쌍을 이루는 네이티브 LR/HR 데이터는 매우 희귀합니다. 이러한 희소성은 엣지 디바이스를 위한 강력한 모델을 학습시키는 데 걸림돌이 됩니다. 일반적인 해결책은 가용 가능한 고해상도 얼굴로부터 저해상도 데이터를 합성하는 것이지만, 복잡한 합성 전략에 투입된 노력이 실제 저해상도 데이터에 대한 인식 정확도 향상으로 이어지는지는 여전히 불분명합니다. 또한, 이러한 설정은 열화(degradation)가 특정 인구 통계 그룹에 불평등하게 영향을 미칠 수 있다는 점에서 공정성 문제를 제기합니다.

방법론
저자들은 제한된 저해상도 데이터 환경에서 컴팩트한 엣지 디바이스 지향형 백본(EdgeFace-S)을 위한 합성 데이터 생성 전략을 체계적으로 연구합니다. 이들은 세 가지 수준의 "합성 노력(synthesis effort)"에 걸쳐 다섯 가지 적응 전략을 평가합니다:

1. 낮은 노력 (보간 증강 - Interpolation Augmentation): 고해상도 얼굴을 특정 해상도(56, 28, 14 또는 7 px)로 다운샘플링한 후 다시 112 px로 업샘플링하는 결정론적 체인(cubic 또는 area 보간법 사용)을 포함합니다. 모델은 이 증강된 데이터로 엔드 투 엔드(end-to-end) 재학습됩니다.
2. 중간 노력 (생성적 열화 - Generative Degradation): 현실적인 저해상도 학습용 얼굴을 합성하기 위해 Real-ESRGAN 스타일의 확률적 열화 파이프라인(무작위 블러, 크기 조정, 노이즈 및 JPEG 압축)을 활용합니다. 여기에는 열화된 이미지를 직접 수용하기 위해 표준 스템(stem)을 1×1 컨볼루션으로 대체한 네이티브 32 px 스템 학습이 포함됩니다.
3. 높가 노력 (학습된 초해상도 프런트엔드 - Learned Super-Resolution Front-End): 32 px 입력을 통해 HR과 유사한 이미지를 재구성하도록 사전 학습된 정체성 인식 초해상도(SR) 프런트엔드(ESPCN 또는 RRDB 아키텍처 사용)를 사용하는 2단계 접근 방식입니다. 이후 Prepended Domain Transformer (PDT) 번역기와 함께 결합 대조 학습(joint contrastive training)을 수행하며, 이는 고정된 강력한 백본(EdgeFace-base)으로 전달됩니다.

또한, 고해상도 학습된 교사(teacher) 모델이 저해상도 학생(student) 모델을 가이드하는 지식 증류(Knowledge Distillation, KD)를 평가합니다.

평가 프로토콜
저자들은 모든 전략을 두 가지 유형의 데이터로 평가하여 "합성-실제 간극(synthetic–real gap)"을 다룹니다:

• 합성 벤치마크: 다양한 해상도로 합성적 열화를 가한 표준 검증 세트(LFW, CFP-FP, AgeDB-30).
• 실제 네이티브 저해상도(Real Native-LR): 두 가지 정렬 파이프라인(패딩이 포함된 정렬된 크롭 및 미분 가능한 얼굴 정렬기) 하에서 평가된 실제 세계의 저해상도 얼굴 모음인 TinyFace 데이터셋.

주요 결과

• 합성-실제 간극: 합성 벤치마크에서 최적의 성능을 보이는 열화 설정(28 ↓c/↑a, cubic-down/area-up)은 실제 네이티브 저해상도 데이터(TinyFace)에서는 성능이 저하되며, 종종 HR 학습 베이스라인보다도 나쁜 결과를 보입니다. 반대로, 더 완만한 합성 설정(56 ↓c/↑a)이 실제 저해상도 데이터에서 가장 효과적임이 밝혀졌습니다.
• 노력 대비 비단조적 수익 (Non-Monotonic Returns on Effort): 합성 노력을 높인다고 해서 반드시 더 나은 결과가 보장되는 것은 아닙니다.
  • **컴팩트 백본(EdgeFace-S)**의 경우, 단순 보간 증강(56 ↓c/↑a)만이 직접 입력(direct-feed) 베이스라인보다 개선된 결과를 보여주는 유일한 전략입니다.
  • **지식 증류(KD)**는 합성 데이터에서 가장 큰 이득을 얻었으나, 실제 저해상도 데이터로 전이되는 데 실패했습니다.
  • 학습된 SR 프런트엔드: 정체성 인식 사전 학습과 결합 학습을 거쳤음에도 불구하고, 학습된 SR+PDT 파이프라인은 정렬된 저해상도 이미지를 강력한 고정 백본에 직접 입력하는 방식보다 우수하지 못했습니다. 재구성된 얼굴의 시각적 품질이 인식 성능 향상으로 이어지지는 않았습니다.
• 공정성: 저해상도 인지 합성이 평균 정확도는 개선하지만, 인구 통계적 편향을 체계적으로 감소시키지는 않습니다. RFW 데이터셋에서 아프리카계, 아시아계, 코카서스계, 인도계 그룹 간의 오인식률(FMR) 격차는 학습 해상도에 따라 일관되지 않거나 오히려 악화됩니다.

의의 및 결론
본 논문은 저해상도 얼굴 인식을 위한 생성적 방법론이 합성 열화 벤치마크에만 의존할 것이 아니라, 반드시 실제 네이티브 저해상도 데이터 및 직접 입력 베이트라인과 비교 검증되어야 한다고 결론짓습니다. 저자들은 다음과 같이 주장합니다:

1. 최적의 설정은 도메인마다 다르다: "최적의" 합성 열화 방식이 실제 현장 배포 시에도 최적은 아닙니다.
2. 단순함이 승리한다: 재학습 가능한 컴팩트 모델의 경우, 복잡한 생성 파이프라인보다 낮은 노력의 보간 증강이 더 우수합니다.
3. 베이스라인의 중요성: 학습된 SR 프런트엔드는 강력한 백본에 정렬된 이미지를 직접 입력할 수 있다면 단독 솔루션으로서 유용하지 않습니다. 복원 파이프라인은 반드시 이 직접 입력 베이스라인보다 뛰어난 성능을 보일 때만 유익하다고 주장할 수 있습니다.
4. 공정성의 한계: 합성으로부터 얻은 정확도 향상이 인구 통계적 편향을 자동으로 해결하지는 않습니다.

저자들은 실질적인 적용을 위해 합성 노력을 배포 제약 조건(컴팩트 백본 vs. 강력한 백본)에 맞추는 것이 중요함을 강조하며, 그들의 파이프라인을 공개하여 실제 네이티브 저해상도 데이터에 대한 검증을 독려합니다.