Optimizing Image Preparation and Compression for Face Recognition within 1024 Bytes

기술 요약: 1024 바이트 이내의 얼굴 인식을 위한 이미지 준비 및 압축 최적화

문제 정의
국제민간항공기구(ICAO) 표준을 준수하는 전자 여권(MRTD)은 일반적으로 RFID 칩에 JPEG 또는 JPEG 2000 형식의 생체 안면 참조 이미지를 저장합니다. 그러나 비용과 발급 시간의 제약으로 인해 임시 여행 서류에는 RFID 칩이 없는 경우가 많으며, 대신 기계 판독성을 위해 2D 바코드를 사용합니다. 2D 바코드의 결정적인 한계는 제한된 저장 용량입니다. 본 연구는 충분한 얼굴 인식 성능을 유지하면서도 1024 바이트라는 엄격한 제한 내에 규격에 맞는 얼굴 이미지를 저장하는 과제를 해결하고자 합니다. 본 연구는 특히 두 가지 응용 시나리오를 대상으로 합니다: 다양한 프로브(probe) 품질을 시뮬레이션하는 다양한 데이터셋과의 일반적인 비교, 그리고 프로브 이미지가 고품질이며 정면인 경우를 상정한 자동 출입국 심사(ABC) 게이트 전용 시나리오입니다.

방법론
저자들은 11,128장의 이미지를 포함하는 ColorFERT 데이터베이스를 사용하여 종합적인 최적화 과정을 수행했습니다. 데이터셋은 "전체 데이터셋"(11,128장), "정면 데이터셋"(2,638장의 정면 이미지), 그리고 반복적인 튜닝을 위한 "파라미터 탐색 데이터셋"(100장)으로 분할되었습니다.

실험 프레임워크는 다음 단계로 구성되었습니다:

1. 이미지 전처리: SCRFD 모델과 얼굴 이미지 품질 평가 툴킷(FIQAT)을 사용하여 얼굴을 탐지, 정렬 및 크롭했습니다. 기준점을 설정하기 위해 이미지는 112×112 픽셀(특징 추출기의 입력 요구 사항)로 크기를 조정되었습니다.
2. 압축 알고리즘: 7가지 알고리즘을 평가했습니다: JPEG, JPEG 2000, JPEG XL, JPEG AI, AVIF, HEIF, WebP.
3. 최적화 파라미터: 다음 다섯 가지 범주의 파라미터를 최적화했습니다:
   • 알고리즘 선택: 7가지 코덱 비교.
   • 알고리즘 설정: 각 코덱에 대한 CLI 파라미터(예: 품질, 속도, 블록 크기) 튜닝.
   • 컬러 vs. 그레이스케일: 24비트 컬러 이미지를 8비트 그레이스케일로 변환할 때의 영향 평가.
   • 해상도: 56×56에서 224×224 범위의 해상도 테스트 (JPEG AI는 ≥160×160이 필요함에 유의).
   • 이미지 조작: 압축을 돕기 위해 "덜 중요한" 얼굴 영역(배경)에 전처리를 적용. 기술로는 배경 픽셀을 검은색/흰색으로 통일하거나, 3×3 평균 커널(블ur링)을 적용하거나, 저역 통과 필터링을 적용하는 것이 포함됩니다. 두 가지 접근 방식은 직사각형 경계 상자(bounding box)와 OFIQ 랜드마크 기반 방식을 정의합니다.
4. 평가 지표:
   • 자기 유사성(Self-Similarity): 원본 이미지와 압축된 이미지의 특징 벡터 간 코사인 유사도 (파라미터 튜닝에 사용).
   • 얼굴 인식 성능: AdaFace 모델(ViT-KPRPE 아키텍처)을 사용한 오인식률(FMR) 및 미인식률(FNMR).
   • 시나리오:
     • 전체 비교: 압축된 정면 이미지를 전체 데이터셋과 비교 (FMR 임계값 0.01%).
     • 정면 비교: 압축된 정면 이미지를 정면 데이터셋하고만 비교 (FMR 임계값 0.0001%, 고품질 ABC 게이트 프로브 시뮬레이션).
   • 품질 평가: EDC(Error vs. Discard Characteristic) 커브 사용 (OFIQ UQS 및 ViT-FIQA(C) 활용).

주요 기여

• 포괄적인 알고리즘 벤치마킹: 본 연구는 엄격한 1024 바이트 제약 조건 하에서 최근 표준화된 JPEG AI를 포함한 7가지 압축 표준에 대한 비교 분석을 제공합니다.
• 최적화 전략: 해상도 감소, 색 공간 변환, 그리고 타겟팅된 이미지 조작(비임계 영역의 평활화)을 통합하여 인식 성능을 극대화하는 다단계 최적화 프로세스를 도입했습니다.
• 시나리오별 권장 사항: 일반적인 사용 사례와 고품질 ABC 게이트 시나리오를 구분하여, 프로브 이미지의 품질에 따라 최적의 파라미터가 크게 달라짐을 입증했습니다.
• 전처리 통찰: 해상도를 낮추고 비임계 얼굴 영역에 평활화를 적용하는 것이 공격적인 손실 압축의 부정적인 영향을 완화할 수 있음을 검증했습니다.

결과

• 알고리즘 성능:
  • JPEG AI: 최적화된 설정(특히 그레이스케일 변환 및 전체 이미지 블러링)을 사용할 때, JPEG AI는 정면 비교(ABC 게이트) 시나리오에서 최고의 얼굴 인식 성능을 달est했으며, 노이즈 필터링 효과 덕분에 일부 지표에서는 압축되지 않은 베이스라인 이미지를 능가하기도 했습니다.
  • AVIF 및 WebP: 두 알고리즘 모두 두 시나리오에서 견고한 결과를 제공하여 강력한 대안임을 보여주었습니다.
  • JPEG: 이 크기에서 컬러 이미지에는 일반적으로 성능이 낮았으나, 최적화된 그레이스케일 JPEG와 평활화 조합은 제한된 정면 비교 시나리오에서 놀라운 성능을 보이며 압축되지 않은 베이스라인을 넘어섰습니다.
  • HEIF 및 JPEG 2000: 강력한 손실 압축 시나리오에서 상위 후보군들에 비해 일반적으로 낮은 성능을 보였습니다.
• 컬러 vs. 그레이스케일:
  • 전체 비교(가변 품질)의 경우, JPEG가 크기 제한을 맞추기 위해 그레이스케일이 필요했던 것을 제외하면 컬러 이미지가 일반적으로 더 나은 인식 성능을 보였습니다.
  • 정면 비교(고품질)의 경우, 그레이스케일 이미지가 더 우수했습니다. 저장 공간 절약을 통해 대비 세부 사항을 더 잘 보존할 수 있었으며, 이는 색상 정보의 손실보다 더 큰 이점을 제공했습니다.
• 해상도 및 조작: 낮은 해상도(예: 56×56 또는 96×96)는 압축과 결합될 때 표준 112×112 해상도보다 일반적으로 더 우수한 성능을 보였는데, 이는 공격적인 양자화를 줄여주기 때문입니다. 배경이나 전체 이미지를 평활화하는 것은 알고리즘에 관계없이 일관되게 결과를 개선했습니다.
• 품질 평가: OFIQ UQS와 ViT-FIQA(C) 모두 압축된 이미지를 성공적으로 처리했습니다. ViT-FIQA(C)는 그레이스케일 이미지에 대해 더 나은 변별력을 보였고, OFIQ UQS는 컬러 변체에 대해 약간 더 나은 성능을 보였습니다.

의의 및 주장
본 논문은 1024 바이트 이내에 자동 출입국 심사를 위한 얼굴 이미지를 저장하는 것이 시스템을 무용지물로 만들지 않으면서도 가능하다고 주장합니다. 저자들은 적절한 파라미터 튜닝(특히 JPEG AI, AVIF 또는 WebP 사용과 해상도 감소 및 이미지 평활화 결합)을 통해, 압축의 노이즈 필터링 특성 덕분에 고품질 프로브 시나리오에서 얼굴 인식 성능을 유지하거나 오히려 약간 향상시킬 수 있다고 단언합니다.

본 연구는 이전의 결과([5] 참조)와는 다른 변화를 강조하며, ABC 게이트의 특정 제약(고품질, 정면 프로브)이 일반적인 시나리오와는 다른 최적화 전략(예: 그레이스한 변환)을 선호한다는 점을 밝힙니다. 저자들은 강력한 손실 압축이 아티팩트(artifact)를 유발하지만, 해상도를 전략적으로 줄이고 비임계 이미지 영역을 조작함으로써 성능 저하를 효과적으로 완화할 수 있으며, 이를 통해 임시 여행 서류를 위한 비용 효율적인 2D 바코드 사용이 가능하다고 결론짓습니다.