💻 computer science

Pipeline Optimisation for Real-World Masked Face Recognition: YOLOv8 Detection, Landmark-Guided Cropping, and Multi-Model Embedding Benchmarking

본 논문은 미세 조정된 YOLOv8 검출기와 랜드마크 기반의 상안부 크로핑을 결합한 강건한 마스크 착용 얼굴 인식에 관한 체계적인 파이프라인을 제시하며, 광범위한 벤치마킹을 통해 이러한 다단계 최적화가 특히 FaceNet과 코사인 유사도를 사용할 때 단일 모델 방식보다 유의미하게 우수한 성능을 보임을 입증한다.

원저자: Hamza Zidoum, Shihab Al Busaidi

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hamza Zidoum, Shihab Al Busaidi

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문에 대한 설명입니다. 일상적인 비유를 사용하여 쉬운 개념으로 나누어 정리했습니다.

거대한 문제: "가려진 얼굴"의 오류

당신에게 아주 똑똑한 보안 요원(컴퓨터 시스템)이 있다고 상상해 보세요. 이 요원은 건물 안의 모든 사람의 얼굴을 기억하기 위해 수년간 노력했습니다. 이 요원은 사람들이 평상복을 입고 얼굴 전체가 드러나 있을 때 사람을 알아보는 데 매우 뛰어납니다.

하지만 팬데믹이 닥치자, 모두가 마스크를 쓰기 시작했습니다. 갑자기 보안 요원이 혼란에 빠졌습니다. 마스크가 코, 입, 턱을 가려버렸기 때문입니다. 이 부분들은 요원이 "그래, 저 사람은 Bob이야!"라고 말하기 위해 중요하게 의존하던 부분들이었습니다. 보안 요원은 사람을 아예 놓치거나, 엉뚱한 사람으로 오해하는 등 실패하기 시작했습니다.

이 논문은 다음과 같은 질문을 던집니다: 어떻게 하면 보안 요원이 마스크를 쓰고 있을 때도 사람을 알아볼 수 있도록 고칠 수 있을까?

해결책: 3단계 파이프라인

저자들은 단순히 보안 요원의 뇌를 처음부터 다시 "재학습"시키려고 노력한 것이 아닙니다. 대신, 그들은 보안 요원이 이미지를 보기 전에 처리할 수 있는 3단계 조립 라인(파이프라인)을 구축했습니다. 이것은 까다로운 식객에게 음식을 내놓기 전에 음식을 준비하는 과정과 같습니다.

1단계: 얼굴 찾기 (The "Spotter" - 탐지기)

문제: 오래된 보안 카메라는 군중 속에서 얼굴을 찾는 데 구식 소프트웨어를 사용합니다. 마스크로 얼굴이 가려지면, 이 오래된 프로그램들은 길을 잃습니다. 이는 마치 지저かり운 방에서 특정 장난감을 찾으려는 아이와 같습니다. 아이는 장난감 전체를 보고 찾으려 하는데, 만약 장난감의 절반이 가려져 있으면 포기해 버립니다.

해결책: 저자들은 YOLOv8이라는 현대적이고 하이테크한 "탐지기"를 사용했습니다.

비유: 새의 전체 모습을 보지 않고도 머리와 눈만 보고도 그것이 새라는 것을 알아채는 훈련된 독수리를 상상해 보세요.
결과: 그들은 이 독수리가 마스크를 쓴 얼굴을 찾도록 특별히 훈련시켰습니다. 그 결과, 마스크 쓴 얼굴을 찾아내는 능력이 91.9%에 달할 정도로 매우 뛰어나졌습니다. 비교하자면, 기존의 "아이"(오래된 소프트웨어)는 약 47% 정도만 찾아낼 수 있었습니다.

2단계: 불필요한 부분 잘라내기 (The "Chef" - 요리사)

문제: 시스템이 얼굴을 찾더라도, 마스크는 여전히 그곳에 있어 시야를 가로막습니다. 이는 마치 누군가 책의 하단부에 포스트잇을 붙여 놓아 글자를 읽기 어려운 상황과 같습니다. 텍스트는 여전히 그 자리에 있지만, 지저분하고 혼란스럽습니다.

해결책: 저자들은 정교한 칼을 든 요리사처럼 행동하는 MediaPipe라는 도구를 사용했습니다.

비유: 지저சிய한 페이지 전체를 읽으려고 애쓰는 대신, 요리사는 텍스트가 명확하고 가려지지 않은 윗부분(눈, 이마, 뺨)만을 정밀하게 잘라냅니다. 그리고 포스트잇(마스크)과 페이지의 하단부를 버립니다.
결과: 시스템에 가려지지 않은 깨끗한 윗부분의 얼굴만을 입력함으로써, 인식 정확도가 엄청나게 상승했습니다. 가장 성능이 좋은 시스템의 경우, 낙제점(46.5%)에서 우수한 성적(B+, 70.1%)으로 올라갔습니다.

3단계: 비교하기 (The "Librarian" - 사서)

문제: 시스템이 얼굴의 깨끗한 윗부분을 확보하고 나면, 이를 알려진 얼굴 데이터베이스와 비교해야 합니다. 여기에는 거리를 측정하는 방식과 같이 서로 다른 여러 가지 비교 방법이 있습니다.

비류: 당신이 두 퍼즐 조각을 맞추려고 한다고 상상해 보세요.
- 방법 A (Euclidean): 가장자리 사이의 직선 거리를 측정합니다.
- 방법 B (Cosine): 조각의 크기에 상관없이 조각의 '각도'와 모양을 봅니다.
결과: 저자들은 세 가지 다른 "사서"(FaceNet, ArcFace, VGG-Face)를 테스트했습니다. 그 결과, 모든 모델에서 Cosine 방식(각도와 모양을 보는 방식)이 가장 효과적이라는 것을 발견했습니다. 흥로하게도, 메모리 용량이 가장 작은 "사서"(FaceNet)가 가장 좋은 성능을 보였는데, 이는 해당 모델이 누락된 세부 정보에 대해 과하게 생각하지 않았기 때문인 것으로 보입니다.

발견한 점 (핵심 요약)

오래된 소프트웨어는 실패한다: 마스크를 쓴 얼굴에 오래된 탐지 도구를 사용하면 처참하게 실패합니다. 마스크에 특화되어 튜닝된 현대적인 도구가 필요합니다.
추측하는 것보다 자르는 것이 낫다: 가장 큰 개선은 컴퓨터를 더 똑똑하게 만든 것이 아니라, 이미지를 크롭(자르기) 하는 것에서 왔습니다. 가려진 부분을 제거함으로써, 모델을 재학습시키지 않고도 시스템의 정확도를 크게 높였습니다.
적은 것이 더 낫다: 더 단순하고 압축된 컴퓨터 모델(FaceNet)이 복잡하고 무거운 모델들보다 누락된 정보를 더 잘 처리했습니다.
실제 마스크는 어렵다: 이 논문은 실제 사람들이 실제 마스크를 쓴 사진을 사용하는 것이 매우 중요하다는 점을 강조합니다. 이전 연구들은 가짜 디지털 마스크를 사용했는데, 이는 실제보다 문제를 더 쉽게 보이게 만들었습니다.

결론

이 논문은 마스크를 쓴 얼굴을 인식하기 위해 완전히 새로운 "슈퍼 브레인"을 발명할 필요는 없다고 결론짓습니다. 대신, 프로세스를 최적화하기만 하면 됩니다:

날카로운 눈으로 얼굴을 찾는다.
지저분하게 가려진 부분을 잘라낸다.
올바른 측정 도구를 사용하여 깨끗한 부분을 비교한다.

이 세 가지 간단한 단계를 수행함으로써, 시스템은 사람들이 마스크를 쓰고 있을 때도 다시 신뢰할 수 있게 됩니다.

기술 요약: 실세계 마스크 착용 얼굴 인식을 위한 파이프라인 최적화

문제 정의
팬데그램 이후 환경에서 마스크 착용의 광범위한 확산은 표준 얼굴 인식 시스템의 치명적인 취약성을 드러냈다. 가려지지 않은 얼굴로만 학습된 모델들은 탐지 및 특징 추출에 크게 의존하는 영역인 코, 입, 턱이 가려질 때 상당한 성능 저하를 겪는다. 기존 문헌은 종종 합성된 마스크 오버레이에 의존하는데, 이는 직물의 질감, 밀착도, 착용 스타일 등의 실세계 변동성을 포착하지 못해 성능 지표를 과대평가하는 경-향이 있다. 또한, 현대적인 1단계 탐지기(one-stage detectors), 다양한 임베딩 아키텍처, 그리고 특정 전처리 전략을 실세계 마스크 데이터셋에 통합하여 체계적인 엔드 투 엔드(end-to-end) 벤치마킹을 수행한 연구가 부족하다.

방법론
저자들은 합성 오버레이가 아닌 실제 마스크 이미지를 포함하는 Real-World Masked Face Recognition Dataset (RMFRD)을 통해 테스트된 체계적인 엔드 투 엔드 평가 파이프라인을 제안한다. 본 연구는 신원(identity) 기준으로 80:20 분할된 10,000장의 이미지(마스크 착용 5,000장, 미착용 5,000장)의 균형 잡힌 서브셋을 활용한다. 파이프라인은 다음의 5개 순차적 단계로 구성된다:

데이터셋 준비: RMFRD 서브셋을 640×640 픽셀로 표준화하였다. 마스크 착용 및 미착용 얼굴에 대한 어노테이션은 LabelImg를 사용하여 생성되었다.
얼굴 탐지 (YOLOv8): COCO 사전 학습 가중치를 활용한 전이 학습을 통해 YOLOv8 탐지기를 미세 조정(fine-tuning)하였다. 이는 세 가지 베이스라인인 Dlib (HOG+SVM), MTCNN, RetinaFace와 벤치마킹되었다. 탐지 성공 여부는 IoU ≥ 0.5에서의 이미지 수준 성공률(ISR@0.5)로 측정되었다.
얼굴 인식 (임베딩 모델): 세 가지 사전 학습된 임베딩 모델을 제로샷 프로토콜(RMFRD에 대한 미세 조정 없음) 하에 평가하였다:
- FaceNet: 128차원 트리플렛 손실(triplet-loss) 임베딩 (Inception-ResNet 백본).
- ArcFace: 512차원 가법 각 마진(additive angular margin) 임베딩 (ResNet 백본).
- VGG-Face: 512차원 소프트맥스 학습 임베딩 (VGG-16 백본).
유사도 지표 및 증강: 코사인 유사도(Cosine similarity), 유클리드 거리(Euclidean distance), 맨해튼 거리(Manhattan distance)를 사용하여 인식 성능을 테스트하였다. 또한 광학적 증강(회전, 밝기/대비 지터링, 블러, 이동, 스케일링)의 영향도 평가하였다.
랜드마크 가이드 크로핑 (Landmark-Guided Cropping): MediaPipe FaceMesh를 사용하여 468개의 얼굴 랜드마크를 동적으로 추출하였다. 눈, 이마, 상단 뺨 등 상단 안면 영역만을 유지하고, 가려진 하단 안면 영역(입, 턱)은 제외하였다. 이렇게 크롭된 이미지가 인식 모델에 입력되었다.

주요 기여
본 논문은 문헌의 다섯 가지 특정 공백을 해결한다:

실세계 검증: 합성 마스크를 넘어 실제 RMFRD 데이터셋에서 평가함으로써 실세계성을 확보하였다.
탐지기 벤치마킹: 마스크 착용 얼굴 탐지에 특화하여 YOLOv8을 MTCNN, RetinaFace, Dlib과 체계적으로 비교한 첫 사례를 제공한다.
교차 모델 분석: 동일한 폐쇄 조건 하에서 세 가지 서로 다른 임베딩 아키텍처(FaceNet, ArcFace, VGG-Face)를 벤치마킹하였다.
지표 평가: 모든 모델에 걸쳐 코사인, 유클리드, 맨해러 거리의 성능을 체계적으로 비교하였다.
정량화된 전처리: 통합된 파이프라인 내에서 랜드마크 가이드 크로핑의 구체적인 영향을 측정하였다.

결과

탐지 성능: 미세 조정된 YOLOv8은 전체 ISR@0.5 **95.76%**를 달성했으며, 마스크 착용 얼굴에 대해서는 **91.9%**를 기록했다. 이는 MTCNN (47.3%), RetinaFace (14.7%), Dlib (4.7%)을 크게 상회하는 수치이다. McNemar 검정을 통한 통계적 검증 결과, 이러한 차이는 유의미하였다 ( $p < 0.001$ ).
인식 베이스라인: 전처리 없이 전체 마스크 폐쇄 상태에서는 모든 모델의 성능이 크게 저하되었다. FaceNet이 **46.5%**의 가장 높은 Rank-1 정확도를 기록했으며, ArcFace(45.8%)와 VGG-Face(34.2%)가 그 뒤를 이었다.
유사도 지표: 코사인 유사도가 모든 모델에서 유클리드 및 맨해튼 거리보다 일관되게 우수한 성능을 보였다.
증강: 광학적 증강은 미미한 이점(±2 퍼센트 포인트 이내의 변화)만을 주었으며, VGG-Face의 성능을 오히려 약간 저하시켰다. 이는 실세계 데이터셋 자체의 다양성이 충분한 암묵적 증강 역할을 하고 있음을 시사한다.
랜드마크 가이드 크로핑: 이 기술은 가장 상당한 개선을 가져왔다. 가려지지 않은 상단 얼굴만을 분리함으로써, FaceNet의 Rank-1 정확도는 46.5%에서 **70.1%**로 상승했다 (+23.6 퍼센트 포인트). ArcFace는 21.6 포인트 상승(67.4%로)하였고, VGG-Face는 8.1 포인트 상승(42.3%로)하였다.

의의 및 주장
본 논문은 견고한 마스크 착용 얼굴 인식이 단일 모델 튜닝이나 교체가 아닌 다단계 파이프라인 최적화를 통해 가장 잘 달성된다고 결론짓는다. 저자들의 주장은 다음과 같다:

마스크 폐쇄를 처리하기 위해서는 현대적인 탐지기(YOLOv8 등)의 도메인 특화 미세 조정이 필수적이다. 전체 얼굴 데이터로 학습된 모델(MTCNN, RetinaFace)은 마스크 입력에서 크게 실패한다.
하단 얼굴 특징이 결여되었을 때, 컴팩트한 임베딩(FaceNet의 128차원)이 고차원 각 마진 임베딩(ArcFace의 512차원)보다 더 탄력적일 수 있다.
공간적 전처리(랜드마크 가이드 크로핑)는 가장 효과적인 향상 방법이며, 지표 선택이나 데이터 증강보다 더 큰 이득을 제공하며, 인식 모델을 재학습시키지 않고도 구현 가능하다.
제안된 파이프라인(YOLOv8 탐지 → MediaPipe 크로핑 → FaceNet → 코사인 유사도)은 마스크 폐쇄가 지속되는 환경에서 출입 통제 및 감시를 위한 실용적이고 배포 가능한 솔루션을 제공한다.

저자들은 RMFRD 데이터셋의 인구통계학적 협소함(주로 동아시아인 대상), 복합 폐쇄(예: 마스크와 안경의 동시 착용)의 제외, 그리고 대규모 추론 속도 테스트의 부재를 한계점으로 언급하였다. 향례 연구는 교차 데이터셋 검증 및 복합 폐쇄 시나리오에 집중해야 한다고 제언하였다.