People Analytics Framework

기술 요약: 피플 애널리틱스 프레임워크 (People Analytics Framework, PAF)

문제 정의
자동 감시 시스템은 얼굴 특징이 가려지거나, 폐쇄되거나, 카메라 프레임에서 벗어난 경우(예: 사람의 뒷모습이 보일 때) 개인을 식별하는 데 상당한 어려움을 겪습니다. 기존 시스템은 원거리 또는 실내 감시에서 흔히 발생하는 저해상도 이미지, 대기 난류, 다양한 조명 조건에 취약한 경우가 많습니다. 또한, 현재 문헌에 따르면 얼굴이 보이지 않는 이미지를 처리하는 데 있어 공백이 존재하며, 외형만으로 개인을 식별할 수 있는 강력한 솔루션이 필요합니다. 본 연구의 주요 목적은 얼굴이 보이든 보이지 않든 관계없이 폐쇄된 환경(대학교, 병원, 학교 등)에서 개인을 탐지, 추적 및 검증할 수 있는 종합적인 피플 애널리틱스 프레임워크(PAF)를 개발하는 것입니다.

방법론
제안된 PAF는 여러 대의 카메라로부터 들어오는 비디오 스트림을 처리하도록 설계된 엔드 투 엔드(end-to-end) 딥러닝 파이프라인입니다. 이 시스템은 네 가지 통합된 단계로 작동합니다:

1. 탐지 및 추적 모듈 (Detection and Tracking Module, DTM):

   • 비디오 프레임은 30fps로 캡처되며 1000x600 크기로 조정됩니다.
   • 시스템은 객체 탐지 및 추적 알고리즘을 사용하여 개별 인원을 추출합니다.
   • "클리닝(cleaning)" 프로세스는 사람 대 이미지 비율이 2:1 미만이거나 여러 사람이 포함된 프레임을 제거하여 추출된 이미지를 필터링합니다.
   • 추출된 이미지는 트래커 ID별로 폴더에 정리되어 개인 궤적 데이터베이스를 생성합니다.
   • 모델 선택: 저자들은 YOLOv5와 YOLOv8을 DeepSort 및 ByteTrack과 결합한 조합들을 비교했습니다. 높은 탐지 정확도(160개 박스 탐지)와 수용 가능한 처리 시간(2분 52.7초) 사이의 균형을 제공하는 YOLOv5와 ByteTrack의 조합이 최적의 구성으로 선택되었습니다.

2. 얼굴 탐지 및 인식 모듈 (Face Detection and Recognition Module, FDRM):

   • 얼굴 탐지: 다양한 탐지기(Haar Cascade, SSD, MTCNN, RetinaFace)를 평가했습니다. MTCNN은 다른 모델들이 실패하거나 과도한 오탐(false positive)을 생성하는 저해상도 이미지를 처리할 때 정확도와 계산 효율성의 균형을 맞추었기에 주요 탐지기로 선택되었습니다.
   • 얼굴 클러스터링 및 검증: 시스템은 특징 벡터를 추출하기 위해 딥러닝 모델(VGG16, FaceNet, DeepID, SFace, ArcFace)을 활용합니다.
   • 손실 함수 (Loss Functions): 프레임워크는 유사한 얼굴을 그룹화하고 서로 다른 얼굴을 분리하기 위해 Triplet Loss와 Cluster Loss를 사용합니다. 검증을 위해서는 클래스 간 변동성을 높이고 클래스 내 변동성을 줄이기 위해 ArcFace 손실 함수가 사용됩니다.
   • 모델 선택: 인식 모델 중 SFace가 유클리드 거리(Euclidean distance) 기준 99.80%의 성공률과 0.47초의 평균 시간을 기록하며 가장 높은 효율성과 정확도를 보였으며, ArcFace와 VGG-Face가 그 뒤를 이었습니다.

3. 개인 재식별 모듈 (Person Re-Identification Module, PRM):

   • 이 모듈은 얼굴이 보이지 않는 시나리오를 해결하기 위해 전체적인 외형(의복, 체형, 걸음걸이)을 분석합니다.
   • 이는 딥 메트릭 러닝(Deep Metric Learning, DML) 접근 방식, 특히 **Omni-Scale Feature Learning (OsNet)**을 활용합니다.
   • 모델 선택: Triplet Loss를 적용한 OsNet이 테스트 데이터셋에서 Rank-1 정확도 99.97%와 평균 정밀도(mAP) 99.92%를 달성하며 선택되었습니다.

4. 시스템 통합:

   • 각 모듈은 하나의 통합된 파이프라인으로 통합됩니다. 사용자가 특정 인물(이미지 또는 이름 기반)을 쿼리하면 시스템은 데이터베이스를 검색합니다.
   • 얼굴이 보이는 경우 얼굴 검증(Face Verification)을 사용합니다. 얼굴이 보이지 않는 경우 개인 재식별(Person Re-Identification)을 수행합니다.
   • 시스템은 트래커 ID를 사용하여 서로 다른 카메라와 시간대의 데이터를 병합함으로써 개인의 완전한 궤적을 제공합니다.

주요 기여

• 하이브리드 프레임워크: 본 논문은 얼굴 기반 인식과 외형 기반의 개인 재식별(ReID)을 매끄럽게 결합하여, 얼굴 특징이 가려진 경우에도 식별을 보장하는 통합 프레임워크를 제안합니다.
• 운영 파이프라인: 원시 비디오 캡처부터 데이터베이스 등록 및 사용자 쿼리 응답에 이르기까지, 폐쇄 구역 감시를 위한 완전하고 테스트된 파이프라인을 구축했습니다.
• 경험적 모델 선택: 본 연구는 특정 감시 맥락에서 가장 효과적인 조합을 식별하기 위해 최신 모델들(YOLO 변형, DeepSort/ByteTrack, MTCNN, ArcFace, SFace, OsNet)에 대한 비교 분석을 제공합니다.
• 데이터베이스 아키텍처: "누가, 어디서, 언제"라는 쿼리에 답할 수 있도록 인물 ID, 타임스탬프, 카메라 위치 및 궤적 데이터를 연결하는 구조화된 데이터베이스를 생성했습니다.

결과
시스템은 저자들의 캠퍼스 환경에서 4대의 카메라를 통해 수집된 데이터로 테스트되었습니다.

• 전체 정확도: 통합 시스템은 **98.7%**의 전체 성공률을 달치했습니다.
• 얼굴 검증: 시스템은 얼굴 검증에서 **97.6%**의 성공률을 기록했습니다.
• ReID 성능: 선택된 ReID 모델(Triplet Loss를 적용한 OsNet)은 Rank-1 정확도 **99.97%**와 mAP **99.92%**를 기록하며 높은 효능을 입증했습니다.
• 폐쇄 처리: 프레임워크는 최대 **97.6%**의 매칭 정확도로 ReID 모듈을 활용하여 얼굴이 보이지 않는 인물을 성공적으로 식별했습니다.

의의 및 주장
본 논문은 PAF가 얼굴이 보이지 않을 때 실패하는 기존 감시 시스템의 한계를 성공적으로 해결한다고 주장합니다. 탐지, 추적, 얼굴 인식 및 ReID를 단일 운영 프레임워크로 통합함으로써, 시스템은 캠퍼스나 병원과 같은 폐쇄 구역을 모니터링하기 위한 강력한 솔루션을 제공합니다. 저자들은 시스템이 모니터링과 알람 기능을 독립적으로 수행한다는 점을 강조합니다.

저자들은 데이터셋 수집 및 레이블링 작업, 특히 카메라 거리, 해상도 및 각도 변화에 따른 어려움이 여전히 크다는 점을 겸허히 인정합니다. 그들은 현재 시스템이 특정 데이터셋에서 우수한 성능을 보이지만, 향-후 연구에서는 최소한의 수동 레이블링으로 미지의 환경에 대한 일반화 능력을 높이기 위해 비지도 도메인 적응(unsupervised domain adaptation) 또는 준지도 학습(semi-supervised learning)을 도입할 수 있다고 언급했습니다. 본 논문은 모든 야외 또는 장거리 시나리오에 대한 보편적 적용 가능성을 주장하는 것이 아니라, 통제된 프라이빗 네트워크 환경 내에서의 효과성에 초점을 맞추고 있습니다.