Head Count: Privacy-Preserving Face-Based Crowd Monitoring

논문 개요

이 논문은 다양한 위치나 시간대에 걸쳐 동일한 사람을 식별하여 군중의 흐름 (Crowd Flow) 을 분석하되, 개인의 신원을 완전히 보호하는 새로운 시스템 파이프라인을 제안합니다. 기존에 기기가 휴대하는 장치 (MAC 주소 등) 를 기반으로 한 방식은 OS 의 무작위 MAC 주소 할당으로 인해 더 이상 유효하지 않으며, 얼굴 인식 기반 방식은 프라이버시 우려와 얼굴 특징의 노이즈 (조명, 자세, 가림 등) 로 인한 재식별 어려움이 존재했습니다. 저자들은 **퍼지 추출기 (Fuzzy Extractor)**와 **완전 동형 암호화 (Fully Homomorphic Encryption, FHE)**를 결합하여 이러한 문제를 해결했습니다.

1. 문제 정의 (Problem Statement)

• 군중 모니터링의 핵심 과제: 특정 위치의 인원 수 (Footfall) 를 세는 것은 비교적 쉽지만, 서로 다른 위치나 시간대를 이동하는 사람들의 흐름 (Crowd Flow) 을 추적하는 것은 어렵습니다.
• 프라이버시 위험: 흐름 추적을 위해서는 개인을 일관되게 재식별 (Re-identification) 해야 하며, 이는 개인식별정보 (PII) 저장 및 대규모 추적을 유발하여 GDPR 등 개인정보 보호 규정을 위반할 수 있습니다.
• 기존 기술의 한계:
  • 기반 장치 (Device-based): 스마트폰 MAC 주소 등을 이용했으나, 현대 OS 의 무작위 MAC 주소 할당으로 인해 신뢰할 수 없게 됨.
  • 생체 인식 (Biometric-based): 얼굴 인식은 보편적이지만, 조명, 자세, 가림 (Occlusion) 등으로 인해 동일한 사람이라도 추출된 특징 벡터 (Embedding) 가 달라져 재식별이 어렵고, 원본 얼굴 데이터를 직접 비교하면 프라이버시가 침해됨.

2. 제안된 방법론 (Methodology)

저자들은 얼굴 이미지를 기반으로 하되, 원본 이미지를 저장하거나 복원할 수 없는 비식별화 (Privacy-preserving) 파이프라인을 설계했습니다. 시스템은 두 개의 카메라 (A, B) 와 중앙 서버, 인증된 클라이언트로 구성됩니다.

주요 처리 단계:

1. 얼굴 임베딩 추출 (Face Embedding Extraction):
   • 각 카메라에서 탐지된 얼굴을 사전 훈련된 딥러닝 모델 (ResNet-50 등) 을 통해 고차원 특징 벡터로 변환합니다.
2. 유사성 보존 (SimHash):
   • 연속된 특징 벡터를 SimHash를 사용하여 이진 문자열 (Binary String) 로 변환합니다. 이는 유사한 입력이 유사한 이진 코드를 생성하도록 하여, 동일한 사람의 다른 각도/조명에서도 비트 거리가 작게 유지되도록 합니다.
3. 안정성 및 프라이버시 확보 (Fuzzy Extractors):
   • SimHash 결과에서도 미세한 차이가 발생할 수 있으므로, 퍼지 추출기를 적용합니다.
   • 이는 노이즈가 있는 이진 입력 (SimHash) 에서 동일한 사람에 대해 항상 동일한 **안정적인 키 (Key, $R$)**를 생성하고, 이를 재구성할 수 있는 공개 보조 데이터 (Helper Data, $P$) 를 생성합니다.
   • 핵심: 원본 얼굴 데이터나 특징 벡터는 즉시 삭제되며, 키 $R$은 역산 불가능 (Non-invertible) 합니다.
4. 집합 표현 (Bloom Filters):
   • 생성된 안정적인 키들을 Bloom Filter에 삽입합니다. 이는 집합을 효율적으로 표현하는 확률적 자료구조로, 개별 키의 값을 드러내지 않고 집합의 존재 여부를 나타냅니다.
5. 안전한 계산 (Fully Homomorphic Encryption, FHE):
   • Bloom Filter 를 **완전 동형 암호화 (FHE)**로 암호화합니다.
   • 서버는 복호화 없이 암호화된 상태에서도 비트 단위 AND 연산 (교집합 계산) 과 덧셈 연산을 수행할 수 있습니다.
6. 교집합 크기 추정 (Cardinality Estimation):
   • 서버는 두 카메라의 암호화된 Bloom Filter 교집합을 계산하여 암호화된 상태의 비트 수 ($t$) 를 구합니다.
   • 클라이언트가 이 값을 복호화하고, Bloom Filter 의 수학적 공식 (Eq. 1) 을 적용하여 두 위치에서 공통으로 관측된 사람 수 (흐름) 를 추정합니다.

3. 주요 기여 (Key Contributions)

• 생체 기반 프라이버시 보존 흐름 추정: 기기 의존성을 제거하고 얼굴 데이터를 활용하되, 원본 얼굴 정보를 전혀 노출하지 않고 교차 위치에서의 흐름을 추정하는 최초의 체계적인 파이프라인 중 하나입니다.
• 노이즈 처리 및 안정성 확보: 얼굴 특징의 자연스러운 변이 (조명, 자세 등) 를 처리하기 위해 SimHash 와 퍼지 추출기를 결합하여, 노이즈가 있는 생체 데이터를 일관된 식별자로 변환하는 방법을 제시했습니다.
• 암호화된 집합 연산: Bloom Filter 와 FHE 를 결합하여, 서버가 평문 데이터에 접근하지 않은 채로 교집합 크기를 계산할 수 있는 프로토콜을 구현했습니다.

4. 실험 결과 (Results)

• 데이터셋: SCface 데이터셋 (130 명, 다양한 조명 및 자세 조건에서 촬영된 9 장의 이미지) 을 사용했습니다.
• 실험 설정: SimHash 비트 수 ($n_{bits}$) 를 64, 128, 256 으로, 상대 오차 비율 ($r$) 을 10%~25% 로 변화시키며 퍼지 추출기의 재구성 성공률을 평가했습니다.
• 성과:
  • 정확도: $n_{bits} \ge 128$이고 오차 비율 $r \ge 20\%$일 때, 거의 모든 130 명에 대해 일관된 키가 생성되었습니다 (True Positive).
  • 정밀도 (Precision) vs 재현율 (Recall): 오차 비율이 낮을수록 (10%) 정밀도는 높았으나 재현율이 낮아 (많은 오인식 방지 대신 누락 발생), 오차 허용 범위를 20% 이상으로 설정하면 정밀도와 재현율 모두 0.95 이상으로 극대화되었습니다.
  • 결론: 퍼지 추출기가 얼굴 임베딩의 노이즈를 효과적으로 보정하여 암호화된 교집합 연산에 적합한 결정론적 식별자를 생성함을 입증했습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의: 이 연구는 스마트 시티, 공공 안전, 이벤트 관리 등에서 **개인정보 보호 (Privacy)**와 정확한 군중 흐름 분석이라는 상충되는 목표를 동시에 달성할 수 있는 실용적인 솔루션을 제공합니다. 특히 GDPR 등 강화된 개인정보 보호 법규 하에서 적용 가능한 기술적 토대를 마련했습니다.
• 향후 과제:
  • 더 다양한 데이터셋 (다양한 환경, 대규모 인구, 비디오 기반 시나리오) 에 대한 평가.
  • 시스템의 실패 원인 분석 및 실제 환경에서의 최적화.
  • 각 단계 (얼굴 탐지, 임베딩 추출, SimHash 충돌, 퍼지 추출기 임계값, Bloom Filter 오탐지) 에서 발생하는 오차의 누적 효과를 정밀하게 분석하여 전체 정확도를 높이는 연구가 필요합니다.

요약: 본 논문은 얼굴 인식을 통한 군중 흐름 추적이 가능하지만, 프라이버시와 노이즈 문제로 인해 실현되지 못했던 과제를 SimHash, 퍼지 추출기, FHE, Bloom Filter를 결합한 혁신적인 아키텍처로 해결했습니다. 이를 통해 신원 확인 없이도 "누가" 이동했는지 아닌지를 알 수 있으면서, "얼마나 많은" 사람이 이동했는지는 정확히 파악할 수 있는 시스템을 제안했습니다.