PRIVHAR-BENCH: 비디오 기반 동작 인식 (HAR) 을 위한 점진적 프라이버시 벤치마크 데이터셋

이 논문은 프라이버시 보존 인간 활동 인식 (Privacy-Preserving Human Activity Recognition, HAR) 분야에서 기존 연구의 한계를 극복하기 위해 제안된 새로운 벤치마크 데이터셋인 PrivHAR-Bench를 소개합니다. 저자는 기존의 이분법적 평가 방식 (원본 대 단일 변환) 의 문제점을 지적하고, 프라이버시 강도와 인식 유용성 사이의 미묘한 관계를 정량화할 수 있는 표준화된 평가 체계를 제시합니다.

1. 문제 제기 (Problem Statement)

기존의 프라이버시 보존 HAR 연구는 다음과 같은 구조적 한계를 가지고 있습니다:

• 이분법적 평가 (Binary Evaluation): 대부분의 연구가 '원본 영상'과 '단일 프라이버시 변환 방법'만 비교합니다. 이는 특정 변환이 작동하는지 여부는 알 수 있지만, 프라이버시 수준과 유용성 (정확도) 간의 연속적인 트레이드오프 관계를 파악할 수 없게 만듭니다.
• 맥락 편향 오염 (Context Bias Contamination): 기존 HAR 모델은 인간의 동작 자체보다 배경 (예: 주방, 운동장) 을 통해 행동을 분류하는 경향이 있습니다. 프라이버시 변환이 인간 영역 (ROI) 에만 적용될 경우, 모델은 배경 정보를 이용해 프라이버시 보호를 우회할 수 있어 평가의 신뢰성이 떨어집니다.
• 비교 불가능한 평가 프로토콜: 데이터 분할, 해상도, 시간 창, 평가 지표 등이 연구마다 상이하여 서로 다른 방법론 간의 직접적인 비교가 어렵습니다.

2. 방법론 (Methodology)

2.1 데이터셋 구성 및 클래스 선정

• 소스 데이터: UCF101 데이터셋에서 15 개의 동작 클래스를 선정했습니다. 선정 기준은 인간 신체 부위의 다양한 움직임 (articulation diversity) 을 포함하고, 특정 사물이나 배경에 의존하지 않으며, 객체 탐지 (YOLOv8n-Pose) 가 안정적으로 수행 가능한 것들입니다.
• 데이터 규모: 총 1,932 개의 소스 클립이 9 개의 병렬 프라이버시 티어 (Tier) 로 확장되어 총 17,388 개의 클립 변형으로 구성됩니다. 모든 프레임은 손실 없는 (Lossless) PNG 시퀀스로 저장되어 변환의 수학적 속성이 보존됩니다.

2.2 점진적 프라이버시 스펙트럼 (Graduated Privacy Spectrum)

PrivHAR-Bench 는 프라이버시 강도가 증가하는 3 단계의 티어로 구성되며, 각 티어는 서로 다른 시각 정보를 파괴합니다:

1. Tier 1: 공간적 흐림 (Spatial Obfuscation): ROI 영역에 가우시안 블러 ($\sigma=15$) 를 적용하여 세부적인 얼굴 특징은 숨기지만 전체적인 신체 윤곽과 자세는 유지합니다.
2. Tier 2: 구조적 추상화 (Structural Abstraction): Canny 엣지 검출을 적용하여 텍스처와 색상을 제거하고 인간의 신체 윤곽선만 남깁니다.
3. Tier 3: 암호학적 블록 치환 (Cryptographic Block Permutation): AES-CTR 스트림을 기반으로 ROI 를 $B \times B$ 크기의 블록으로 나누어 무작위로 치환합니다. 블록 크기 ($B=4, 8, 16$) 를 조절하여 공간적 파괴 정도를 세분화합니다.

2.3 맥락 편향 제어 (Context Bias Control)

• NoBG (Background Removed) 변형: Tier 3 의 모든 암호화된 비디오에 대해 배경을 완전히 제거 (검은색으로 설정) 한 변형 데이터를 제공합니다. 이를 통해 모델이 배경이 아닌, 변환된 인간 영역의 정보만으로 동작을 인식하는지 엄격하게 평가할 수 있습니다.

2.4 평가 프로토콜

• 고정된 분할: UCF101 의 그룹 ID 를 기반으로 학습/테스트 분할 (75%/25%) 을 고정하여 데이터 누출을 방지합니다.
• 평가 도구: Top-1 정확도, SSIM, PSNR, 얼굴 탐지 실패율, 그리고 프라이버시 - 유용성 (PU) 점수를 계산하는 표준화된 툴킷을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 점진적 프라이버시 벤치마크: 동일한 소스 비디오에 다양한 강도의 프라이버시 변환을 적용한 9 개의 티어를 제공하여, 프라이버시 강도에 따른 정확도 저하 곡선을 연속적으로 분석할 수 있게 합니다.
2. 맥락 편향 제거 메커니즘: 배경 제거 (NoBG) 변형을 포함하여 모델이 배경 단서를 활용하는 것을 방지하고, 인간 동작 인식 능력만을 평가할 수 있는 환경을 조성했습니다.
3. 재현 가능한 표준 프로토콜: 손실 없는 저장 형식, 고정된 시간 창 (32 프레임), 표준화된 분할, 그리고 공개된 평가 툴킷을 통해 연구 간 비교 가능성을 확보했습니다.
4. 공개 리소스: 데이터셋, 생성 파이프라인, 평가 코드를 Zenodo 와 GitHub 를 통해 공개했습니다.

4. 실험 결과 (Results)

R3D-18 모델을 기반으로 한 베이스라인 실험 결과는 다음과 같습니다:

• 정확도 저하 곡선: 원본 (Original) 에서 88.8% 의 정확도를 보였던 모델은 프라이버시 티어가 증가함에 따라 점진적으로 감소했습니다.
  • Tier 1 (Blur), Tier 2 (Edge), Tier 3a (B=16): 약 66% 수준.
  • Tier 3c (B=4): 63.1% 로 가장 큰 공간 파괴를 보임.
  • NoBG 변형 (B=8): 배경 제거 시 정확도가 53.5% 로 급감하여, 배경 정보가 모델 성능에 상당 부분 기여했음을 확인했습니다.
• 교차 도메인 일반화 (Cross-Domain): 원본 데이터로 학습된 모델을 암호화된 데이터로 평가했을 때, 엣지 (Edge) 변환에서는 무작위 추측 수준 (6.9%) 으로 떨어졌으며, 암호화된 블록 치환에서는 34~39% 수준으로 유지되었습니다.
• 프라이버시 보장 검증: ArcFace 기반 얼굴 탐지 실험에서, 모든 블록 크기 ($B=4, 8, 16$) 에서 약 89% 의 얼굴이 탐지되지 않아 강력한 프라이버시 보호 효과를 입증했습니다.
• 프라이버시 - 유용성 (PU) 점수: Tier 2 (Edge) 가 높은 프라이버시 (낮은 SSIM) 와 경쟁력 있는 정확도를 동시에 달성하여 가장 높은 PU 점수 (0.713) 를 기록했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: PrivHAR-Bench 는 프라이버시와 유용성 사이의 균형을 정량적으로 분석할 수 있는 표준을 제시함으로써, 향후 프라이버시 보존 HAR 알고리즘 개발 및 비교 연구의 토대를 마련했습니다. 특히 배경 편향을 통제하는 NoBG 변형은 모델의 실제 동작 인식 능력을 평가하는 데 필수적입니다.
• 한계:
  • 해상도: 소스 데이터 (UCF101) 의 낮은 해상도 (320x240) 로 인해 고해상도 환경에서의 프라이버시 효과는 재평가 필요.
  • 클래스 다양성: UCF101 의 제한된 클래스로 인해 낙상, 폭력 등 감시 환경에서 중요한 동작이 포함되지 않음.
  • 단일 인물 가정: 다중 인물 환경이나 상호작용이 있는 동작은 고려되지 않음.
  • 시간적 프라이버시: 현재는 공간적 변환만 적용되었으며, 걸음걸이 (Gait) 기반 재식별 방지를 위한 시간적 프라이버시 조치는 미비함.

결론적으로, PrivHAR-Bench 는 프라이버시 보존 기술의 발전 방향을 설정하고, 다양한 프라이버시 강도 하에서 모델의 성능을 체계적으로 평가할 수 있는 필수적인 벤치마크로 자리매김할 것으로 기대됩니다.