CFE-PPAR: Compression-friendly encryption for privacy-preserving action recognition leveraging video transformers

기술 요약: CFE-PPAR

문제 제기
개인정보 보호형 동작 인식 (PPAR) 은 민감한 시각적 내용을 노출하지 않고도 기계가 비디오 내 인간의 활동을 분류할 수 있도록 하는 것을 목표로 합니다. 암호화 기반 PPAR 방법은 강력한 개인정보 보호 기능과 비압축 데이터에서의 높은 인식 성능을 제공하지만, 중요한 한계점에 직면해 있습니다. 즉, "압축 친화적"이지 않다는 점입니다. 기존 방법 (지각 암호화 또는 동형 암호화 등) 으로 암호화된 비디오가 표준 비디오 압축 (예: Motion-JPEG 또는 H.264) 을 거칠 경우, 인식 정확도가 치명적으로 떨어집니다. 또한, 압축 후 복호화 과정은 종종 충실한 시각적 내용을 복구하지 못하여, 데이터 전송 및 저장에 압축이 필수적인 실제 시나리오에서는 이러한 방법들이 실용적이지 못하게 만듭니다.

방법론
저자들은 손실 압축 후에도 높은 인식 정확도와 시각적 복구 가능성을 유지하도록 설계된 새로운 프레임워크인 CFE-PPAR(개인정보 보호형 동작 인식을 위한 압축 친화적 암호화) 을 제안합니다. 이 방법은 세 가지 핵심 구성 요소를 통합합니다.

1. 압축 친화적 암호화 (CFE):
   압축 알고리즘에 필요한 공간적 상관관계를 교란시키는 이전 암호화 방법과 달리, CFE 는 블록 내 상관관계를 보존하는 블록 단위 암호화 전략을 사용합니다. 이 과정은 다음을 포함합니다.

   • 전처리: 비디오 프레임을 트랜스포머의 입력 차원에 맞게 크기 조정합니다.
   • 블록 분할: 각 프레임을 비디오 트랜스포머 (VT) 의 패치 크기에 맞는 메인 블록 (MB) 으로 분할하고, 이를 더 세분화하여 서브 블록 (SB) 으로 나눕니다.
   • 서브 블록 변환: 각 SB 에 대해 비밀 키 ($K_{ST}$) 를 사용하여 다섯 가지 특정 변환 (회전, 반전, 픽셀 값 반전, RGB 채널 셔플링, 서브 블록 스캐램블링) 을 적용합니다.
   • 메인 블록 스캐램블링: 별도의 비밀 키 ($K_{MS}$) 를 사용하여 프레임 내 MB 의 순서를 치환합니다.
     이 접근 방식은 시각적 정보는 흐리게 하되, 효과적인 압축에 필요한 통계적 속성은 온전하게 유지되도록 보장합니다.

2. 키 의존적 도메인 적응 (KDDA):
   비디오 트랜스포머가 암호화된 비디오를 재학습이나 구조 변경 없이 인식할 수 있도록, 암호화에 맞춰 모델 파라미터를 변환합니다. 구체적으로, 큐브 임베딩 레이어의 3D 컨볼루션 커널 ($E$) 과 위치 임베딩 ($E_{pos}$) 을 암호화에 사용된 동일한 키 ($K_{ST}$ 및 $K_{MS}$) 를 사용하여 수정합니다. 이는 암호화된 입력에 대해 직접 추론할 수 있는 "도메인 적응형 VT"를 생성합니다.

3. 위협 모델:
   이 시스템은 암호화된 압축 데이터를 처리하지만 비밀 키를 보유하지 않는 신뢰할 수 없는 공개 서버를 가정합니다. 공격자는 암호화된 데이터와 알고리즘에 접근할 수 있지만 키에는 접근할 수 없으므로, 암호문만 공격 (Ciphertext-Only Attacks, COAs) 에 제한된다고 가정합니다.

주요 기여

• 최초의 압축 친화적 PPAR: 이 연구는 동작 인식 능력을 보존하면서 표준 비디오 압축 코덱 (MJPEG 및 H.264) 과 호환되도록 특별히 설계된 최초의 암호화 방법을 소개합니다.
• 이중 최적화: 이 방법은 암호화된 압축 데이터에서 높은 인식 정확도를 달성함과 동시에 승인된 클라이언트가 원래 비디오 프레임을 충실하게 재구성할 수 있도록 합니다.
• 학습 없는 추론: 이 접근법은 변환된 파라미터를 가진 사전 학습된 비디오 트랜스포머를 활용하여, 암호화된 데이터에 대한 모델 미세 조정이나 네트워크 구조 수정 없이 추론을 가능하게 합니다.

실험 결과
저자들은 다양한 비트레이트에서 Motion-JPEG 및 H.264 압축 (프레임 간 예측 유무 포함) 하에서 UCF101 및 HMDB51 데이터셋에 대해 CFE-PPAR 을 평가했습니다.

• 인식 정확도: 비압축 조건에서 CFE-PPAR 은 평문 (암호화되지 않은) 비디오와 비교할 수 있는 정확도를 달성했습니다. 손실 압축 하에서는 기존 방법 (LCVE 및 BDQ) 보다 훨씬 우수한 성능을 보였습니다. 특히 프레임 간 예측이 포함된 H.264 조건에서, CFE-PPAR 은 중간에서 높은 비트레이트에서도 평문 비디오와 거의 동등한 정확도를 유지한 반면, 이전 방법들은 심각한 저하를 겪었습니다.
• 시각적 복구: 이전 암호화 방법들은 압축 후 복호화된 비디오의 PSNR 이 낮아 (종종 20dB 미만) 졌지만, CFE-PPAR 은 이러한 저하를 효과적으로 완화하여 원래 프레임을 신뢰할 수 있게 재구성할 수 있게 했습니다.
• 공격 저항성: 이 논문은 확장된 퍼즐 해결기 (EJPS) 를 사용하여 암호문만 공격에 대한 저항성을 평가했습니다. 결과는 각 메인 블록에 대해 서로 다른 키를 사용하는 변형 (CFE-PPAR V2) 이 재구성에 강력했으나, 모든 블록에 단일 키를 사용하는 변형 (V1) 은 비압축 상태일 때 취약함을 나타냈습니다. 그러나 압축 자체는 두 변형 모두에 대해 재구성 시도를 크게 방해했습니다.

의의 및 주장
이 논문은 CFE-PPAR 이 강력한 암호화와 효율적인 데이터 압축 간의 불일치라는 개인정보 보호형 컴퓨터 비전의 근본적인 격차를 해소했다고 주장합니다. 암호화된 비디오가 인식 성능이나 시각적 복구 가능성을 희생하지 않고 압축될 수 있음을 입증함으로써, 저자들은 이 방법이 대역폭과 저장 공간이 제한된 클라우드 및 엣지 환경에서 PPAR 시스템의 실용적 배포를 가능하게 한다고 주장합니다. 이 연구는 기존 암호화 기반 전략으로는 달성할 수 없었던 강력한 개인정보 보호, 높은 유틸리티 (정확도), 그리고 압축 효율성을 동시에 달성할 수 있음을 검증합니다.