Turn Your Face Into An Attack Surface: Screen Attack Using Facial Reflections in Video Conferencing

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 코로나19 팬데믹 이후 화상 회의 (Zoom, Teams 등) 가 일상화되면서, 참가자들은 회의 중에도 뉴스 확인, 이메일 처리, 채팅 등 멀티태스킹을 빈번하게 수행합니다.
• 문제: 기존의 화면 공격 (Screen Attack) 은 반사율이 높은 물체 (안경, 스푼, 눈동자 등) 에 비친 화면의 빛을 분석하는 방식이었습니다. 하지만 화상 회의 환경에서는 다음과 같은 한계점이 존재합니다.
  • 가상 배경 (Virtual Background): 대부분의 플랫폼이 배경을 흐리게 처리하여 반사체를 제거합니다.
  • 안경의 비신뢰성: 안경을 쓰지 않는 사람이 많으며, 안경 반사는 각도에 매우 민감하여 화상 회의 중 이동 시 신호가 끊깁니다.
  • 해상도 및 거리: 웹캠의 낮은 해상도와 네트워크 대역폭 제약으로 인해 안경이나 눈동자에서 미세한 화면 정보를 추출하기 어렵습니다.
• 핵심 가설: 인간의 얼굴은 비록 거친 표면이지만, 주변 조명과 화면에서 나오는 빛의 반사 (Facial Reflection) 를 통해 화면의 콘텐츠 (색상, 밝기 변화) 를 간접적으로 반영할 수 있습니다. 이는 화상 회의에서 가장 중심이 되는 '얼굴'을 새로운 사이드 채널 공격 표면으로 활용할 수 있음을 의미합니다.

2. 제안 시스템: FaceTell (Methodology)

저자들은 화상 회의 스트림에서 피험자의 얼굴 반사를 분석하여 멀티태스킹 활동을 추론하는 새로운 사이드 채널 공격 시스템 FaceTell을 제안했습니다.

가. 시스템 아키텍처

FaceTell 은 크게 두 단계 (학습 단계, 공격 단계) 로 구성되며, 다음과 같은 핵심 모듈을 가집니다.

1. 얼굴 분할 및 재구성 (Face Segmentation & Reconstruction):
   • 분할: Mask R-CNN 과 Haar Feature Classifier 를 결합하여 비디오 프레임에서 배경을 제거하고 얼굴 영역만 정확하게 잘라냅니다.
   • 재구성 (Super-Resolution): 화상 회의의 낮은 해상도 (360p~720p) 와 얼굴이 프레임에서 차지하는 작은 비율 (약 16%) 문제를 해결하기 위해 CAMixerSR 네트워크를 사용하여 얼굴 이미지를 고해상도로 복원합니다.
2. 화면 콘텐츠 추론 (Screen Content Inference):
   • 특징 강화: 복원된 얼굴 이미지의 미세한 반사 패턴을 포착하기 위해 ResBlock과 CBAM(Convolutional Block Attention Module) 을 활용한 특징 추출 네트워크를 사용합니다.
   • 2 단계 분류 모델 (Two-Tier Classification):
     • 1 단계: 화면 콘텐츠의 대분류 (웹, 오피스, 프로그래밍, 멀티미디어 등) 를 분류합니다.
     • 2 단계: 해당 분류 내의 구체적인 애플리케이션 (예: Word, Chrome, VS Code 등) 을 분류합니다.
   • 휴리스틱 라벨 보정 (Heuristic Label Correction, HLC): 인간 - 컴퓨터 상호작용의 시간적 연속성 (사용자가 특정 앱을 짧은 시간 동안만 전환하지 않음) 을 기반으로, 일관되지 않은 예측 라벨을 수정하여 정확도를 높이는 알고리즘을 적용합니다.

나. 이론적 모델링

• Phong 반사 모델을 기반으로 얼굴의 각 지점 (이마, 볼, 코 등) 이 화면의 특정 영역에서 반사되는 빛의 강도와 각도 관계를 수학적으로 모델링했습니다.
• 실험을 통해 얼굴의 특정 부위가 화면의 특정 영역 (예: 오른쪽 볼은 화면 오른쪽 반사) 에 민감하게 반응함을 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 사이드 채널 공격의 실증: 화상 회의 중 인간의 얼굴 반사를 이용한 화면 공격의 이론적 모델링과 실증적 실험을 통해 새로운 공격 벡터를 최초로 제시했습니다.
2. FaceTell 시스템 개발: 저해상도 웹캠 환경에서도 미세한 얼굴 반사를 분석할 수 있는 엔드 - 투 - 엔드 공격 시스템을 구축했습니다.
3. 포괄적인 평가: 3 가지 브랜드의 노트북, 4 가지 주요 화상 회의 플랫폼 (Zoom, Teams, Skype, WeChat), 24 명의 피험자, 13 가지 다른 실내 환경, 28 개의 주요 애플리케이션을 대상으로 광범위한 평가를 수행했습니다.

4. 실험 결과 (Results)

• 높은 정확도: 28 개의 인기 애플리케이션을 식별하는 데 99.32% 의 높은 정확도를 달성했습니다.
  • 카테고리 분류 정확도: 평균 99.85% (멀티미디어, OS, 웹 앱은 100% 달성).
  • 애플리케이션 분류 정확도: 평균 99.32%.
• 실시간성: 프레임당 평균 처리 시간은 약 124ms로 실시간 공격이 가능합니다.
• 강건성 (Robustness):
  • 성별: 남성과 여성 간 성능 차이가 미미함.
  • 가림 (Occlusion): 안경 착용, 마스크 착용 상황에서도 HLC 알고리즘 적용 시 99% 이상의 정확도 유지.
  • 거리 및 각도: 화면과 얼굴 간 거리 (50~100cm) 및 각도 변화에 대해 96% 이상의 높은 정확도 유지.
  • 주변 조명: 실내 조명 (36~131 lux) 범위 내에서 높은 성능 유지.
• 한계점:
  • 추가적인 스크린 (멀티 모니터) 사용 시 정확도 급감 (15.09%).
  • 야외 밝은 환경 (1300 lux 이상) 또는 피부 보정 필터 적용 시 정확도 저하.
  • 다크 모드 (Dark Mode) 사용 시 성능 감소 (64.13%).

5. 의의 및 대응 방안 (Significance & Countermeasures)

• 의의: 화상 회의 환경에서 사용자의 사생활 (멀티태스킹 활동) 이 얼굴이라는 의도치 않은 반사체를 통해 유출될 수 있음을 경고하여, 보안 커뮤니티와 플랫폼 개발자의 관심을 환기시켰습니다.
• 대응 방안 (Countermeasures):
  1. 동적 조명 추가: 얼굴 앞에 화면 외의 다른 동적 광원 (두 번째 모니터 등) 을 배치하여 반사 패턴을 흐리게 함.
  2. 피부 보정 필터 활성화: 얼굴의 광학적 특징을 흐리게 하여 반사 정보 추출을 방해 (단, 자연스러운 외모 저하 문제 존재).
  3. 적대적 교란 (Adversarial Perturbations): 얼굴 영역에 인간의 눈에는 보이지 않지만 AI 분류기를 오작동하게 만드는 미세한 노이즈를 추가하는 소프트웨어적 필터 개발.

결론

이 논문은 "얼굴을 공격 표면으로 전환한다" 는 개념을 통해, 화상 회의 중 사용자의 멀티태스킹 행위가 얼굴 반사를 통해 유출될 수 있음을 실증했습니다. FaceTell 시스템은 기존 반사체 기반 공격의 한계를 극복하고, 저해상도 웹캠 환경에서도 높은 정확도로 화면 내용을 추론할 수 있음을 보여주었습니다. 이는 향후 화상 회의 플랫폼의 보안 강화 및 사용자 프라이버시 보호를 위한 새로운 연구 방향을 제시합니다.