Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance

기술 요약: 어깨 너머 영상 감시에서의 다중 모드 터치 탐지에 관한 경험적 평가

문제 정의
본 논문은 직접적인 화면 접근 없이 모바일 기기에서 사용자의 키 입력(keystrokes)을 해독하는 "가상 키로깅(virtual keylogging)"의 실현 가능성을 다룬다. 비디오 지능형 감시(VIDINT)는 미세한 인간-컴퓨터 상호작용을 해독하는 것을 목표로 하지만, 이 작업은 역사적으로 관점 왜곡, 모션 블러(motion blur), 부분적인 손 가려짐, 그리고 주변 소음 등으로 인해 어려움을 겪어왔다. 기존 방식들은 대규모 주석 데이터셋이나 특정 보정(calibration)을 필요로 하는 지도 학습에 의존하는 경우가 많으며, 이는 통제되지 않은 기회주의적 감시 시나리오에서의 적용성을 제한한다. 본 연구는 훈련이 필요 없는(training-free) 다중 모드 필터 파이프라인이 이러한 영상으로부터 타이핑 시퀀스를 성공적으로 재구성할 수 있는지 평가한다.

방법론
저자들은 터치 이벤트를 탐지하고 이를 참조 키패드 레이아웃에 매핑하도록 설계된 훈련 불필요 시스템인 **BEHE (Behavioral Intelligence) 프레임워크를 평가한다. 이 파이프라인은 두 단계로 작동한다:

1. 다중 모드 탐지: 네 개의 병렬 탐지기가 비디오 프레임을 처리하여 후보 손가락 접촉을 식별한다:

   • MediaPipe 해부학적 랜드마크(Anatomical Landmarks): 가려짐 상황에서도 부분적인 손 골격(21개 랜드마크)을 포착하기 위해 낮은 신뢰도 임계값(0.3)으로 설정되었다.
   • HSV 피부 필터링(HSV Skin Filtering): HSV 공간($H \in [0, 20], S \in [20, 255], V \in [70, 255]$)에서 피부색을 분할하고 형태학적 클리닝(morphological cleaning)을 수행한다.
   • 시간적 프레임 차분(Temporal Frame Differencing): 연속된 프레임 간의 절대적 픽셀 차이를 계산하여 움직임을 탐지한다.
   • 형태 기반 에지 탐지(Shape-Guided Edge Detection): Canny 에지 탐지를 사용하여 손가락 경계를 찾고, 면적과 종횡비에 따라 윤곽선을 필터링한다.
   • 출력값은 공간적 클러스터링(DBSCAN)을 통해 병합되며, 표준 4×3 그리드 레이아웃에 매핑된다.

2. 평가 전략:

   • 단계별 평가: 알려진 4키 비밀번호 입력('2'→'5'→'8'→'#')을 담은 120프레임의 1인칭 영상을 정답(ground truth)으로 사용하여 정밀도(Precision), 재현율(Recall), F1-score 및 시퀀스 유사도(Sequence Similarity)를 계산한다.
   • 절제 및 민감도 분석: 시스템은 해상도 저하 분석(25%로 다운스케일링), 노이즈 주입(Gaussian $\sigma \in [0, 30]$), 근접 임계값 튜닝에 대한 절제 연구(ablation studies)를 거친다.
   • 실제 환경 일반화: 정답 라벨이 없는 다섯 가지의 통제되지 않은 제3자 영상(예: 다이얼러, 빈 화면, 그린 스크린)에 대해 파이프라인을 테스트한다. 대신, 저자들은 실패 메커니즘을 식별하기 위해 "탐지 볼륨(프레임당 터치 지점 수)"을 측정한다.

주요 기여

• 재현 가능한 벤치마크: 알려진 정답과 4가지 모드 탐지 파이프라인을 갖춘 120프레임의 단계별 영상.
• 운영 범위 특성화: 시스템의 성능이 해상도가 아니라 탐지 로직의 내재적 결함에 의해 제한된다는 것을 보여주는 절제 및 민감도 분석.
• 일반화 감사: 실제 영상에 대한 라벨 없는 감사를 통해, 시스템이 손의 존재와 실제 손가락 끝의 접촉을 구분하지 못하여 탐지 횟수를 1~3 자릿수만큼 과다 보고함을 밝힘.

결과

• 단계별 성능: 통제된 120프레임 클립에서 결합된 다중 모드 시스템은 **F1-score 16.7%**와 **시퀀스 유사도 3.0%**를 달 기록했다.
  • 개별 모드는 저조한 성능을 보였다: MediaPipe와 피부 탐지는 가려짐과 노이즈로 인해 완전히 실패했다 (F1 = 0%). Motion-Only와 Edge-Only는 약간 더 높은 F1-score(각각 18.5% 및 18.2%)를 달성했다.
  • 해상도 변화는 성능에 미미한 영향을 미쳤으며, 이는 실패 원인이 이미지 디테일에 있지 않음을 나타낸다.
  • 노이즈 민감도는 유의미했다: $\sigma=20$에서 F1 점수가 10.7%로 떨어졌다.
  • 근접 임계값 튜닝은 성능 변화를 일으키지 않았으며, 이는 탐지기가 단순한 병합으로는 필터링할 수 없는 밀도가 높고 공간적으로 확산된 허위 양성(false positive) 구름을 생성함을 시사한다.
• 실제 환경에서의 실패: 다섯 가지 실제 영상에서 탐지기는 프레임당 중앙값 57개의 터치 지점(최대 205개)을 방출했으나, 실제 타이핑 세션은 프레임당 약 0.2개의 탭을 생성한다.
  • HSV 피부 필터가 주요 오류 원인이었으며, 일부 클립에서는 탐지의 최대 100%를 차지했다. 이는 특정 손가락 끝의 접촉이 아닌 가시적인 손 전체에 반응했다.
  • 시스템은 일반화에 실패했다. 핸드 튜닝된 기기 영역과 방대한 양의 허위 데이터를 버리기 위한 알려진 레이아웃 없이는 어떤 키 시퀀스도 복구할 수 없었다.

의의 및 주장
본 논문은 훈련이 필요 없는 기성(off-the-shelf) 다중 모드 필터 파이프라인이 엄격하게 보정된 단계적 설정 외의 어깨 너머 영상으로부터 신뢰할 수 있는 키 입력을 재구성하지 못한다고 결론짓는다.

• 저자들은 자신들의 작업이 새로운 공격이 아니라, 기회주의적인 적대자가 무료 구성 요소들로 조립할 수 있는 시스템이 실제로 작동하는지를 평가하는 경험적 평가임을 명시한다.
• 연구 결과는 "피부 필터" 메커니즘이 접촉이 아닌 피부 면적을 탐지하기 때문에 이 작업에 근본적으로 결함이 있음을 시사한다.
• 본 논문은 신뢰할 수 있는 가상 키로깅을 위해서는 여기서 평가된 고전적 필터가 아니라, 학습된 손가락 끝 접촉 분류기와 자동 기기 영역 탐지가 필요하다고 주장한다.
• 저자들은 향후 연구를 위한 다음 단계로서, 현재의 방법론이 유효함을 주장하기보다는 프레임 수준의 터치 주석이 포함된 대규모 라벨 데이터셋의 필요성을 강조한다.