기술 요약: 행동 지문화를 위한 BEACON 데이터셋

문제 제기

경쟁적 e스포츠와 같은 고위험 디지털 환경에서의 지속적 인증은 정밀한 행동 신호를 현실적인 인지 및 운동 요구 사항 하에 포착하는 포괄적인 멀티모달 데이터셋의 부재라는 치명적인 병목 현상에 직면해 있습니다. 기존 벤치마크는 종종 소규모, 단일 모달 센싱 (예: 키보드 입력 또는 마우스 동적 특성만), 또는 동기화된 환경적 맥락의 부재로 제한됩니다. 또한, 현재 데이터셋은 저주파 데스크톱 작업이나 인위적으로 짧은 세션에 의존하는 경우가 많아, 빠른 템포의 게임에 내재된 피로 발현 또는 마이크로초 단위의 센서모터 입력을 포착하지 못합니다. 이러한 격차는 지속적 인증, 행동 프로파일링, 이상 탐지를 위한 차세대 기반 AI 모델의 훈련 및 평가를 방해합니다.

방법론

이러한 한계를 해결하기 위해 저자들은 경쟁적 Valorant 게임플레이에서 파생된 대규모 멀티모달 데이터셋인 BEACON(Authentication & Continuous Monitoring 을 위한 행동 엔진) 을 소개합니다.

데이터 수집 아키텍처

저자들은 게임플레이를 방해하거나 프레임 속도를 저하시키지 않고 원격 측정 데이터를 수집하도록 설계된 맞춤형 저지연 로깅 프레임워크를 개발했습니다. 이 시스템은 네 개의 동시 스레드를 통해 작동합니다:

1. 키보드 원격 측정: pynput.keyboard 를 사용하여 키 누름/놓기 이벤트, 타임스탬프, 체류 시간, 키 간 지연 시간을 포착합니다.
2. 마우스 원격 측정: pynput.mouse 를 사용하여 커서 좌표, 이동 궤적, 클릭 이벤트, 스크롤 활동, 속도 및 가속도를 기록합니다.
3. 네트워크 원격 측정: scapy.sniff 를 활용하여 원시 네트워크 트래픽 (PCAP) 을 포착하여 로컬 물리적 입력과 서버 측 게임 활동을 시간적으로 정렬할 수 있게 합니다.
4. 화면 녹화: FFmpeg 서브프로세스를 통해 25 fps 로 게임플레이 세션을 캡처하며, CPU 경쟁을 최소화하면서 시각적 맥락을 보존하기 위해 보수적인 인코더 설정을 사용합니다.

모든 모달리티는 명시적 동기화 마커 없이 정밀한 교차 모달 시간 정렬을 보장하기 위해 호스트의 POSIX 시간 (유닉스 에포크) 으로 타임스탬프가 찍힙니다. 데이터 수집은 하드웨어 다양성을 보장하기 위해 통제된 실험실 환경과 가정 환경 모두에서 수행된 79 개의 실제 세션에 걸쳐 28 명의 서로 다른 참가자를 대상으로 진행되었습니다.

데이터셋 구성

BEACON 은 약 430GB의 동기화된 모달리티 데이터 (보조 구성 캡처 포함 디스크 상 총 461GB) 로 구성됩니다. 데이터셋에는 다음이 포함됩니다:

• 참가자: 다양한 경쟁 스킬 티어를 아우르는 28 명의 고유한 플레이어 (P001–P028 의 가명).
• 기간: 약 102.51 시간의 활성 게임플레이.
• 이벤트 볼륨: 9 천만 개 이상의 마우스 이벤트, 약 498,000 개의 키 입력, 1 억 1,400 만 개 이상의 네트워크 패킷.
• 모달리티: 마우스 동적 특성, 키보드 입력 동적 특성, 네트워크 패킷 캡처, 화면 녹화, 하드웨어 메타데이터 (CPU, RAM, 주변기기).

베이스라인 평가

데이터셋의 유용성을 특성화하기 위해 저자들은 웹사이트 지문인식을 위해 원래 개발된 여섯 가지 최첨단 아키텍처 (ARES, BAPM, NetCLR, TCN, TMWF, Var-CNN) 를 사용하여 베이스라인 성능을 확립했습니다. 이러한 모델들은 마우스와 키보드 모달리티를 사용하여 28 클래스 사용자 식별 작업을 수행하도록 적응되었습니다. 평가는 10 초, 30 초, 45 초, 60 초의 시간 창을 활용했으며, 데이터는 시간 순서대로 분할 (80% 훈련, 10% 검증, 20% 테스트) 되었습니다.

주요 기여

1. BEACON 데이터셋: 고위험 FPS 환경에서 행동 생체 인증을 위해 특별히 설계된 공개된 대규모 멀티모달 데이터셋입니다. 이는 원시 센서모터 동적 특성, 하드웨어 구성, 네트워크 원격 측정의 교차점을 고유하게 분리합니다.
2. 멀티모달 동기화: 데이터셋은 마우스, 키보드, 네트워크 및 비디오 모달리티에 걸쳐 동기화된 데이터를 제공하여 고충실도 환경에서 지속적 인증 및 사용자 드리프트 연구를 가능하게 합니다.
3. 베이스라인 벤치마크: 이 논문은 딥러닝 아키텍처를 사용한 사용자 식별에 대한 초기 성능 지표를 제공하여 이 도메인에서 지속적 인증의 실현 가능성을 입증합니다.
4. 오픈 액세스: 데이터셋과 맞춤형 로깅 코드는 각각 Hugging Face 와 Zenodo 에서 공개되어 커뮤니티를 위한 재현 가능한 벤치마크를 조성합니다.

결과

베이스라인 실험은 다음과 같은 주요 발견 사항을 도출했습니다:

• 모달 성능: 단일 모달 마우스 동적 특성은 일관되게 단일 모달 키보드 동적 특성보다 우수한 성능을 보였습니다. 마우스 전용 모델은 10 초 해상도에서 Var-CNN 을 사용하여 최대 **63.16%**의 식별 정확도를 달성한 반면, 키보드 전용 모델은 45 초에서 TMWF 를 사용하여 **36.23%**로 정점을 찍었습니다.
• 퓨전 성능: 마우스와 키보드 모달리티의 초기 퓨전이 전체적으로 가장 높은 성능을 발휘했습니다. Var-CNN아키텍처는 60 초 퓨전 설정에서 **70.82%**의 글로벌 최대 식별 정확도와 **4.31%**의 동등 오류율 (EER) 을 달성했습니다.
• 아키텍처 변동성: Var-CNN과 NetCLR아키텍처는 우수한 수렴과 성능을 보여주어, 팽창된 인과적 컨볼루션과 대비적 표현 학습이 e스포츠 원격 측정에 적합함을 시사합니다. 반면, ARES아키텍처는 모든 구성에서 수렴에 실패하여, 버스트형 네트워크 트래픽에 최적화된 모델과 연속적인 인간 센서모터 출력 사이의 도메인 격차를 강조합니다.
• 시간 해상도: 성능은 일반적으로 더 긴 관찰 창 (최대 60 초) 으로 향상되었으며, 이는 미세 반사 신경이 고유한 신호를 제공하지만, 거시적 행동 (예: 회전적 리듬) 이 오탐지율을 최소화하는 데 필요한 맥락적 안정성을 제공함을 나타냅니다.

중요성 및 주장

이 논문은 BEACON 을 사이버 보안 연구, 특히 현실적이고 고피로 조건 하에서 지속적 인증 시스템과 자율 AI 에이전트를 스트레스 테스트하기 위한 기초 자산으로 위치시킵니다. 저자들은 이 데이터셋이 다음을 가능하게 한다고 주장합니다:

• 강건한 행동 프로파일링: 데이터에서 관찰된 높은 사용자 간 변동성과 낮은 사용자 내 변동성은 경쟁적 게임플레이가 진정한 안정적인 생체 신호를 생성함을 확인시켜 줍니다.
• 비밀번호 없는 보안: 무의식적 센서모터 습관을 활용함으로써, 이 데이터셋은 지연에 민감한 게임 애플리케이션에 적합한 매끄럽고 비침습적인 인증 메커니즘 개발을 지원합니다.
• 미래 연구 방향: 저자들은 이 데이터셋을 모방 및 봇 탐지와 같은 적대적 견고성, 비디오 프레임과 네트워크 수준 PCAP 데이터의 퓨전, 기술 평가 및 피로 탐지를 위한 자기지도형 행동 기반 모델 개발을 포함한 개방형 연구 방향의 시작점으로 명시적으로 규정합니다.

저자들은 데이터셋의 범위와 관련하여 겸손한 태도를 유지하며, 특정 코호트 크기 (28 명 참가자), 단일 게임/단일 플랫폼 특성 (Windows 의 Valorant), 그리고 시간에 따른 행동 드리프트를 모델링할 수 있는 종단 데이터의 부재와 같은 한계를 인정합니다. 그들은 이 데이터셋이 은밀한 감시보다는 방어적 연구 (인증, 반치트) 를 지원하기 위해 의도되었음을 강조합니다.