BEACON: A Multimodal Dataset for Learning Behavioral Fingerprints from Gameplay Data
原著者: Ishpuneet Singh, Gursmeep Kaur, Uday Pratap Singh Atwal, Guramrit Singh, Gurjot Singh, Maninder Singh
原著者: Ishpuneet Singh, Gursmeep Kaur, Uday Pratap Singh Atwal, Guramrit Singh, Gurjot Singh, Maninder Singh
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
技術的概要:行動指紋認証のための BEACON データセット
問題提起
競争的 e スポーツに代表される、リスクの高いデジタル環境における継続的認証は、現実的な認知および運動要求の下で微細な行動信号を捉える包括的なマルチモーダルデータセットの欠如という、決定的なボトルネックに直面しています。既存のベンチマークは、小規模であること、単一モダリティのセンシング(例えば、キー入力またはマウス動作のみ)に限定されていること、または同期された環境文脈の欠如によってしばしば制約されています。さらに、現在のデータセットは頻繁に低頻度のデスクトップタスクや、人工的に短いセッションに依存しており、これらは疲労の発現や、ペースの速いゲームに固有のマイクロ秒レベルの感覚運動入力を捉えるのに失敗しています。このギャップは、継続的認証、行動プロファイリング、および異常検知のための次世代基盤 AI モデルの訓練と評価を妨げています。
手法
これらの限界に対処するため、著者らは競争的『Valorant』のゲームプレイから導出された大規模なマルチモーダルデータセットであるBEACON(認証および継続的モニタリングのための行動エンジン)を導入します。
データ収集アーキテクチャ
著者らは、ゲームプレイに干渉したりフレームレートを低下させたりすることなくテレメトリを収集するように設計された、カスタムの低遅延ロギングフレームワークを開発しました。このシステムは 4 つの同時スレッドを通じて動作します:
- キーボードテレメトリ:
pynput.keyboardを使用して、キーの押下/解放イベント、タイムスタンプ、滞留時間、およびキー間遅延を収集します。 - マウステレメトリ:
pynput.mouseを使用して、カーソル座標、移動軌跡、クリックイベント、スクロール活動、速度、および加速度を記録します。 - ネットワークテレメトリ:
scapy.sniffを利用して生ネットワークトラフィック(PCAP)を収集し、ローカル物理入力とサーバー側のゲーム活動との時間的整合性を可能にします。 - 画面録画:
FFmpegサブプロセスを使用して、CPU 競合を最小化しつつ視覚的コンテキストを保持するよう慎重なエンコーダ設定で、25 fps でゲームプレイセッションを捕捉します。
すべてのモダリティは、明示的な同期マーカーなしで正確なモダリティ間時間整合性を確保するため、ホストの POSIX 時間(Unix エポック)でタイムスタンプが付けられます。データ収集は、ハードウェアの多様性を確保するため、制御された実験室環境と家庭環境の両方で行われた、79 の現実世界のセッションにわたる 28 名の異なる参加者によって行われました。
データセット構成
BEACON は、約430 GBの同期化されたモダリティデータ(補助的な構成キャプチャを含むディスク上の合計 461 GB)で構成されています。データセットには以下が含まれます:
- 参加者:さまざまな競争的スキルティアにまたがる 28 名の異なるプレイヤー(擬似化された P001–P028)。
- 期間:約 102.51 時間のアクティブなゲームプレイ。
- イベント量:9000 万を超えるマウスイベント、約 498,000 回のキー入力、および 1 億 1400 万を超えるネットワークパケット。
- モダリティ:マウスダイナミクス、キー入力ダイナミクス、ネットワークパケットキャプチャ、画面録画、およびハードウェアメタデータ(CPU、RAM、周辺機器)。
ベースライン評価
データセットの有用性を特徴づけるため、著者らは、ウェブサイト指紋認証のために元々開発された 6 つの最先端アーキテクチャ(ARES、BAPM、NetCLR、TCN、TMWF、および Var-CNN)を使用してベースライン性能を確立しました。これらのモデルは、マウスおよびキーボードモダリティを使用して 28 クラスのユーザー識別タスクを実行するように適応されました。評価には 10 秒、30 秒、45 秒、60 秒の時間ウィンドウが使用され、データは時系列順に分割されました(80% 訓練、10% 検証、20% テスト)。
主要な貢献
- BEACON データセット:リスクの高い FPS 環境における行動生体認証のために特別に設計された、公開された大規模なマルチモーダルデータセット。これは、生きた感覚運動ダイナミクス、ハードウェア構成、およびネットワークテレメトリの交差点を独自に分離します。
- マルチモーダル同期:データセットは、マウス、キーボード、ネットワーク、およびビデオモダリティ across 同期化されたデータを提供し、高忠実度の環境における継続的認証とユーザードリフトの研究を可能にします。
- ベースラインベンチマーク:本論文は、ディープラーニングアーキテクチャを使用したユーザー識別の初期性能指標を提供し、このドメインにおける継続的認証の実現可能性を実証しています。
- オープンアクセス:データセットとカスタムロギングコードは、それぞれ Hugging Face と Zenodo で公開され、コミュニティのための再現可能なベンチマークを創出します。
結果
ベースライン実験は、以下の主要な知見をもたらしました:
- モダリティ性能:単一モダリティのマウスダイナミクスは、一貫して単一モダリティのキーボードダイナミクスを上回りました。マウス単独モデルは(10 秒解像度の Var-CNN で)最大**63.16%の識別精度を達成したのに対し、キーボード単独モデルは(45 秒の TMWF で)最大36.23%**に留まりました。
- 融合性能:マウスとキーボードモダリティの早期融合が、最も高い全体的性能をもたらしました。Var-CNNアーキテクチャは、60 秒融合設定において、等誤り率(EER)**4.31%**で、**70.82%**のグローバル最大識別精度を達成しました。
- アーキテクチャのばらつき:Var-CNNおよびNetCLRアーキテクチャは、優れた収束性と性能を示し、拡張因果畳み込みと対照的表現学習が e スポーツテレメトリに適していることを示唆しました。一方、ARESアーキテクチャはすべての構成で収束に失敗し、バースト型のネットワークトラフィックに最適化されたモデルと、継続的な人間の感覚運動出力との間のドメインギャップを浮き彫りにしました。
- 時間解像度:性能は一般的に、より長い観測ウィンドウ(最大 60 秒)とともに向上しました。これは、微細な反射が明確な信号を提供する一方で、マクロな行動(例えば、回転のパシング)は、誤拒否率を最小限に抑えるために必要な文脈的安定性を提供することを示しています。
意義と主張
本論文は、BEACON を、特に現実的で高疲労条件下での継続的認証システムおよび自律 AI エージェントのストレステストのための基盤的資産として位置づけています。著者らは、このデータセットが以下を可能にすると主張しています:
- 堅牢な行動プロファイリング:データで観察された高いユーザー間ばらつきと低いユーザー内ばらつきは、競争的ゲームプレイが真の、安定した生体信号を生成することを確認します。
- パスワードレスセキュリティ:無意識の感覚運動習慣を活用することで、このデータセットは、遅延に敏感なゲームアプリケーションに適した、シームレスで非侵襲的な認証メカニズムの開発を支援します。
- 将来の研究方向:著者らは明示的に、このデータセットを、敵対的堅牢性(模倣とボットの検出)、ネットワークレベルの PCAP データとビデオフレームの融合、およびスキル評価および疲労検知のための自己教師あり行動基盤モデルの開発を含む、オープンな研究方向の起点として位置づけています。
著者らは、データセットの範囲に関して謙虚であり、特定のコーホートサイズ(28 名の参加者)、単一ゲーム/単一プラットフォームの性質(Windows 上の Valorant)、および時間経過に伴う行動ドリフトをモデル化するための縦断的データの欠如などの限界を認めています。彼らは、このデータセットが、秘密裏の監視ではなく、防御的研究(認証、アンチチート)を支援することを意図していると強調しています。
自分の分野の論文に埋もれていませんか?
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。
毎週最高の AI 論文をお届け。
スタンフォード、ケンブリッジ、フランス科学アカデミーの研究者に信頼されています。
受信トレイを確認して登録を完了してください。
問題が発生しました。もう一度お試しください。
スパムなし、いつでも解除可能。