技术摘要：BRAVESPY

问题陈述

尽管近期的安全研究已经发现了虚拟现实（VR）和元宇宙设备中的隐私泄露问题，但这些漏洞主要局限于可观测行为（例如：虚拟按键、应用启动和用户化身）。在理解不可观测的大脑层面感知——即用户在虚拟场景中正在感知或思考什么——方面，仍存在关键的研究空白。

本文认为，VR头显与用户额头及眼睛的紧密耦合，使得内置运动传感器（加速度计和陀ло斯克罗皮/陀螺仪）能够捕捉到细微的生理信号。具体而言，作者假设由视觉刺激触发的瞳孔反应（放大与收缩）会诱发微小的面部震动。这些震动与大脑脑电图（EEG）信号高度相关。由于主流 VR SDK（如 OpenXR、Oculus Mobile SDK）并未对访问运动传感器数据设置任何限制，恶意应用程序可以在无需用户许可的情况下，在后台持续记录此类数据，从而可能重建与 EEG 相关的表征，以推断敏感且不可观测的用户状态。

方法论：BRAVESPY

作者设计并实现了 BRAVESPY，这是一个端到端的攻击系统，旨在从不受限制的运动传感器数据中重建大脑 EEG 信号，从而在三个不同层面推断隐私。

1. 系统概览

BRAVESPY 分为三个阶段运行：

1. 运动数据处理：
   • 坐标校准： 将头显的 3D 加速度数据从局部坐标系转换到统一的身体参考坐标系，以减轻姿态变化的影响。
   • 身体运动缓解： 使用短时能量（STE）方法结合自适应滤波器（通过 Kullback-Leibler 散度进行优化），以消除由自发性头部运动和身体旋转产生的噪声。
   • 眨眼检测： 使用移动方差窗口和线性判别分析（LDA）来识别眨眼事件，并对相关信号部分进行分割。
2. 特征提取：
   • 应用 Savitzky-Golay 滤波器以去除高频噪声（例如：语音频率）。
   • 根据与瞳孔反应相关的方差峰值对信号进行分割。
   • 使用短时傅里叶变换（STFT）将时序信号转换为时频谱图，以创建特征表征。
3. 用户隐私推断：
   • 脑波重建： 基于 pix2pix 架构的条件生成对抗网络（cGAN）被用于训练，旨在将加速度谱图映射到 EEG 谱图。生成器负责创建 EEG 表征，而判别器则负责区分真实信号与重建信号。
   • 活动识别：
     • 可观测层面： 使用 Vision Transformer (ViT) 模型对重建的 EEG 谱图进行分类，以推断 UI 级的活动（网站、应用、视频）和用户级属性（身份、注视方向）。
     • 不可观测层面： 重建的 EEG 信号被用于微调预训练的 Stable Diffusion 模型（通过 DreamDiffusion），以生成代表用户大脑层面视觉感知的图像。

2. 威胁模型

• 攻击者： 有意图的 VR 应用开发者或第三方插件。
• 能力： 通过标准 SDK 访问不受限制的运动传感器数据（加速度计/陀螺仪），无需提升权限、外部硬件或眼动追踪传感器。
• 目标： 推断从 UI 交互到不可观测大脑感知的敏感信息。

核心贡献

1. 新型攻击向量： 确定了 VR 头显中不受限制的运动传感器是重建 EEG 相关感知的可行通道，弥合了元宇宙技术与脑机接口（BCI）之间的鸿沟。
2. 三层隐私模型： 系统地调查了跨越以下层面的隐私泄露情况：
   • UI 层面： 推断特定的网站、应用和流媒体视频。
   • 用户层面： 去匿名化用户并追踪注视方向/按键输入。
   • 大脑层面： 从用户的思想中重建不可观测的视觉感知（图像）。
3. 实现与验证： 设计了 BRAVESPY，并在四款商用 VR 头显（Meta Oculus Quest 2, Meta Oculus Quest, PICO 4, HTC Vive Pro）上进行了评估。

实验结果

该系统在 25 名参与者、40 个图像类别以及各种 VR 应用上进行了评估。

• UI 级隐私：
  • 网站指纹识别： 在 50 个网站中实现了 89.3% 的准确率。性能随视觉刺激强度而变化（例如：对于像 Twitch 这样视频密集的网站为 100%，对于静态搜索引擎约为 70%）。
  • 应用指纹识别： 在 50 个 VR 应用中实现了 85.8% 的准确率。
  • 视频指纹识别： 对于 Netflix 流媒体视频实现了 80.0% 的准确率，动态内容（动作片）的准确率高于静态内容。
• 用户级隐私：
  • 去匿名化： 基于眨眼诱发的 EEG 特征，在识别用户方面达到了 98.4% 的准确率。
  • 注视追踪： 在识别 8 个方向的注视运动方面达到了 97.6% 的准确率。
  • 按键推断： 通过将注视区域映射到虚拟键盘，系统在推断虚拟按键方面实现了 10.4% 的 Top-1 准确度和 92.0% 的 Top-50 准确度。
• 大脑级隐私：
  • 图像感知： 成功重建了大脑层面的视觉感知。系统在识别 40 个 ImageNet 类别（如“猫”、“狗”）中用户所构想的内容时，实现了 67.2% 的类别准确率。准确率根据图像类别的异质性在 49% 到 83% 之间波动。

鲁棒性： 该系统在不同 VR 头显（尽管由于传感器灵敏度差异，大脑级准确率在 PICO 4 和 HTC Vive 上下降至约 52%）、不同采样率（在 500 Hz 时达到最优）以及不同光照强度下均保持了高性能。

重要性与主张

本文声称 BRAVESPY 是首个 证明仅利用不受限制的运动传感器即可推断元宇宙中不可观测大脑层面感知之可行性的研究。

• 超越可观测行为： 不同于以往仅限于粗粒度推断可观测动作的研究，BRAVESPY 揭示了一个新的攻击面，即“用户正在看什么”（可观测）与“用户正在感知什么”（不可观测）被明确区分开来。
• 隐私影响： 重建 EEG 相关表征的能力构成了严重的隐私威胁，可能在用户不知情或未经同意的情况下，暴露敏感的认知状态、生物识别身份和视觉思维。
• 防御措施： 作者提出了基于权限的传感器管理和信号混淆（例如：添加高斯噪声）作为潜在防御手段，并指出这些措施虽然能显著降低推理准确率（例如：将大脑级推理准确率降低约 38.6%），但也可能影响 VR 的可用性。

作者总结道，虽然目前的框架是一个具有局限性的概念验证（在不同头显和不同大脑活动间的泛化性有限），但它为理解 VR 传感器数据与神经隐私之间的交集建立了关键的先例。