SurfaceXR: Fusing Smartwatch IMUs and Egocentric Hand Pose for Seamless Surface Interactions

1. 研究背景与问题 (Problem)

在扩展现实（XR）中，交互方式主要面临以下挑战：

• 空中手势的局限性：虽然空中手势被广泛采用，但长时间使用会导致“大猩猩手臂”效应（疲劳、不适），且精度较低，不适合长时间的任务。
• 基于表面的交互优势：利用物理表面（如桌子、墙壁）进行交互能显著提高精度、速度和舒适度。
• 现有技术的不足：
  • 纯视觉方法：依赖头戴式设备（HMD）的摄像头进行手部追踪和平面估计。但在倾斜角度、遮挡（Occlusion）或表面平面估计不准时，容易产生误报（False Positives）或漏报（False Negatives），导致虚拟手与实际接触点不匹配。
  • 专用硬件方案：部分研究通过在表面安装传感器或使用专用戒指/手环（高采样率 IMU）来解决，但这缺乏可扩展性，且硬件成本高昂，难以普及。
  • 现有融合方案局限：如 TapID 等方案虽然结合了 IMU，但依赖高采样率（1344 Hz）的专用硬件，且仅支持点击（Tap）事件，无法支持复杂的滑动或捏合手势。

核心问题：如何在不使用专用硬件、无需精确表面校准的情况下，实现 XR 中鲁棒、精准且舒适的表面触摸与手势交互？

---

2. 方法论 (Methodology)

作者提出了 SurfaceXR，一种新颖的多模态传感器融合方案。其核心思想是利用互补性：

• 视觉模态（头戴设备）：提供手部关节的 3D 空间位置信息，但受遮挡和平面估计误差影响。
• 惯性模态（智能手表）：提供手腕/手部的高频微振动数据，能精准捕捉接触瞬间的冲击特征，但缺乏空间位置信息。

2.1 系统架构

系统是一个多任务深度学习网络，包含以下模块：

1. 数据输入：
   • 手部追踪数据：来自 Meta Quest 3 的 60Hz 数据。仅提取食指和拇指的 4 个关键关节（掌指、近端指间、远端指间、指尖）的 3D 位置及计算出的加速度。数据被归一化到表面坐标系（或头部坐标系）。
   • IMU 数据：来自 Google Pixel Watch 3 的 200Hz 数据（3 轴加速度 + 3 轴陀螺仪）。
2. 信号处理：
   • IMU 预处理：使用巴特沃斯带通滤波器将信号分解为三个频段（0.22-8Hz, 8-32Hz, >32Hz）以捕捉不同频率的运动特征，并去除趋势项。
3. 神经网络模型：
   • 手部编码器：使用 时序卷积网络 (TCN) 提取手部运动的时间序列特征。
   • IMU 编码器：使用 2D-CNN 提取多通道传感器数据中的时空模式。
   • 融合机制：采用 门控融合 (Gated Fusion) 机制。两个模态的特征先映射到共享空间，再通过门控网络学习权重，动态调整各模态的贡献（例如在遮挡时增加 IMU 权重）。
   • 多任务输出头：
     • 接触状态检测：二分类（接触/未接触），输出帧级预测。
     • 手势分类：9 类分类（8 种手势 + 无手势），输出窗口级预测。

2.2 运行模式

SurfaceXR 具有极高的灵活性，支持三种模式：

1. 仅手部追踪 (Hand-only)：仅使用 HMD 摄像头。
2. 仅 IMU (IMU-only)：当手在视野外或摄像头失效时，仅依靠手表数据。
3. 多模态融合 (Multimodal)：最优模式，动态融合两者，无需显式的表面平面校准即可工作。

---

3. 数据集与实验设置 (Dataset & Setup)

• 参与者：共 21 人（15 人用于训练/交叉验证，6 人用于独立测试）。
• 硬件：Meta Quest 3 (手部追踪), Google Pixel Watch 3 (IMU), Samsung Galaxy Tab S9 FE (地面真值)。
• 任务：
  • 接触状态：在水平（桌子）和垂直（墙壁）表面上进行直线、曲线、静止等动作，区分接触与悬停。
  • 手势识别：8 种手势（单击、双击、上下左右滑动、捏合/张开）+ 负样本（空中动作）。
  • 空间精度：路径追踪（画圆/线）和十字准星点击任务。
• 数据量：约 6.52 小时的同步数据，包含数千次手势和触摸事件。

---

4. 关键结果 (Key Results)

4.1 手势识别 (Gesture Recognition)

• 多模态 (SurfaceXR)：平均 F1 分数为 95.0%（精确率 95.1%，召回率 95.2%）。
• 对比单模态：
  • 仅手部：F1 = 92.6%。
  • 仅 IMU：F1 = 82.7%。
  • 结论：多模态显著优于单模态（p < .001）。
• 鲁棒性：在没有表面平面注册（无校准）的情况下，多模态性能仅下降 2.5%（至 92.6%），而纯手部追踪下降 4.4%（至 88.5%）。
• 点击检测：多模态在单击和双击检测上表现优异（F1 分别为 92.0% 和 97.0%），显著优于纯视觉方法。

4.2 接触状态检测 (Contact State Detection)

• 多模态：窗口级 F1 分数为 91.2%。
• 对比基线：
  • 仅手部：F1 = 89.1%。
  • 基于距离阈值的传统方法 (TriPad 类)：F1 仅为 74.0%（召回率低，漏检严重）。
• 结论：IMU 提供的微振动特征有效弥补了视觉距离判断的不足，大幅减少了误报和漏报。

4.3 空间精度 (Spatial Accuracy)

• 十字准星点击：平均误差 7.07 mm。
• 路径追踪：平均误差 12.4 mm。
• 对比：虽然略高于依赖深度相机的专用系统（如 MRTouch 的 5.4 mm），但在未使用额外深度相机、未进行复杂校准的情况下，该精度已具备实用价值。

4.4 延迟 (Latency)

• 端到端延迟：
  • 接触检测：中位开启延迟 47 ms，关闭延迟 170 ms。
  • 手势识别：点击约 95-185 ms，滑动约 224-238 ms。
• 实时性：系统可在 60 Hz 下实时运行，满足交互需求。

---

5. 主要贡献 (Key Contributions)

1. 创新的传感器融合方案：首次将消费级智能手表 IMU与XR 头戴设备的手部追踪结合，用于解决表面交互问题。证明了微振动数据与视觉数据的互补性。
2. 无需专用硬件与校准：系统完全基于现成硬件（Quest 3 + 普通智能手表），且不需要对表面进行显式校准（如平面注册），极大地提高了系统的可部署性和普及性。
3. 灵活的多模态架构：设计了支持“仅视觉”、“仅 IMU"和“融合”三种模式的统一模型，解决了遮挡和视野外交互的痛点。
4. 全面评估与验证：通过 21 名参与者的用户研究，验证了系统在接触检测、手势识别、空间精度和延迟方面的有效性，并展示了其在 AR/VR 绘图、文本输入、导航等场景的实际应用。

---

6. 意义与影响 (Significance)

• 提升 XR 交互体验：解决了空中手势的疲劳问题和纯视觉表面交互的不可靠问题，为 XR 提供了一种自然、舒适且精准的输入方式。
• 降低门槛：利用普及率极高的智能手表和消费级头显，使得高质量的表面交互不再依赖昂贵的专用传感器或复杂的校准流程，有利于 XR 技术的广泛推广。
• 应用场景拓展：特别适用于 AR 眼镜场景（手部常处于摄像头视野外），使得在 AR 眼镜上进行桌面级交互（如打字、绘图、浏览）成为可能。
• 未来方向：为未来的 XR 输入研究提供了新的范式，即利用可穿戴设备的多模态数据增强视觉系统的鲁棒性。

总结：SurfaceXR 通过巧妙的多模态融合，在不增加硬件成本的前提下，显著提升了 XR 表面交互的精度和鲁棒性，是迈向更自然、更实用 XR 交互的重要一步。