SurfaceXR: 스마트워치 IMU 와 시선 중심 손 포즈를 융합한 매끄러운 표면 상호작용

이 논문은 확장 현실 (XR) 환경에서 중공 (mid-air) 제스처의 피로도와 부정확성 문제를 해결하기 위해 제안된 SurfaceXR이라는 새로운 센서 융합 시스템을 소개합니다. SurfaceXR 는 헤드셋 기반의 손 추적 데이터와 상용 스마트워치의 IMU(관성 측정 장치) 에서 수집된 미세 진동 데이터를 결합하여, 일상적인 표면에서의 정밀하고 강력한 입력을 가능하게 합니다.

다음은 논문의 주요 기술적 요약입니다.

1. 문제 정의 (Problem)

XR 환경에서의 상호작용은 주로 중공 제스처에 의존하지만, 이는 장시간 사용 시 '고릴라 암 (gorilla arm)' 현상을 유발하여 피로와 불편함을 초래하고 정밀도가 낮습니다. 반면, 표면을 이용한 상호작용은 정확성과 편안함을 제공하지만, 현재 시선 중심 (egocentric) 비전 기반 방법론은 다음과 같은 한계가 있습니다.

• 손 추적 오류: 가림 (occlusion) 과 비스듬한 시선 각도로 인해 손의 실제 위치와 가상 위치 간 오프셋이 발생합니다.
• 표면 평면 추정 오류: 실제 표면과 가상 평면의 불일치로 인해 '터치 (접촉)'와 '호버 (공중)' 상태를 구별하기 어렵습니다.
• 하드웨어 의존성: 기존 연구들은 특수 센서가 부착된 표면이나 고가의 전용 하드웨어를 요구하여 확장성이 떨어집니다.

2. 방법론 (Methodology)

SurfaceXR 는 헤드셋의 손 추적 데이터와 스마트워치 IMU 데이터를 융합하는 멀티모달 멀티태스크 딥 뉴럴 네트워크를 기반으로 합니다.

• 데이터 입력:
  • 손 추적 (Hand Tracking): Meta Quest 3 헤드셋 (60Hz) 에서 수집된 3D 손 관절 위치 (주로 검지와 엄지) 및 가속도 데이터. 표면 기준 좌표계로 정규화됩니다.
  • IMU 데이터: Google Pixel Watch 3 (200Hz) 에서 수집된 3 축 가속도계 및 3 축 자이로스코프 데이터. 버터워스 대역 통과 필터를 통해 다양한 주파수 대역 (0.22-8Hz, 8-32Hz, 32Hz 이상) 으로 분해되어 미세 진동 패턴을 포착합니다.
• 모델 아키텍처:
  • Hand Encoder: 손 추적 시퀀스 데이터를 처리하기 위해 **Temporal Convolutional Network (TCN)**를 사용합니다.
  • IMU Encoder: IMU 데이터의 시간적 패턴을 추출하기 위해 2D-CNN을 사용합니다.
  • Gated Fusion Mechanism: 두 모달리티의 특징을 단순 연결이 아닌, 학습된 가중치로 동적으로 조절하는 '게이트드 퓨전' 방식을 통해 융합합니다. 이는 특정 모달리티가 신뢰할 수 없는 상황 (예: 손이 카메라 밖으로 나감) 에서 다른 모달리티의 기여도를 높여줍니다.
• 작동 모드:
  1. 손 추적 전용: 헤드셋 카메라만 사용.
  2. IMU 전용: 손이 카메라 시야 밖일 때 스마트워치 데이터만 사용.
  3. 멀티모달 (최적): 두 데이터를 융합하여 가장 높은 성능 달성.
  • 명시적인 표면 보정 (calibration) 없이도 작동 가능합니다.

3. 주요 기여 (Key Contributions)

• 상용 하드웨어 활용: 특수 센서나 표면에 부착된 장치가 아닌, 널리 보급된 스마트워치와 XR 헤드셋만으로 고정밀 표면 상호작용을 구현했습니다.
• 상호 보완적 모달리티 융합: 손 추적은 3D 공간적 정밀도를, IMU 는 표면 접촉 시 발생하는 고유한 미세 진동 (고주파수) 을 감지하여 시간적 정밀도를 제공함으로써 서로의 약점을 보완합니다.
• 유연한 시스템 설계: 표면 평면 등록이 없거나 손이 가려진 상황에서도 IMU 만으로 작동 가능한 유연성을 제공합니다.
• 다중 태스크 학습: 하나의 모델로 '터치/비터치 상태 감지'와 '8 가지 제스처 분류'를 동시에 수행합니다.

4. 실험 결과 (Results)

21 명의 참가자를 대상으로 한 사용자 연구에서 다음과 같은 성과를 달성했습니다.

• 제스처 인식: 8 가지 표면 제스처 (탭, 더블탭, 4 방향 스와이프, 핀치 등) 에 대한 평균 **F1 점수 95.0%**를 기록했습니다.
  • 멀티모달 모델은 손 추적 전용 (92.6%) 과 IMU 전용 (82.7%) 보다 통계적으로 유의미하게 성능이 우수했습니다.
  • 표면 평면 등록이 없는 경우에도 멀티모달 모델은 성능 저하가 미미했으나 (2.5% 감소), 손 추적 전용 모델은 4.4% 감소했습니다.
• 터치 상태 감지: 윈도우 레벨의 터치 접촉 감지 F1 점수는 **91.2%**였습니다.
  • 기존 임계값 기반 방법 (TriPad 등) 보다 정밀도와 재현율 모두에서 크게 우월했습니다.
• 공간 정확도:
  • 타겟팅 오차: 평균 7.07mm (Cross-hair targeting).
  • 경로 추적 오차: 평균 12.4mm.
  • 별도의 깊이 카메라 없이도 상용 XR 헤드셋의 손 추적만으로는 달성하기 어려운 수준의 정확도를 보여주었습니다.
• 지연 시간 (Latency):
  • 터치 감지 시작 지연 (Onset latency): 47ms.
  • 터치 종료 지연 (Offset latency): 170ms.
  • 전체 파이프라인 지연은 약 13.61ms 로 실시간 처리가 가능합니다.

5. 의의 및 결론 (Significance)

SurfaceXR 는 XR 환경에서의 입력 방식에 있어 중요한 전환점을 제시합니다.

• 접근성: 고가의 특수 하드웨어 없이 상용 기기로 구현 가능하여 대량 보급의 가능성을 열었습니다.
• 강건성: 가림 현상이나 표면 추정 오류와 같은 비전 기반 방법의 한계를 IMU 데이터를 통해 극복했습니다.
• 응용 가능성: AR/VR 환경에서의 텍스트 입력, 스케치, 네비게이션 등 다양한 인터랙티브 애플리케이션 (예: 가상 키보드, 트랙패드, 사진 앨범 인터페이스) 에 즉시 적용 가능합니다.

결론적으로, SurfaceXR 는 중공 제스처의 피로도와 비전 기반 방법의 부정확성을 동시에 해결하며, 일상적인 표면을 자연스럽고 정밀한 XR 입력 장치로 변모시키는 효과적인 솔루션임을 입증했습니다.