Int3DNet: Scene-Motion Cross Attention Network for 3D Intention Prediction in Mixed Reality

1. 문제 정의 (Problem Definition)

• 배경: 혼합 현실 (MR) 환경에서 사용자의 의도 (Intention) 를 사전에 예측하는 것은 지연을 줄이고 매끄러운 상호작용을 위해 필수적입니다.
• 한계점:
  • 기존 연구들은 주로 시선 (Gaze) 이나 전체 신체 모션 (Full-body motion) 에 의존했으나, MR 헤드셋 (HMD) 에서는 시선 추적이 항상 가능하지 않으며, 전체 신체 모션 재구성은 노이즈가 많고 계산 비용이 큽니다.
  • 또한, 기존 방법들은 객체 단위 (Object-wise) 로 의도를 파악하려 하여, 복잡한 장면에서 모든 객체를 세그먼트하고 추적해야 하는 오버헤드와 지연이 발생합니다.
  • 단순한 시선 정보만으로는 장애물이 있는 복잡한 3D 공간에서 실제 상호작용 대상을 정확히 예측하기 어렵습니다.
• 목표: HMD 에서 쉽게 얻을 수 있는 희소 모션 데이터 (머리와 손의 궤적) 와 장면의 3D 기하학적 정보 (Point Cloud) 만을 활용하여, 객체 분할 없이 직접 3D 공간 내의 의도 영역 (Intention Area) 을 예측하는 방법론을 제안합니다.

2. 제안 방법론: Int3DNet (Methodology)

제안된 네트워크는 장면 (Scene) 과 모션 (Motion) 간의 크로스 어텐션 (Cross-Attention) 메커니즘을 통해 두 정보를 융합합니다.

A. 입력 데이터

• 희소 모션 (Sparse Motion): HMD 센서에서 획득 가능한 머리와 양손의 3D 위치 및 선형 속도 (Past trajectories).
• 머리 방향 (Head Orientation): 시선 (Gaze) 대신 머리의 전방 벡터를 사용하여 주의 (Attention) 를 대리합니다.
• 장면 기하학 (Scene Geometry): HMD 깊이 센서로부터 얻은 장면의 점 구름 (Point Cloud).

B. 네트워크 아키텍처

1. 특징 인코딩 (Feature Encoding):
   • 장면: PointNet++ 를 사용하여 점 구름을 계층적으로 인코딩하여 공간적 특징을 추출합니다.
   • 모션: 머리와 손의 궤적 및 속도를 이산 코사인 변환 (DCT) 으로 변환하여 시간적 중복성을 줄이고 주요 주파수를 강조합니다. 이후 ST-GCN (Spatio-Temporal Graph Convolutional Network) 을 통해 시공간적 특징을 인코딩합니다.
   • 머리 방향: DCT 와 MLP 를 통해 인코딩된 후 모션 특징과 결합됩니다.
2. 크로스 어텐션 융합 (Motion-to-Scene Cross-Attention):
   • 쿼리 (Query): 장면의 점 구름 특징 (Scene Features).
   • 키/밸류 (Key/Value): 인코딩된 모션 및 머리 방향 특징 (Motion Features).
   • 이 메커니즘을 통해 장면의 각 점 (Point) 이 사용자의 모션과 얼마나 관련 있는지 가중치를 계산합니다. 이는 인간의 주의 메커니즘을 모방하여, 사용자의 의도가 집중될 가능성이 높은 장면의 특정 영역을 강조합니다.
3. 출력: 융합된 특징을 통해 각 점에 대한 상호작용 확률 (Heatmap) 을 예측합니다.

C. 손실 함수 (Loss Function)

점 구름 내의 클래스 불균형 (배경 vs 의도 영역) 과 희소성을 해결하기 위해 세 가지 손실 함수를 결합합니다:

• 가중 이진 교차 엔트로피 (Weighted BCE)
• 포커스 손실 (Focal Loss): 어려운 샘플 학습 강화
• 디스 손실 (Dice Loss): 영역 수준의 일관성 및 겹침 최적화

3. 주요 기여 (Key Contributions)

1. MR 환경에 최적화된 3D 의도 예측 네트워크: 객체 인식 없이 원시 공간 데이터 (Point Cloud) 와 희소 모션 (머리/손) 만을 사용하여 3D 의도 영역을 직접 예측하는 새로운 아키텍처를 제안했습니다.
2. 복잡한 환경에서의 강건성 검증: 단순한 탁상 환경뿐만 아니라, 장애물이 많고 시선이 가려진 복잡한 실내 환경 (CIRCLE 데이터셋) 에서도 기존 방법들보다 우수한 성능을 입증했습니다.
3. 실용적 적용 사례 (VQA): 예측된 의도 영역을 기반으로 시각적 질문 응답 (VQA) 파이프라인을 구현하여, 불필요한 시각 토큰을 줄이고 효율적인 추론이 가능함을 시연했습니다.

4. 실험 결과 (Results)

• 데이터셋: MoGaze (단순 환경) 와 CIRCLE (복잡한 환경) 데이터셋을 사용했습니다.
• 성능 비교:
  • CIRCLE 데이터셋: 500ms~1500ms 의 모든 시간 구간에서 제안된 Int3DNet 이 시선 모델 (Head Orientation), 모션 예측 모델 (Motion Forecast), 장면만 사용하는 모델 (Only Scene) 등 모든 베이스라인을 일관되게 상회했습니다.
  • MoGaze 데이터셋: 1200ms 까지는 베이스라인을 압도했으나, 1500ms 이상에서는 데이터셋의 연속적인 모션 특성상 목표가 불명확해져 성능 차이가 줄어든 것으로 분석되었습니다.
  • 정량적 지표: SIM(유사도), AUC, mIoU, Dice Score 등 모든 지표에서 가장 높은 점수를 기록했습니다.
• Ablation Study:
  • 크로스 어텐션: 단순 MLP 융합보다 크로스 어텐션이 공간적 의도 예측 정확도를 크게 향상시킴.
  • 어텐션 방향성: 장면을 쿼리로, 모션을 키/밸류로 사용하는 것이 역방향보다 성능이 우수함 (복잡한 환경에서 방해 요소를 줄임).
  • 손실 함수: BCE, Focal, Dice 를 모두 결합한 조합이 가장 균형 잡힌 성능을 보임.

5. 의의 및 결론 (Significance & Conclusion)

• 선제적 처리 (Proactive Processing): 상호작용 발생 500~1500ms 전에 의도를 예측함으로써, MR 시스템의 지연을 최소화하고 사용자 경험을 향상시킵니다.
• 자원 효율성: 전체 장면을 분석하거나 복잡한 객체 추적을 수행하지 않고, 희소 센서 데이터와 점 구름만으로 효율적인 예측이 가능합니다.
• 확장성: 의도 기반 VQA 데모를 통해, 예측된 영역을 2D 이미지로 투영하여 대규모 언어 모델 (VLM) 에 입력함으로써 추론 효율을 약 93.6% 향상시킬 수 있음을 입증했습니다.
• 향후 과제: 현재는 '잡기 - 놓기 (Pick-and-place)' 상호작용에 국한되어 있으나, 향후 전체 신체 모션, 도구 사용, 인간 간 상호작용 등으로 범위를 확장하고, 실제 MR 환경에서의 사용자 연구를 통해 검증할 계획입니다.

이 연구는 MR 시스템이 사용자의 행동을 단순히 반응하는 것을 넘어, 환경과 모션을 통합적으로 이해하여 능동적이고 지능적인 상호작용을 가능하게 하는 중요한 기술적 토대를 마련했습니다.