Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves

1. 문제 정의 (Problem)

손 - 물체 상호작용 (HOI, Hand-Object Interaction) 을 이해하는 것은 컴퓨터 비전, 로봇공학, AR/VR 분야에서 핵심적입니다. 그러나 기존 HOI 데이터 수집 방식에는 다음과 같은 근본적인 한계가 존재합니다.

• 물리적 정보의 부재: 일반적인 비전 기반 (Vision-only) 비디오는 접촉력 (Contact Force) 이나 운동 신호와 같은 중요한 물리적 정보를 포함하지 않습니다.
• 오클레이션 (Occlusion) 문제: 단일 카메라 시점에서는 손이 물체에 가려지거나 손가락이 서로 가려지는 경우가 빈번하여, 견고한 손 포즈 추적이 어렵습니다.
• 센서 장갑과 맨손의 외관 차이: IMU 나 촉각 센서가 장착된 센서 장갑을 착용한 비디오는 풍부한 물리적 데이터 (촉각, 관성) 를 제공하지만, 장갑의 두꺼운 외관으로 인해 이를 맨손 (Bare-hand) 작업에 직접 적용할 경우 일반화 성능이 떨어집니다.

2. 제안 방법론: Glove2Hand Framework

저자들은 센서 장갑 비디오를 광사실적 (Photorealistic) 인 맨손 비디오로 변환하면서, 장갑에서 수집된 촉각 및 IMU 신호를 동기화하여 보존하는 생성 프레임워크인 Glove2Hand를 제안합니다.

핵심 구성 요소

1. 3D 가우스 손 모델 (3D Gaussian Hand Model):

   • Surface-Grounded Gaussians: 기존 3D 가우스 스플래팅 (Splatting) 이 공간에 무작위로 분포하는 것과 달리, 학습 가능한 표준 손 메쉬 (Canonical Hand Mesh) 의 표면에 가우스를 직접 정의합니다. 이는 강력한 기하학적 사전 지식 (Prior) 을 제공하여 일관된 렌더링을 가능하게 합니다.
   • Relightable Hand: 환경 조명 변화를 처리하기 위해, 손의 포즈 (Pose) 를 입력으로 받아 구형 조화 (Spherical Harmonics) 계수를 예측하는 MLP 를 사용합니다. 이를 통해 동적인 조명 조건에서도 자연스러운 그림자와 색상을 재현합니다.
   • 장점: 이 모델은 장갑 비디오에서 추출한 손 포즈를 기반으로 일관된 '공중 (in-air)' 손 시퀀스를 생성합니다.

2. 확산 기반 손 복원기 (Diffusion Hand Restorer):

   • 단순히 렌더링된 손을 원본 비디오에 합성하면 물체와의 상호작용 (관통, 떠 있는 현상) 이나 손목 연결부위에서 비현실적인 아티팩트가 발생합니다.
   • 이를 해결하기 위해 ControlNet과 AnimateDiff를 기반으로 한 확산 모델 (Diffusion Model) 을 학습시킵니다.
   • 입력: 렌더링된 손 + 원본 배경 (손목 및 장갑 영역은 마스킹/인페인팅 처리됨).
   • 목표: 손 - 물체 경계, 피부 질감, 손목 연결부 등을 자연스럽게 복원하여 장면 전체의 일관성을 높입니다.

3. Glove-to-Hand 추론 파이프라인:

   • 장갑의 부피가 맨손보다 크기 때문에, 렌더링된 손을 붙이기 전에 Propainter를 이용해 장갑 영역을 배경으로 인페인팅 (Inpainting) 하고, 물체 마스킹을 통해 전경 물체가 손상되지 않도록 보호합니다.

3. 주요 기여 (Key Contributions)

1. Glove2Hand 프레임워크:

   • 센서 장갑 캡처에서 광사실적인 손 - 물체 상호작용 비디오를 생성하는 최초의 작업입니다.
   • 3D 가우스 모델을 통한 일관성 있는 렌더링과 확산 모델을 통한 생성적 정제 (Generative Refinement) 를 결합하여, 비강체 (Non-rigid) 물체와의 복잡한 상호작용도 처리합니다.

2. HandSense 데이터셋 구축:

   • 최초의 멀티모달 HOI 데이터셋: 동기화된 장갑 비디오, 생성된 맨손 비디오, 그리고 연속적인 촉각 (Tactile) 및 IMU 신호를 포함합니다.
   • 기존 데이터셋이 이진 접촉 (Binary Contact) 이나 시뮬레이션에 의존한 반면, HandSense 는 실제 센서로 측정된 연속적인 힘 데이터를 제공합니다.
   • 다양한 비강체 물체 (스퀴시 장난감 등) 와의 상호작용을 포함합니다.

3. 다운스트림 작업에서의 가치 입증:

   • 생성된 데이터를 활용하여 **비전 기반 접촉 추정 (Contact Estimation)**과 심한 오클레이션 하의 손 추적 (Hand Tracking) 성능을 획기적으로 향상시켰음을 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

• 비디오 품질 평가:

  • 정량적 지표: FID (Fréchet Inception Distance) 와 FVD (Fréchet Video Distance) 에서 기존 생성 모델 (Pix2Pix, BrushNet, HandRefiner 등) 및 비디오 인페인팅 기법들을 압도적으로 상회했습니다.
  • 정성적 평가: 인간 평가 (Human Evaluation) 에서 생성된 비디오의 사실성, 상호작용의 타당성, 시간적 일관성이 실제 비디오와 거의 구별되지 않는 수준으로 평가되었습니다.

• 다운스트림 애플리케이션 성능:

  • 접촉 추정 (Contact Estimation): 촉각 신호를 '그라운드 트루스'로 사용하여 Glove2Hand 로 생성된 데이터로 학습한 모델은, 실제 수동 주석 데이터만 사용한 모델보다 정확도 (Contact IoU 85.3% → 88.2%) 와 정밀도가 크게 향상되었습니다.
  • 오클레이션 하의 손 추적: 카메라에 가려진 상황에서도 IMU 신호를 '의사 그라운드 트루스'로 활용하여 Glove2Hand 데이터로 파인튜닝한 UmeTrack 모델은 오클레이션 구간에서 오차 (MKPE) 를 19.2mm 에서 16.6mm 로 크게 줄였습니다. 반면, 장갑 데이터를 직접 학습하면 도메인 차이로 인해 성능이 저하되었습니다.

5. 의의 및 결론 (Significance)

• 물리적 grounding 의 강화: 비전 데이터만으로는 얻기 힘든 접촉력과 운동 정보를 센서手套를 통해 얻고, 이를 시각적으로 변환함으로써 로봇 조작, AR/VR, 인간 - 컴퓨터 상호작용 연구에 물리적으로 기반을 둔 (Physically Grounded) 고품질 데이터를 제공합니다.
• 데이터 수집의 혁신: 고가의 멀티카메라 스튜디오나 복잡한 마커 기반 MoCap 없이도, 착용형 센서手套와 생성 모델의 결합을 통해 대규모의 고품질 HOI 데이터를 수집할 수 있는 새로운 패러다임을 제시합니다.
• 실용성: 심한 오클레이션 상황에서도 견고한 손 추정이 가능하며, 촉각 정보를 활용한 정밀한 접촉 분석이 가능해져서 실제 로봇 제어나 가상 현실 인터페이스 개발에 직접적으로 기여할 수 있습니다.

요약하자면, Glove2Hand는 센서 장갑의 물리적 이점과 생성형 AI 의 시각적 유연성을 결합하여, 기존에 접근하기 어려웠던 고품질의 손 - 물체 상호작용 데이터와 알고리즘을 가능하게 하는 획기적인 프레임워크입니다.