WildGHand: Learning Anti-Perturbation Gaussian Hand Avatars from Monocular In-the-Wild Videos

WildGHand 는 손-객체 상호작용, 극단적인 자세, 조명 변화, 모션 블러와 같은 심한 교란이 있는 단일 카메라 '인더와일드' 비디오에서도 고품질의 3D 손 아바타를 생성하기 위해 교란을 명시적으로 모델링하고 억제하는 자기 적응형 3D 가우스 스플래팅 프레임워크를 제안합니다.

핵심

이 논문은 **'야생 (Wild) 에서의 손 아바타 복원'**이라는 제목의 연구로, WildGHand라는 새로운 기술을 소개합니다.

쉽게 말해, **"어지럽고 흔들리는 일상 환경에서도 손 모양을 완벽하게 3D 로 만들어내는 기술"**을 개발했다는 이야기입니다.

이 기술을 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 문제 상황: "어지러운 방에서 사진 찍기"

기존의 3D 손 만들기 기술들은 마치 조명도 완벽하고, 배경도 깨끗하며, 손이 절대 움직이지 않는 스튜디오에서 사진을 찍는 것과 비슷했습니다. 하지만 실제 삶은 다릅니다.

• 손이 물건을 잡고 있거나 (Hand-object interaction)
• 손가락을 비틀어 이상한 자세를 취하거나 (Complex poses)
• 빛이 갑자기 바뀌거나 (Illumination changes)
• 카메라가 흔들려 흐릿해지거나 (Motion blur)

이런 '야생 (In-the-wild)' 상황에서는 기존 기술들이 망가집니다. 마치 흐릿하고 어지러운 사진을 보고 "이게 무슨 모양이지?"라고 헤매는 것과 같습니다.

2. 해결책: WildGHand (야생 손 3D 마법사)

저자들은 이 문제를 해결하기 위해 WildGHand라는 시스템을 만들었습니다. 이 시스템은 두 가지 핵심 '마법'을 사용합니다.

마법 1: "소음 제거 이어폰" (동적 교란 분리 모듈 - DPD)

• 비유: 시끄러운 카페에서 친구의 목소리를 들으려고 할 때, 배경 소음 (커피 기계 소리, 대화 소리) 만을 골라내어 친구 목소리만 크게 들리는 이어폰을 상상해 보세요.
• 기술: WildGHand 는 손의 실제 모양 (본질) 과 방해 요소 (소음/교란) 를 분리합니다.
  • 학습할 때는 "아, 이 프레임은 빛이 너무 밝아서 손이 하얗게 보이는구나"라고 판단하고, 그 **하얗게 보이는 부분만 '편차 (Bias)'**로 따로 떼어냅니다.
  • 그리고 실제 손 모양을 만들 때는 그 '편차'를 버리고 원래 손 모양만 남깁니다.
  • 결과: 흐릿하거나 빛이 반짝이는 영상에서도 손의 진짜 모양을 기억해냅니다.

마법 2: "현명한 감독" (교란 인지 최적화 전략 - PAO)

• 비유: 영화를 찍을 때, 배우가 잘 연기하는 장면은 'OK' 표시를 하고, 배우가 실수하거나 배경이 흔들리는 장면은 '다시 찍자'라고 표시하는 감독을 생각해 보세요.
• 기술: 이 시스템은 영상 속의 각 부분을 분석합니다.
  • "여기는 손이 잘 보이지만, 저기는 물건을 잡고 있어서 흐릿하구나"라고 판단합니다.
  • 흐리거나 방해가 되는 부분에는 점수 (가중치) 를 낮게 주고, 깨끗한 부분에는 점수를 높게 줍니다.
  • 이렇게 하면 컴퓨터는 흐린 부분을 무시하고, 선명한 부분에만 집중해서 손 모양을 배우게 됩니다.

3. 새로운 시험장: "야생 손 데이터셋 (HWP)"

기존의 데이터는 너무 깨끗해서 실제 상황을 테스트하기 어려웠습니다. 그래서 저자들은 직접 야생에서 찍은 손 영상을 모았습니다.

• 내용: 카드 섞기, 펜 돌리기, 로션 바르기 등 일상적인 행동들.
• 특징: 손이 물건을 잡거나, 빛이 바뀌거나, 손이 흔들리는 등 실제 생활에서 겪는 모든 난이도를 포함했습니다. 이를 통해 이 기술이 진짜로 잘 작동하는지 검증했습니다.

4. 결론: 왜 이것이 중요할까요?

이 기술은 **가상 현실 (VR) 이나 증강 현실 (AR)**에서 손의 움직임을 자연스럽게 표현하는 데 큰 도움을 줍니다.

• 기존: 스튜디오에서만 잘 작동해서, 밖에서 쓰면 손이 뚝뚝 끊기거나 이상하게 변함.
• WildGHand: 밖에서 찍은 흐릿한 영상에서도 손의 주름, 손톱, 혈관까지 생생하게 3D 아바타로 만들어냄.

한 줄 요약:

**"야생처럼 어지러운 환경에서도, 소음과 흐릿함을 걸러내어 손의 진짜 모습을 완벽하게 3D 로 복원해내는 똑똑한 AI 기술"**입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 3D 손 아바타 재구성 방법들은 대부분 통제된 환경 (스튜디오, 다중 카메라 등) 에서 수집된 데이터에 의존합니다. 이로 인해 실제 자연스러운 환경 ('In-the-Wild') 에서 발생하는 다양한 교란 요인 (Perturbations) 에 대해 성능이 급격히 저하되는 문제가 있습니다. 주요 교란 요인은 다음과 같습니다:

• 손 - 물체 상호작용 (Hand-Object Interactions): 손이 물체를 잡거나 만지는 과정에서 발생하는 가림 (Occlusion).
• 복잡한 자세 (Complex Poses): 극단적인 손의 구부러짐이나 비정상적인 각도.
• 조명 변화 (Illumination Variations): 환경에 따른 빛의 변화 및 그림자.
• 모션 블러 (Motion Blur): 빠른 손 움직임으로 인한 이미지 흐림.

기존의 동적 모델링 방법들은 주로 일시적인 방해물 (Transient distractions) 을 처리하도록 설계되어 있어, 손 아바타 재구성과 같이 전역적이고 지속적인 교란 (전체 조명 변화 등) 이 발생하거나 손의 관절 운동이 매우 복잡한 상황에는 적용하기 어렵습니다. 또한, 이러한 교란에 대한 과도한 피팅 (Overfitting) 은 손의 실제 모양과 질감을 왜곡시키거나, 반대로 교란을 무시하여 손의 디테일을 잃는 (Underfitting) 딜레마를 초래합니다.

2. 제안 방법: WildGHand (Methodology)

저자들은 이러한 문제를 해결하기 위해 WildGHand라는 새로운 최적화 기반 3D 가우스 스플래팅 (3D Gaussian Splatting, 3DGS) 프레임워크를 제안합니다. 이 프레임워크는 두 가지 핵심 구성 요소를 통해 교란을 명시적으로 분리하고 억제합니다.

A. 동적 교란 분리 모듈 (Dynamic Perturbation Disentanglement, DPD)

• 개념: 최적화 과정에서 3D 가우스 속성 (위치, 불투명도, 색상 등) 에 시간 가중치가 적용된 편차 (Biases) 를 추가하여 교란을 명시적으로 모델링합니다.
• 구조: 경량 MLP(Multilayer Perceptron) 를 사용하여 프레임 인덱스 $l$의 시간 임베딩을 생성하고, 이를 통해 가우스 속성의 편차 $\Delta g$를 예측합니다.
• 동작:
  • 학습 시에는 편차 $\Delta g$를 포함하여 최적화합니다.
  • 추론 (Inference) 시에는 학습된 편차를 제거하여 원래 손의 모습을 재현합니다.
  • 이를 통해 모델이 손의 본질적인 특징 (Canonical component) 과 교란 요인을 분리하여 학습하도록 유도하며, 교란에 대한 과적합을 방지합니다.

B. 교란 인식 최적화 전략 (Perturbation-Aware Optimization, PAO)

• 개념: 프레임 내의 공간적 교란 영역을 식별하여, 신뢰도가 낮은 영역의 학습 가중치를 동적으로 낮추는 전략입니다.
• 작동 원리:
  • SAM(Segment Anything Model) 을 활용하여 손 영역과 배경을 분할합니다.
  • 재구성 오차 (Reconstruction Error) 와 손 영역 비율을 기반으로 이방성 가중치 마스크 (Anisotropic Weighted Masks) 를 생성합니다.
  • 교란이 심한 영역 (예: 모션 블러, 가림) 은 낮은 가중치를, 명확한 손 영역은 높은 가중치를 부여합니다.
  • DPD 모듈에서 예측된 시간 가중치 ($\omega_l$) 와 결합하여, 교란이 심한 프레임 전체의 영향력을 조절합니다.

C. 전체 파이프라인

1. 입력된 모노큘러 비디오에서 MANO-HD 모델을 기반으로 손의 포즈와 카메라 파라미터를 추정합니다.
2. 3D 가우스를 초기화하고, DPD 모듈과 PAO 전략을 통해 가우스 속성을 최적화합니다.
3. 학습된 편차는 추론 시 제거되어 교란이 없는 고화질 손 아바타를 렌더링합니다.

3. 주요 기여 (Key Contributions)

1. WildGHand 프레임워크: 모노큘러 'In-the-Wild' 비디오에서 심각한 교란 하에도 고충실도 3D 손 아바타를 재구성하는 최적화 기반 3DGS 프레임워크를 처음 제안했습니다.
2. 새로운 모듈 설계:
   • DPD 모듈: 교란을 시간 가중치 편차로 모델링하여 추론 시 제거함으로써 과적합을 해결합니다.
   • PAO 전략: 공간적 및 시간적 교란을 식별하여 신뢰할 수 없는 영역의 학습 가중치를 동적으로 조절합니다.
3. HWP 데이터셋 (Hand with Perturbation): 기존 데이터셋의 한계를 극복하기 위해, 손 - 물체 상호작용, 복잡한 자세, 조명 변화, 모션 블러 등 4 가지 주요 교란 요인이 포함된 새로운 벤치마크 데이터셋을 구축하고 공개했습니다. 이 데이터셋은 단일 손 및 상호작용하는 손 시나리오를 모두 포함하며, 평가용 클린 테스트 클립을 제공합니다.

4. 실험 결과 (Results)

• 벤치마크 성능: 제안된 HWP 데이터셋과 공개 데이터셋 (InterHand2.6M, AnchorCrafter) 에서 기존 최첨단 방법 (UHM, Handy, InterGaussianHand 등) 보다 우수한 성능을 보였습니다.
  • PSNR: 최대 15.8% 상대적 향상.
  • LPIPS: 최대 23.1% 상대적 감소 (화질 향상).
  • SSIM: 모든 메트릭에서 일관된 개선을 보였습니다.
• 교란별 성능: Table V 에서 확인되듯, 손 - 물체 상호작용, 복잡한 자세, 조명 변화, 모션 블러 등 모든 시나리오에서 WildGHand 가 가장 높은 PSNR, SSIM 및 가장 낮은 LPIPS 를 기록했습니다.
• 정성적 평가: 손톱, 주름, 정맥 등 미세한 디테일을 다양한 각도와 자세에서 정확하게 재구성하며, 기존 방법들이 겪던 아티팩트 (Floating artifacts, 구조 왜곡) 를 효과적으로 제거했습니다.
• Ablation Study: DPD 모듈과 PAO 전략이 각각 성능 향상에 기여하며, 특히 PAO 전략이 단일 손 시나리오에서 LPIPS 를 23.1% 개선하는 등 큰 영향을 미쳤음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 실제 환경에서 수집된 비디오를 기반으로 한 3D 손 아바타 생성의 핵심 난제인 '교란 (Perturbation)' 문제를 체계적으로 해결했습니다.

• 기술적 의의: 3D 가우스 스플래팅을 손 아바타에 적용하면서, 교란을 명시적으로 모델링하고 분리하는 새로운 패러다임을 제시했습니다. 외부의 무거운 생성 모델 (Diffusion 모델 등) 에 의존하지 않고 경량화된 구조로 효율성과 성능을 동시에 달성했습니다.
• 실용적 의의: VR/AR, 메타버스, 로봇 공학 등 실제 응용 분야에서 필요한 개인화된 손 아바타를 통제된 스튜디오 없이도 스마트폰이나 일반 카메라로 쉽게 생성할 수 있는 가능성을 열었습니다.
• 데이터 기여: 다양한 교란 요인을 체계적으로 분류한 HWP 데이터셋은 향후 In-the-Wild 손 재구성 연구의 표준 벤치마크로 자리 잡을 것으로 기대됩니다.

요약하자면, WildGHand 는 실제 세계의 불완전한 조건에서도 강건하고 사실적인 손 아바타를 생성할 수 있는 강력한 솔루션을 제공하며, 3D 컴퓨터 비전 분야의 중요한 진전을 이루었습니다.