Fast-HaMeR: Boosting Hand Mesh Reconstruction using Knowledge Distillation

1. 문제 정의 (Problem Statement)

• 배경: VR/AR, 인간 - 컴퓨터 상호작용 (HCI), 로봇공학, 의료 등 다양한 분야에서 실시간 3D 손 재구성은 필수적입니다.
• 현황: 현재 가장 정확한(State-of-the-Art) 방법인 HaMeR과 같은 모델들은 ViT-Huge(Vision Transformer) 와 같은 대규모 아키텍처를 사용하여 높은 재구성 정확도를 달성하지만, 계산 비용이 매우 큽니다.
• 한계: 이러한 무거운 모델들은 헤드셋, 스마트폰, 임베디드 시스템과 같은 리소스가 제한된 장치에서 실시간 추론 (Real-time Inference) 을 수행하기 어렵습니다.
• 목표: 재구성 정확도를 크게 희생하지 않으면서도 경량화되고 빠른 3D 손 메쉬 재구성 모델을 개발하는 것입니다.

2. 제안 방법론 (Methodology)

저자들은 지식 증류 (Knowledge Distillation, KD) 기법을 활용하여 무거운 'Teacher' 모델 (HaMeR) 의 지식을 경량화된 'Student' 모델로 전이하는 프레임워크를 제안합니다.

가. 아키텍처 설계

• Teacher Model: 기존 HaMeR 모델 (ViT-Huge 백본 사용) 을 고정된 가중치로 사용합니다.
• Student Model: HaMeR 의 무거운 ViT-H 백본을 제거하고, 경량화된 백본으로 교체합니다.
  • 사용된 백본: MobileNet, MobileViT, ConvNeXt, ResNet.
  • 목표: 파라미터 수를 줄이고 추론 속도를 높이는 것.

나. 지식 증류 전략 (Distillation Strategies)

학생 모델이 교사 모델의 지식을 학습하도록 세 가지 다른 증류 방식을 평가했습니다.

1. Output-level Distillation (출력 수준 증류):
   • 학생 모델의 최종 예측값 (3D/2D 조인트, MANO 파라미터 등) 과 교사 모델의 예측값 사이의 손실 (Loss) 을 계산합니다.
   • 정답 레이블 (Ground Truth) 대신 교사의 예측을 'Soft Label'로 활용합니다.
2. Feature-level Distillation (특징 수준 증류):
   • 백본에서 추출된 중간 특징 맵 (Feature Maps) 간의 유사성을 학습합니다.
   • 교사 모델의 특징 맵 ($F_T$) 과 학생 모델의 특징 맵 ($F_S$) 이 일치하도록 1x1 컨볼루션과 보간을 통해 차원을 정렬 후 손실을 계산합니다.
3. Combined Distillation (혼합 증류):
   • 출력 수준과 특징 수준의 증류 손실을 동시에 적용하여 두 가지 장점을 결합하려 시도합니다.

3. 주요 기여 (Key Contributions)

1. 경량화 및 가속화: HaMeR 모델의 크기를 약 35% 수준으로 줄이면서도 1.5 배 빠른 추론 속도를 달성했습니다.
2. 정확도 유지: 모델 크기를 대폭 줄였음에도 재구성 정확도 (PA-MPVPE) 에서 원본 HaMeR 대비 0.4mm 미만의 오차만 발생했습니다.
3. 증류 전략에 대한 통찰:
   • Output-level 증류는 작은 모델이나 구조적으로 유사한 모델 (MobileViT 등) 에 효과적입니다.
   • Feature-level 증류는 상대적으로 용량이 큰 학생 모델 (ConvNeXt-L 등) 에서 더 뛰어난 성능을 발휘함을 규명했습니다.
4. 오픈소스 제공: 코드와 모델은 공개되어 재현성을 보장합니다.

4. 실험 결과 (Results)

• 데이터셋: HO3D-v2 (손 - 물체 상호작용이 포함된 어려운 환경) 를 사용하여 평가했습니다.
• 성능 비교 (RTX 4060 Ti 기준):
  • HaMeR (ViT-Huge): 671M 파라미터, 27 FPS, PA-MPJPE 7.7mm.
  • Fast-HaMeR (ConvNeXt-L + Feature KD): 240M 파라미터 (약 64% 감소), 40 FPS (1.48 배 향상), PA-MPJPE 8.1mm.
  • MobileNet: 42M 파라미터, 48 FPS까지 달성했으나 정확도 하락이 더 컸습니다.
• 최적 구성: ConvNeXt-L 백본에 Feature-level Distillation을 적용한 구성이 가장 좋은 균형을 보였습니다.
  • 다른 SOTA 모델 (HandOccNet, METRO, Hamba 등) 과 비교했을 때, HaMeR 에는 미치지 못하지만 경량화 모델 중에서는 최상위권 성능을 보이며, 기존 경량 모델들보다 월등히 높은 정확도를 유지했습니다.
• 시각적 결과: 복잡한 손 자세, 상호 간 가림 (Occlusion), 다양한 물체와의 상호작용 상황에서도 HaMeR 과 유사한 품질의 3D 메쉬를 실시간으로 생성했습니다.

5. 의의 및 결론 (Significance)

• 실시간 적용 가능성: 이 연구는 고해상도 3D 손 재구성이 리소스가 제한된 장치 (모바일, AR/VR 헤드셋) 에서 실시간으로 가능함을 입증했습니다.
• 효율적인 설계 가이드: 단순히 모델을 작게 만드는 것뿐만 아니라, **학생 모델의 아키텍처 특성에 맞는 지식 증류 전략 (Output vs Feature)**을 선택하는 것이 성능 향상의 핵심임을 보여주었습니다.
• 미래 전망: 향후 어텐션 기반 증류나 공간/채널별 증류 등 더 정교한 특징 전이 기법을 통해 학생 모델의 성능을 교사 모델에 더 가깝게 끌어올릴 수 있는 가능성을 제시했습니다.

결론적으로, Fast-HaMeR 은 정확도와 속도 사이의 트레이드오프를 최적화하여, 실시간 3D 손 재구성을 위한 실용적이고 효율적인 솔루션을 제공합니다.