Prompt-to-Gesture: Measuring the Capabilities of Image-to-Video Deictic Gesture Generation

1. 연구 배경 및 문제 제기 (Problem)

• 데이터 부족의 심화: 자연어 처리 (NLP) 분야와 달리, 제스처 인식 연구는 고품질 데이터의 심각한 부족에 직면해 있습니다. 기존 데이터셋은 수집 비용이 많이 들고, 실험실 환경에 국한되어 있으며, 제스처의 자연스러운 다양성 (variability) 을 확보하기 어렵습니다.
• 기존 생성 모델의 한계: 기존 제스처 생성 연구는 주로 포즈 (pose) 기반 표현에 의존하여 시각적 사실감 (photorealism) 이 부족하거나, 환경적 맥락이 제한적이었습니다.
• 새로운 가능성과 의문: 최근 이미지 - 비디오 (Image-to-Video) 기반 모델 (예: SORA, Veo 등) 의 발전으로 자연어 프롬프트를 통해 사실적인 비디오를 생성할 수 있게 되었으나, 이러한 AI 생성 제스처가 실제 인간 데이터와 동등한 충실도 (fidelity) 를 가지며 하류 작업 (gesture recognition) 에 유효한지 여부는 아직 명확히 규명되지 않았습니다.

2. 제안 방법론 (Methodology)

이 연구는 실제 인간 참가자로부터 수집된 소량의 참조 데이터를 기반으로, 이미지 - 비디오 생성 모델을 활용한 프롬프트 기반 제스처 생성 파이프라인을 제안합니다.

• 데이터셋 구성:
  • 실제 데이터 (Real Dataset): NICOL 휴머노이드 로봇과 상호작용하는 8 명의 참가자가 YCB 물체를 가리키는 (pointing/deictic) 68 개의 짧은 비디오로 구성됨. 참가자 얼굴은 익명화를 위해 합성 얼굴로 대체됨.
  • 생성 파이프라인: Vidu (최신 이미지 - 비디오 생성 모델) 를 활용하여 실제 데이터의 시작 및 종료 프레임을 참조 (reference) 로 사용합니다.
• 프롬프트 구조 (Prompt Engineering):
  생성의 일관성과 다양성을 위해 4 가지 주요 섹션으로 구성된 텍스트 프롬프트를 사용합니다.
  1. 참가자 설명 (Participant): 의상, 외모 등 일관성 유지.
  2. 자세 설명 (Pose): 가리키는 동작과 손의 움직임 구체화.
  3. 환경 설명 (Environment): 배경, 조명, 주변 인물 등 노이즈 추가.
  4. 카메라 설정 (Camera): 샷 크기, 각도, 움직임 (정적, 줌인/아웃 등).
• 생성 전략:
  • Zero-shot 방식으로 작동하며, 다양한 조건 (정적/잡음 환경, 빠른/느린 속도, 카메라/색상 이동 등) 을 시뮬레이션하여 1,632 개의 합성 비디오를 생성했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 생성 파이프라인: 소량의 실제 참조 데이터와 텍스트 프롬프트를 결합하여 사실적인 지시적 제스처 (deictic gestures) 를 생성하는 접근법을 제시했습니다. 이는 행동 심리학, 로봇공학 등 다양한 분야에 접근 가능한 도구입니다.
2. 종합적인 평가 프레임워크: 생성된 제스처의 사실성, 다양성, 유용성을 정량적으로 평가하기 위해 다양한 지표를 도입했습니다.
   • 시각적/시간적 일관성: FID (Fréchet Inception Distance), FVD (Fréchet Video Distance).
   • 의미론적 정렬: CLIP 유사도, VAS (Visual Alignment Score), PAS (Prompt Alignment Score), 그리고 이를 결합한 새로운 지표 GAS (Gesture Alignment Score) 제안.
   • 운동학적 분석: 손의 속도, 가속도, 저크 (jerk) 및 손가락 관절 각도 분포 (KL divergence, EMD) 분석.
3. 하류 작업에서의 유효성 입증: 생성된 데이터를 학습에 활용했을 때의 성능을 검증하여, 합성 데이터가 실제 데이터 인식 모델의 일반화 능력을 향상시킬 수 있음을 증명했습니다.

4. 주요 결과 (Results)

• 시각적 및 시간적 품질:
  • 정적 장면과 느린 동작 조건에서 실제 데이터와 매우 유사한 FID/FVD 점수를 보였습니다.
  • 빠른 동작이나 잡음 환경에서는 시간적 일관성 (FVD) 에서 약간의 차이가 발생했으나, 전체적으로 자연스러운 움직임을 유지했습니다.
  • GAS 지표를 통해 생성된 비디오가 프롬프트 의미와 시각적 사실성 모두에서 인간 참조 데이터와 밀접하게 정렬됨을 확인했습니다.
• 운동학적 유사성:
  • MediaPipe 를 통해 추출한 손 관절의 속도, 가속도, 저크 값이 실제 데이터와 유사한 분포를 보였습니다.
  • 손가락 관절 (특히 가리키는 동작의 핵심인 검지 손가락의 MCP 관절) 의 각도 분포가 실제 데이터와 높은 일치도를 보였습니다.
• 머신러닝 성능 향상 (Knowledge Transfer):
  • CNNLSTM, MM-ITF, VideoMAE 등 3 가지 모델로 실험한 결과, 합성 데이터로 사전 학습 (Pre-training) 후 실제 데이터로 미세 조정 (Fine-tuning) 한 하이브리드 접근법이 순수 실제 데이터만 학습한 베이스라인보다 가장 높은 정확도 (Accuracy) 와 F1 점수를 기록했습니다.
  • 예: VideoMAE 모델에서 하이브리드 학습 시 정확도 0.950, F1 점수 0.944 달성 (베이스라인 대비 향상).

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 부족 해결: Generative AI 를 활용하여 고품질의 합성 제스처 데이터를 대규모로 생성할 수 있음을 입증하여, 제스처 인식 연구의 데이터 부족 문제를 해결할 수 있는 강력한 제로-샷 (zero-shot) 접근법을 제시했습니다.
• 실용적 가치: 생성된 데이터는 단순히 시각적으로 그럴듯한 것을 넘어, 실제 인간 행동의 운동학적 특성과 의미론적 맥락을 보존하므로, 로봇 상호작용 (HRI), 행동 심리학, 게임 등 다양한 분야에서 실제 데이터의 대체재 또는 증강재로 활용 가능합니다.
• 미래 전망: 현재 모델의 한계 (세부 제어 파라미터 부족, 특정 편향 등) 가 존재하지만, 이 연구는 생성형 AI 기반 제스처 생성의 가능성을 체계적으로 증명했습니다. 향후 대화형 제스처 (co-speech gestures) 및 다자간 상호작용 시나리오로 확장될 수 있는 기초를 마련했습니다.

이 논문은 Generative AI 가 단순한 시각적 생성을 넘어, 실제 기계 학습 및 교차 학문적 연구에 유효한 데이터를 생성할 수 있는 도구임을 최초로 체계적으로 입증했다는 점에서 중요한 의의를 가집니다.