HumanScore: 생성된 비디오 내 인간 동작 벤치마킹

이 논문은 최근 급속도로 발전하고 있는 AI 비디오 생성 모델들이 생성한 콘텐츠에서 **인간 동작의 생체역학적 정합성 (Biomechanical Plausibility)**을 체계적으로 평가하기 위한 새로운 벤치마크인 HumanScore를 제안합니다. 기존 벤치마크들이 시각적 사실감 (Pixel-level realism) 에 집중했다면, HumanScore 는 AI 가 생성한 인간 동작이 물리적으로나 해부학적으로 가능한지 여부를 정량적으로 측정하는 데 초점을 맞춥니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

1. 문제 제기 (Problem)

• 시각적 사실감과 물리적 불일치: 대규모 데이터와 컴퓨팅 파워의 발전으로 AI 비디오 생성 모델은 배경, 조명, 카메라 움직임 등에서 매우 사실적인 영상을 생성하지만, 인간 동작에서는 여전히 결함이 존재합니다.
• 기존 평가의 한계: VBench, T2V-CompBench 등 기존 벤치마크는 픽셀 수준의 품질이나 텍스트 - 영상 정합성을 평가하지만, 인간 동작의 해부학적, 운동학적, 역학적 타당성을 체계적으로 측정하지 못합니다.
• 필요성: 엔터테인먼트, 교육, 스포츠 등 인간 중심 콘텐츠가 중요한 분야에서 생성된 미디어의 신뢰성과 안전성을 보장하기 위해서는 단순한 외형이 아닌, 물리적으로 가능한 동작인지에 대한 평가가 필수적입니다.

2. 방법론 (Methodology)

HumanScore 는 인간 동작의 생체역학적 위계 (Hierarchy) 를 기반으로 설계된 3 단계 평가 프레임워크를 사용합니다.

A. 데이터셋 및 프롬프트 설계 (Motion Set Curation & Prompt Design)

• 동작 세트: Kinetics-700 데이터셋을 기반으로 51 가지 고유한 동작 유형 (유연성, 스포츠, 일상 동작 등) 을 선별했습니다. 이를 난이도 (쉬움, 보통, 어려움) 와 강도 (부드러움, 격렬함) 에 따라 분류하여 총 102 개의 프롬프트를 구성했습니다.
• 프롬프트 엔지니어링: 모델의 편향을 줄이고 일관된 평가를 위해 프롬프트를 정교화했습니다. (예: "단일 인물", "전신 (Full-body)", "중립적인 배경", "고정된 카메라" 등 명시적 조건 추가).

B. 생체역학적 위계 기반 6 가지 지표 (Biomechanical Metrics)

평가 지표는 해부학적, 운동학적, 역학적 정확성이라는 3 단계 위계를 따릅니다.

1. 해부학적 정확성 (Anatomical Correctness):
   • 불필요한 사지 (Extra Limbs): HADM 모델을 사용하여 팔, 다리 등 과다한 사지나 유령 같은 중복 부위를 탐지합니다.
   • 뼈 길이 일관성 (Bone Length): 실제 인간은 뼈 길이가 일정해야 합니다. 프레임 간 뼈 길이의 변동을 측정하여 해부학적 오류를 감지합니다.
2. 운동학적 정확성 (Kinematic Correctness):
   • 관절 가동 범위 (Joint Range of Motion): OpenSim 기반 스켈레톤 피팅을 통해 관절 각도가 생리학적 한계를 초과하는지 (과신전 등) 확인합니다.
   • 자기 충돌 (Self-collision): 3D SMPL-X 메쉬를 사용하여 팔뚝과 몸통, 허벅지와 정강이 등 서로 다른 신체 부위가 비정상적으로 관통하는지 탐지합니다.
3. 역학적 정확성 (Kinetic Correctness):
   • 운동학적 극단값 (Kinematic Extremes): 뉴턴의 제 2 법칙 ($F=ma$) 에 기반하여, 인간의 능력 한계를 초과하는 관절 각속도나 신체 부위 선속도를 탐지합니다.
   • 동작 매끄러움 (Motion Smoothness): 가속도 (Acceleration) 와 저크 (Jerk, 가속도의 변화율) 를 측정하여 자연스럽지 않은 떨림 (Jitter) 이나 불연속적인 움직임을 감지합니다.

C. 평가 프로세스

• 13 개의 최신 비디오 생성 모델 (Sora-2, HunyuanVideo, KlingAI 등) 에 대해 위 6 가지 지표를 적용하여 점수 (0~100) 를 산출합니다.
• 점수가 높을수록 인간 동작이 생체역학적으로 타당함을 의미합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 인간 동작 벤치마크: 생성된 비디오의 인간 동작에 초점을 맞춘 최초의 체계적인 평가 프레임워크를 제시했습니다.
2. 해부학 및 생체역학 기반 정량 지표: 시각적 품질이 아닌, 물리적 타당성을 측정하는 6 가지 해석 가능한 지표를 제안하고 오픈소스 구현을 제공합니다.
3. 현실과 생성물의 격차 규명: 최신 모델들이 시각적으로는 훌륭해 보이지만, 인간 동작의 생체역학적 측면에서는 여전히 현실과 큰 격차가 있음을 실증했습니다.

4. 실험 결과 (Results)

• 모델 순위: Seedance 1.0 Pro Fast와 HunyuanVideo 1.5가 전체 점수 (91.1) 에서 최상위권을 기록했습니다. 그 뒤를 KlingAI 2.5 Turbo Pro (90.8) 가 이었습니다.
• 성능 특징:
  • HunyuanVideo 1.5와 Wan 2.2는 해부학적 정확성 (Anatomy) 에서 가장 우수했습니다.
  • KlingAI는 운동학적 정확성 (Kinematics) 과 역학적 정확성 (Kinetics) 에서 높은 점수를 기록했습니다.
  • CogVideoX-5B는 전체 점수 (74.8) 가 가장 낮았으며, 특히 해부학적 오류가 많았습니다.
• 현실 vs AI: 실제 인간 영상 (Real Videos) 은 평균 94.3 점으로 모든 생성 모델보다 높았으나, 100 점 만점은 아니었습니다. 이는 모노큘러 3D 포즈 추정 및 피팅 과정의 본질적인 불확실성 (깊이 모호성, 모션 블러 등) 으로 인한 노이즈 때문입니다.
• 인간 선호도와의 상관관계: HumanScore 의 점수와 인간 평가자의 선호도 (Human Preference) 간 스피어만 상관계수가 1.0 에 가까울 정도로 높은 일치도를 보여, 이 벤치마크가 인간 판단을 신뢰할 수 있는 대리 지표임을 입증했습니다.
• 기존 벤치마크와의 비교: VBench 의 시각적 품질 지표 (Imaging/Aesthetic quality) 와는 상관관계가 낮거나 약한 경우가 많아, 시각적 사실감과 물리적 타당성은 별개의 문제임을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 평가 패러다임: AI 비디오 생성 모델의 발전이 "보이는 것"에서 "움직이는 것 (물리적 법칙 준수)"으로 평가 기준이 확장되어야 함을 시사합니다.
• 모델 개선 방향 제시: 현재 모델들은 역동적인 동작을 생성할 때 해부학적 정확성을 희생하거나, 안정성을 위해 동작이 위축되는 트레이드오프 (Trade-off) 를 보이고 있음을 발견했습니다.
• 미래 과제: 향후 비디오 생성 모델에 생체역학적 제약 조건 (Biomechanical constraints) 을 명시적으로 통합하거나, 더 정확한 3D 모션 추정 기술을 벤치마크에 반영해야 함을 강조합니다.

요약하자면, HumanScore는 AI 가 만든 영상이 단순히 "잘 보이는지"를 넘어 "인간처럼 자연스럽게 움직이는지"를 과학적으로 검증하는 도구로서, 인간 중심 AI 시스템의 발전에 중요한 기준을 제시합니다.