Controllable Complex Human Motion Video Generation via Text-to-Skeleton Cascades

이 논문은 자연어 설명을 복잡한 2D 동작 시퀀스로 변환하는 자동회귀 모델과 참조 이미지 및 생성된 스켈레톤을 기반으로 고품질 비디오를 합성하는 포지션 기반 확산 모델을 결합한 2 단계 캐스케이드 프레임워크를 제안하여, 기존 텍스트 기반 방법의 정밀도 부족과 포지션 기반 방법의 데이터 수집 비용 문제를 동시에 해결하고 복잡한 인간 동작 비디오 생성의 한계를 극복합니다.

핵심

🎬 핵심 아이디어: "대본 (스켈레톤) 을 먼저 쓰고, 그다음에 배우를 입히자"

기존의 AI 영상 생성 기술은 "한 사람이 뒤집어 구른다"라고 말하면, AI 가 머릿속에서 동작을 상상하며 영상을 만들려고 했습니다. 하지만 이 방법은 동작이 너무 복잡하면 손발이 꼬이거나 옷이 변형되는 등 엉뚱한 결과가 나오기 일쑤였습니다.

이 연구팀은 **"동작을 계획하는 것 (스켈레톤)"**과 **"배우의 옷차림과 얼굴을 유지하는 것 (외형)"**을 분리해서 처리하는 2 단계 방식을 제안했습니다.

1 단계: "동작 대본 작성자" (텍스트 → 스켈레톤)

• 비유: 영화 감독이 배우에게 "여기서 한 바퀴 돌아라"라고 말하면, 배우는 어떻게 팔다리를 움직여야 할지 몰라 당황합니다. 대신, 동작 코디네이터가 "왼발은 10 시 방향, 오른손은 30 도 각도"처럼 뼈대 (스켈레톤) 의 움직임을 숫자와 좌표로 정확히 적어주는 대본을 먼저 작성합니다.
• 기술: 자연어 (텍스트) 를 입력하면, AI 가 사람의 관절이 어떻게 움직여야 할지 2 차원 뼈대 (스켈레톤) 영상을 먼저 만들어냅니다. 이때 과거의 동작을 기억하며 다음 동작을 예측하는 ' autoregressive(자기회귀)' 방식을 써서, 뒤집어 구를 때처럼 복잡한 동작도 자연스럽게 이어지도록 합니다.

2 단계: "의상 및 분장 전문가" (스켈레톤 + 사진 → 영상)

• 비유: 이제 뼈대 대본을 받은 **배우 (참고 사진 속 인물)**가 무대에 섭니다. 문제는 배우가 공중제비를 돌 때 옷이 찢어지거나 얼굴이 왜곡되지 않게 해야 한다는 점입니다.
• 기술: 기존 기술은 배우의 옷감 질감이나 주름 같은 '세부 사항'을 잊어버리는 경우가 많았습니다. 이 연구팀은 DINO-ALF라는 새로운 기술을 도입했습니다.
  • DINO-ALF: 마치 고해상도 돋보기처럼, 배우의 옷감 무늬나 신발 끈 같은 미세한 부분까지 뼈대 움직임에 맞춰 정확하게 따라가게 합니다. 뼈대가 어떻게 변하든 옷의 색상과 질감은 그대로 유지되도록 도와줍니다.

---

🧪 왜 이 연구가 중요한가요? (새로운 재료와 도구)

1. "복잡한 동작을 위한 새로운 레시피" (합성 데이터셋)

• 문제: 기존에 AI 가 배울 수 있는 데이터는 대부분 '춤'이나 '걷기' 같은 단순한 동작뿐이었습니다. '백플립'이나 '무술' 같은 어려운 동작 데이터는 거의 없었습니다.
• 해결: 연구팀은 **블렌더 (3D 그래픽 프로그램)**를 이용해 직접 2,000 개의 합성 영상을 만들었습니다. 저작권 문제나 사생활 침해 없이, 다양한 의상을 입은 캐릭터들이 다양한 배경에서 어려운 동작을 하는 데이터를 직접 만들어낸 것입니다. 이는 AI 가 복잡한 동작을 배우는 데 필수적인 '새로운 재료'입니다.

2. "기존 기술의 한계 극복"

• 기존 방식: "뒤집어 구르라"라고만 하면, AI 는 손이 다리에 붙거나 옷이 반바지에서 긴 바지로 변하는 등 엉뚱한 영상을 만들었습니다.
• 이 연구의 성과:
  • 동작의 자연스러움: 뼈대 대본을 먼저 만들기 때문에, 손과 발의 움직임이 물리적으로 불가능한 방향으로 나가는 일이 줄었습니다.
  • 외형의 일관성: DINO-ALF 기술 덕분에, 배우가 빠르게 회전할 때도 옷의 무늬나 얼굴 특징이 흐트러지지 않고 유지됩니다.

---

📝 한 줄 요약

"복잡한 동작을 만드는 AI 는 '동작 대본 (스켈레톤)'을 먼저 정확히 쓰고, 그다음에 '의상 전문가 (DINO-ALF)'가 배우의 옷차림을 지켜주게 함으로써, 기존에는 불가능했던 현실적인 액션 영상을 만들어냈습니다."

이 기술은 스포츠 콘텐츠 제작, 가상 코칭, 혹은 영화의 특수 효과 (VFX) 제작 등에서 인간이 직접 모션을 캡처하지 않아도, 텍스트만으로 원하는 복잡한 액션 장면을 쉽게 만들어낼 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

현재의 비디오 확산 모델 (Video Diffusion Models) 은 복잡한 인간 동작 (뒤집기, 곡예, 무술 등) 을 생성하는 데 있어 다음과 같은 한계를 겪고 있습니다:

• 텍스트 기반 제어의 모호성: "뒤집기"와 같은 텍스트 프롬프트는 의미론적으로 명확하지만, 프레임별 관절 궤적이나 하위 동작의 타이밍을 구체적으로 지정하지 못해 정밀한 동작 제어가 어렵습니다.
• 명시적 포즈 입력의 비실용성: 기존 연구들은 2D 스켈레톤이나 깊이 맵과 같은 명시적 신호를 요구하지만, 사용자가 긴 동적인 동작에 대한 완전한 포즈 시퀀스를 직접 생성하는 것은 시간과 비용이 많이 들어 비실용적입니다.
• 외관 유지의 어려움: 복잡한 동작 중 발생하는 큰 변형 (large deformations) 과 자기 가림 (self-occlusion) 상황에서 참조 이미지 (Reference Image) 의 의상 질감, 신체 부위 등 세부 외관을 일관되게 유지하는 것이 어렵습니다. 기존 CLIP 기반의 조건부 제어는 이러한 상황에서 외관 왜곡이나 드리프트 (drift) 를 유발합니다.
• 데이터 부족: 곡예나 스턴트와 같은 복잡한 동작을 포함한 공개된 비디오 데이터셋이 부족하여, 기존 벤치마크는 단순하고 반복적인 동작에 치중되어 있습니다.

2. 제안 방법 (Methodology)

저자들은 텍스트에서 비디오를 직접 생성하는 대신, 이 단계 (Two-stage) 캐스케이드 프레임워크를 제안하여 운동 계획 (Motion Planning) 과 외관 합성 (Appearance Synthesis) 을 분리했습니다.

1 단계: 텍스트 - 스켈레톤 생성 (Text-to-Skeleton Generation)

• 목표: 자연어 설명을 2D 포즈 시퀀스로 변환합니다.
• 아키텍처: 자기회귀 (Autoregressive) Transformer 기반 모델.
• 동작 원리:
  • 자연어 프롬프트를 CLIP 텍스트 인코더로 인코딩하여 조건부 접두사 (Conditioning Prefix) 로 사용합니다.
  • 2D 관절 좌표를 이산적 토큰 (Discrete Tokens) 으로 변환하여 시퀀스 형태로 학습합니다.
  • 이전 생성된 포즈 토큰과 텍스트 조건에 기반하여 다음 관절 토큰을 예측합니다.
  • 이를 통해 장거리 시간적 의존성 (Long-range temporal dependencies) 과 관절 간 협응 (Inter-joint coordination) 을 효과적으로 모델링합니다.

2 단계: 포즈 조건부 비디오 생성 (Pose-Conditioned Video Generation)

• 목표: 참조 이미지와 생성된 스켈레톤 시퀀스를 입력받아 고품질 비디오를 합성합니다.
• 핵심 기술: DINO-ALF (Adaptive Layer Fusion)
  • 문제점 해결: 기존 CLIP 기반 인코더는 전역적 의미만 포착하여 큰 자세 변화 시 세부 외관 (옷감, 신체 부위) 을 잃어버립니다.
  • 해결책: DINOv3 의 여러 레이어에서 추출한 패치 (Patch) 디스크립터를 적응적으로 융합합니다.
    • 초기 레이어: 질감 풍부한 국소 세부 사항 포착.
    • 후기 레이어: 뷰 불변 의미론 포착.
    • 적응적 융합: 교차 주의 (Cross-attention) 메커니즘을 통해 여러 레이어의 특징을 적응적으로 집계하여, 큰 변형과 자기 가림 상황에서도 신원 (Identity) 과 의상 디테일을 보존합니다.
• 모션 인코딩: 생성된 스켈레톤 시퀀스를 3D CNN 을 통해 시공간적으로 정렬된 모션 토큰으로 변환하여 비디오 디노이저 (DiT) 에 주입합니다.
• 강건성 향상: 스켈레톤 생성 단계의 오류를 고려하여, 훈련 시 관절抖动 (Jitter), 드롭아웃, 시간적 이동 (Temporal shift) 등의 증강 기법을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 자기회귀 텍스트 - 스켈레톤 생성 모델: 수동 포즈 생성 없이 자연어로부터 구조화된 2D 포즈 시퀀스를 생성하여 복잡한 비반복적 동작의 운동 계획을 가능하게 했습니다.
2. DINO-ALF 기반 외관 조건부 제어: DINO 의 다중 레이어 특징을 적응적으로 융합하는 새로운 메커니즘을 도입하여, 복잡한 동작 중에도 참조 이미지의 외관과 디테일을 강력하게 보존합니다.
3. 복잡한 인간 동작용 합성 데이터셋: Blender 를 기반으로 2,000 개의 곡예 및 스턴트 동작 비디오로 구성된 합성 데이터셋을 구축 및 공개했습니다. 이는 저작권 및 개인정보 문제를 피하면서도 기존 벤치마크에서 누락된 복잡한 동작 데이터를 제공합니다.

4. 실험 결과 (Results)

• 데이터셋: 제안된 2,000 개 합성 데이터셋과 Motion-X Fitness 벤치마크를 사용했습니다.
• 텍스트 - 스켈레톤 성능:
  • HumanDreamer, T2M-GPT 등 기존 최첨단 방법들보다 FID(255.19), R-precision, 다양성 (Diversity) 지표에서 모두 우수한 성능을 기록했습니다.
  • 특히 물리적으로 타당하고 일관된 관절 궤적을 생성하여 복잡한 동작 (예: 카트휠) 에서의 실패 사례를 줄였습니다.
• 포즈 - 비디오 성능:
  • VBench-I2V 메트릭에서 Subject Consistency(91.31), Motion Smoothness(97.39), Temporal Consistency 등에서 모든 비교 대상 (HumanVid, MimicMotion, VACE 등) 보다 최고 성능을 달성했습니다.
  • CLIP 기반 방법론에 비해 손, 얼굴, 의상 디테일 (예: 붉은 넥타이) 이 큰 자세 변화 중에도 일관되게 유지되는 것을 시각적으로 입증했습니다.
• Ablation Study: DINO-ALF 가 단일 레이어 DINO 나 CLIP 기반 인코더보다 외관 보존에 필수적임을, 그리고 조건부 드롭아웃과 포즈 증강이 생성된 스켈레톤의 오류에 대한 강건성을 높인다는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 복잡한 인간 동작 비디오 생성 분야에서 **운동 제어 (Motion Control)**와 **외관 합성 (Appearance Synthesis)**을 명시적으로 분리하는 새로운 패러다임을 제시했습니다.

• 실용성: 사용자가 복잡한 동작의 전체 포즈 시퀀스를 직접 만들 필요 없이 텍스트만으로 제어 가능하게 하여 접근성을 높였습니다.
• 기술적 진보: DINO-ALF 를 통해 기존 확산 모델이 겪던 큰 변형 상황에서의 외관 붕괴 문제를 해결했습니다.
• 데이터 기여: 곡예 및 스턴트 동작에 특화된 합성 데이터셋을 공개함으로써, 해당 분야 연구의 데이터 부족 문제를 해결하고 향후 연구의 기준 (Benchmark) 을 마련했습니다.

결론적으로, 이 프레임워크는 스포츠 콘텐츠 제작, 가상 코칭, 스턴트 프리비주얼라이제이션, 아바타 애니메이션 등 다양한 분야에서 복잡한 인간 동작의 고품질 생성을 가능하게 하는 중요한 기술적 진전을 이루었습니다.