Kling-MotionControl Technical Report

이 논문은 신체의 큰 구조적 안정성과 얼굴, 손의 미세한 표현력을 통합하고, 다양한 캐릭터에 대한 일반화 능력과 빠른 추론 속도를 보장하며 텍스트 기반 제어도 지원하는 강건하고 정교한 전신 캐릭터 애니메이션을 위한 통합 DiT 기반 프레임워크인 'Kling-MotionControl'을 제안합니다.

핵심

클링-모션컨트롤 (Kling-MotionControl): 사진 속 인물을 영화처럼 움직이게 만드는 마법

이 논문은 클링 (Kling) 팀이 개발한 새로운 기술, **'클링 - 모션컨트롤'**에 대해 설명합니다. 쉽게 말해, 이 기술은 정지된 사진 속 인물에게 다른 사람의 움직임을 입혀서 생생한 영상을 만들어주는 마법과 같습니다.

기존 기술들은 얼굴만 움직이거나 몸만 움직이는 데 그쳤거나, 움직일 때 얼굴이 변형되거나 손가락이 뭉개지는 문제가 있었습니다. 하지만 이 새로운 기술은 전신, 얼굴, 손가락까지 모두 자연스럽고 정교하게 움직이게 합니다.

이 복잡한 기술을 일상적인 비유로 설명해 드리겠습니다.

---

1. 핵심 아이디어: "분업과 협력" (Divide-and-Conquer)

이 기술의 가장 큰 특징은 몸, 얼굴, 손을 따로따로 관리하되 하나의 팀으로 합치는 것입니다.

• 비유: imagine 한 대형 오케스트라를 상상해 보세요.
  • 몸 (Body): 거대한 현악기 섹션처럼 큰 동작 (걷기, 뛰기, 춤추기) 을 담당합니다. 무너지지 않고 안정적으로 움직여야 합니다.
  • 얼굴 (Face): 작은 플루트나 바이올린처럼 미세한 표정 (미소, 눈썹 찌푸리기) 을 담당합니다. 아주 섬세해야 합니다.
  • 손 (Hands): 재즈 드럼처럼 복잡한 리듬 (손가락 움직임, 제스처) 을 담당합니다.
  • 기존 기술: 한 명의 연주자가 모든 악기를 동시에 치려다 보니, 큰 동작을 할 때 손가락이 뭉개지거나, 표정을 지을 때 몸이 흔들리는 문제가 있었습니다.
  • 클링 - 모션컨트롤: 각 악기 섹션 (몸, 얼굴, 손) 에 전문 연주자를 배치하고, 지휘자 (AI) 가 이들을 완벽하게 조율합니다. 그래서 큰 춤을 추면서도 손가락 하나하나가 선명하고, 표정이 살아있는 영상을 만듭니다.

2. 누구든 자연스럽게: "의상 교체"와 "캐릭터 변환"

이 기술은 사진 속 인물의 얼굴이나 몸매를 바꾸지 않고, 다른 사람의 움직임을 그대로 따라 하게 합니다.

• 비유: 유명한 배우가 의상과 분장을 바꾸지 않은 채, 다른 무용수의 춤을 완벽하게 따라 하는 상황입니다.
  • 실제 사람 → 만화 캐릭터: 실제 사람이 춤추는 영상을 만화 캐릭터에게 적용하면, 만화 캐릭터가 그 춤을 자연스럽게 추지만, 여전히 그 만화 캐릭터의 고유한 얼굴과 옷을 유지합니다.
  • 어른 → 아이: 어른의 움직임을 아이에게 적용해도, 아이의 작은 몸매에 맞게 자연스럽게 변형되면서도 아이의 얼굴은 그대로 유지됩니다.
  • 핵심: "누가 움직이는지 (동작)"와 "누가 그리는지 (얼굴/모습)"를 완벽하게 분리해서, 움직임을 옮기더라도 얼굴이 변해버리는 '얼굴 유령' 현상을 막아줍니다.

3. 3D 감각과 카메라 조종: "영화 감독이 되는 경험"

단순히 앞뒤로 움직이는 2D 영상을 넘어, 3D 공간감을 이해합니다.

• 비유: 사진 속 인물이 실제 3D 공간에 서 있는 인형이라고 상상해 보세요.
  • 사용자가 "왼쪽으로 돌아서 카메라가 줌인해"라고 텍스트로 말하면, 인물이 자연스럽게 몸을 돌리고 카메라가 다가가는 영상을 만들어냅니다.
  • 단순히 사진이 흔들리는 게 아니라, 인물이 3D 공간에서 실제로 회전하는 것처럼 자연스러운 원근감을 유지합니다.

4. 빠른 속도: "고속도로 터널"

기존의 고화질 영상 생성 기술은 매우 느려서 한 장의 영상을 만드는 데 시간이 오래 걸렸습니다.

• 비유: 기존 기술이 산길을 천천히 걷는 것이라면, 이 기술은 고속도로 터널을 통과하는 것입니다.
  • 복잡한 과정을 단계별로 최적화하고, '지식 증류 (Distillation)'라는 기술을 써서, 이전보다 10 배 이상 빠르게 영상을 만들어냅니다. 전문가가 아닌 일반인도 실시간에 가깝게 결과를 볼 수 있게 된 것입니다.

5. 텍스트로 조종하기: "마법 주문"

동작을 주는 영상 (드라이빙 비디오) 외에도, 사용자가 글자 (텍스트) 로 명령을 내릴 수 있습니다.

• 비유: 마법사가 주문을 외우듯, "옷을 빨간색으로 바꿔줘", "배경을 바다로 바꿔줘"라고 입력하면, 인물의 움직임은 그대로 유지하면서 옷이나 배경만 바뀐 영상을 만들어냅니다.

---

요약: 왜 이것이 중요한가요?

기존의 기술들은 "얼굴은 잘 움직이지만 손은 뭉개지고, 몸은 흔들린다"는 한계가 있었습니다. 하지만 클링 - 모션컨트롤은:

1. 전신, 얼굴, 손을 모두 정교하게 다룹니다.
2. 실제 사람, 만화, 동물 등 어떤 캐릭터든 자연스럽게 움직이게 합니다.
3. 얼굴과 옷이 변하지 않게 지켜줍니다.
4. 텍스트 명령과 카메라 조절이 가능합니다.
5. 생성 속도가 매우 빠릅니다.

이 기술은 디지털 아바타 제작, 애니메이션 제작, 그리고 누구나 쉽게 고품질의 영상을 만들 수 있는 시대를 여는 중요한 도약입니다. 마치 사진 속 인물을 영화의 주인공처럼 자유롭게 조종하는 마법과 같습니다.

기술 요약

Kling-MotionControl: 적응형 전체 캐릭터 애니메이션을 위한 이질적 모션 오케스트레이션 기술 요약

1. 문제 정의 (Problem Statement)

기존의 캐릭터 애니메이션 기술은 주로 얼굴 재연 (Reenactment) 또는 신체 모션 제어 중 하나에만 집중하거나, 전신 애니메이션을 시도하더라도 다음과 같은 한계를 겪어왔습니다.

• 모션 세분화 (Granularity) 의 불균형: 대규모 신체 움직임의 구조적 안정성과 미세한 얼굴 표정, 손가락 관절의 정교한 표현을 동시에 달성하는 데 실패합니다.
• 신원 (Identity) 드리프트: 다양한 형태 (실제 인간, 만화, 동물 등) 의 캐릭터 간 모션 전이 시, 참조 이미지의 특징이 왜곡되거나 사라지는 현상이 발생합니다.
• 시각적 일관성 부족: 모션 제어를 우선시할 때 배경, 카메라 움직임 등 다른 시각적 속성의 제어가 어렵고, 빠른 동작 시 아티팩트 (Artifacts) 가 발생합니다.
• 계산 비용 및 효율성: 고품질 비디오 생성을 위한 높은 계산 비용과 느린 추론 속도로 인해 실제 배포에 어려움이 있었습니다.

2. 방법론 (Methodology)

Kling-MotionControl 은 강건하고 정밀하며 표현력 있는 전체 캐릭터 애니메이션을 위해 설계된 통합 DiT (Diffusion Transformer) 기반 프레임워크입니다. 핵심 방법론은 다음과 같습니다.

2.1 분할 정복 전략에 기반한 이질적 모션 오케스트레이션

신체, 얼굴, 손 등 각 영역의 고유한 특성에 맞춰 이질적인 모션 표현을 통합하는 '분할 정복 (Divide-and-Conquer)' 전략을 적용했습니다.

• 점진적 다단계 학습: 대규모 신체 움직임의 구조적 안정성과 미세한 표정/손 제스처의 정교함을 하나의 통합 모델 내에서 조화롭게 모델링합니다.
• 결과: 전신 장면부터 클로즈업 포트레이트까지 다양한 스케일에서 자연스러운 모션 전이와 시각적 아티팩트 최소화를 달성했습니다.

2.2 적응형 크로스-아이덴티티 모션 전이 (Adaptive Cross-Identity Motion Transfer)

다양한 캐릭터 (실제 인간, 만화, 동물 등) 에 대한 강력한 일반화를 위해 다음과 같은 기법을 도입했습니다.

• 아이덴티티 무관 (Identity-Agnostic) 학습: 기하학적 수준에서 동적 패턴을 원본 캐릭터의 물리적 속성과 분리하여 모션의 본질을 추출합니다.
• 시맨틱 모션 모델링: '손으로 얼굴을 가리기', '박수 치기'와 같은 행동의 고수준 의도를 포착하여 복잡한 상호작용에서의 모호성을 해결합니다.
• 결과: 성인에서 어린이, 인간에서 동물로 이어지는 형태적 차이를 극복하고 수동 보정 없이 자연스러운 모션 리타게팅이 가능합니다.

2.3 정밀한 신원 보존 및 서브젝트 라이브러리

• 아이덴티티 인코딩 및 퓨전: 참조 이미지의 특징을 엄격하게 유지하기 위해 정밀한 인코딩 및 융합 메커니즘을 설계했습니다.
• 서브젝트 라이브러리 (Subject Library): 단일 이미지뿐만 아니라 다중 뷰 이미지나 비디오 클립과 같은 추가 참조 자료를 제공하여 모델이 더 강건한 신원 표현을 구축하도록 지원합니다. 이는 극단적인 자세나 긴 생성 시간 동안에도 외관 일관성을 보장합니다.

2.4 3D 인식 및 자유 뷰 카메라 제어

• 3D 인식 능력: 대규모 다중 뷰 (Multi-view) 감독을 통해 모션 표현에 3D 지각 능력을 부여했습니다. 단순 2D 평면 정렬을 넘어 내재된 3D 기하학과 역학을 인식하여 다양한 캐릭터 방향을 지원합니다.
• 텍스트 기반 카메라 제어: 자연어 프롬프트를 통해 팬 (Pan), 줌 (Zoom) 등 동적인 카메라 궤적을 제어하면서도 기하학적 일관성을 유지합니다.

2.5 지능형 텍스트 반응 및 가속화 프레임워크

• 프롬프트 엔핸서 (Prompt Enhancer): 모션 제어와 텍스트 가이드 간의 간극을 메워, 모션 준수도를 유지하면서도 의상, 배경, 카메라 움직임 등을 텍스트로 자유롭게 조작할 수 있게 합니다.
• 고효율 추론 가속:
  • 다중 단계 증류 (Multi-stage Distillation): Teacher 모델에서 Student 모델로의 지식 전달을 통해 함수 평가 횟수 (NFE) 를 대폭 줄였습니다.
  • 이중 분기 샘플링: Classifier-Free Guidance (CFG) 의 계산 부하를 줄이는 전략을 도입했습니다.
  • 결과: 모델 성능을 유지하면서 10 배 이상의 추론 속도 향상을 달성했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 다중 세분화 모션 오케스트레이션: 신체, 얼굴, 손을 하나의 프레임워크에서 조화롭게 제어하여 대규모 안정성과 미세한 표현력을 동시에 달성했습니다.
2. 강력한 크로스-아이덴티티 일반화: 기하학적 추상화와 시맨틱 모델링을 통해 다양한 캐릭터 간 자연스러운 모션 전이와 신원 보존을 실현했습니다.
3. 고정밀 신원 보존 메커니즘: 서브젝트 라이브러리를 통해 복잡한 상황에서도 참조 캐릭터의 외관을 왜곡 없이 유지합니다.
4. 3D 인식과 텍스트 기반 제어: 자유 뷰 카메라 제어와 텍스트 프롬프트를 통한 창의적 컨트롤을 가능하게 했습니다.
5. 실용적 효율성: 10 배 이상의 가속화를 통해 고품질 애니메이션의 실용적 배포를 가능하게 했습니다.

4. 실험 결과 (Results)

• 벤치마크 설정: 150 개의 고품질 테스트 케이스 (참조 이미지 + 구동 비디오) 를 구성하여 인간 선호도 (Human Preference) 기반의 주관적 평가를 수행했습니다.
• 비교 대상: 상업용 최첨단 솔루션 (Dreamina, Runway Act-Two) 과 오픈소스 SOTA (Wan-Animate) 와 비교했습니다.
• 평가 지표: 전체 선호도, 시각적 품질, 동적 품질, 신원 보존, 모션 정확도, 표정 정확도 등 6 가지 차원에서 Good/Same/Bad (GSB) 평가를 진행했습니다.
• 성능:
  • 모든 평가 차원에서 경쟁 모델들을 압도적으로 상회했습니다.
  • 특히 **전체 선호도 (Overall Preference)**와 **시각적 품질 (Visual Quality)**에서 가장 큰 격차를 보였습니다.
  • 정성적 평가: 극단적인 감정 표현, 복잡한 손 제스처, 빠른 전신 동작 등 어려운 시나리오에서도 다른 모델들이 겪는 팔/다리 구조 왜곡, 신원 드리프트, 색상 편이 등을 해결하고 물리적으로 타당한 고품질 영상을 생성했습니다.

5. 의의 및 결론 (Significance)

Kling-MotionControl 은 디지털 아바타 제작, 애니메이션 생산, 제어 가능한 비디오 합성 등 다양한 분야에서 혁신적인 도구로 작용할 것으로 기대됩니다.

• 기술적 의의: 기존에 분리되어 있던 모션 제어와 신원 보존의 딜레마를 해결하고, DiT 아키텍처를 통해 고품질과 높은 제어력을 동시에 실현한 최초의 통합 프레임워크 중 하나입니다.
• 실용적 가치: 10 배 이상의 속도 향상과 텍스트 기반의 유연한 제어를 통해 전문가급 워크플로우부터 일상적인 창의적 응용까지 폭넓게 활용 가능합니다.
• 윤리적 고려: 기술의 발전과 함께 딥페이크 오남용, 사생활 침해 등의 위험을 인지하고, 콘텐츠 필터링 및 워터마킹과 같은 안전 장치를 마련하고 윤리적 가이드라인 준수를 강조했습니다.

결론적으로, Kling-MotionControl 은 고정밀 전체 모션 제어, 뛰어난 강건성, 그리고 충실한 외관 보존을 통해 차세대 캐릭터 애니메이션 기술의 새로운 표준을 제시합니다.