🤖 AI

Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

이 논문은 오류가 발생하기 쉬운 포즈 추정기를 우회하여 드라이빙 큐 트리플렛(Driving Cue Triplet)과 Same2X 학습 전략을 통해 원본 주행 비디오로부터 직접 학습함으로써, 향상된 정체성 보존 및 효율성과 함께 최첨단 수준의 견고한 인간 이미지 애니메이션을 달성하는 새로운 프레임워크인 DirectAnimator를 소개한다.

원저자: Yuan Zeng, Yujia Shi, Yuhao Yang, Dongxia Liu, Zongqing Lu, Wenming Yang, Qingmin Liao

게시일 2026-06-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuan Zeng, Yujia Shi, Yuhao Yang, Dongxia Liu, Zongqing Lu, Wenming Yang, Qingmin Liao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 디지털 캐릭터(정지된 사진)에게 춤을 가르치고 싶다고 상상해 보세요. 과거에는 "선생님"(AI)이 먼저 실제 무용수의 영상을 보고, 그 위에 막대기 인형 형태의 골격(스켈레톤)을 그리려고 노력한 다음, 디지털 캐릭터에게 "왼팔을 여기로 움직이고, 무릎을 저기로 굽혀"라고 말해야 했습니다.

이 기존 방식의 문제는 막대기 인형을 그리는 것이 매우 어렵다는 점입니다. 만약 무용수가 몸을 가로질러 팔을 움직이면 막대기 인형은 혼란에 빠집니다. 무용수가 손을 빠르게 흔들면 막대기 인형은 손을 통째로 놓쳐버릴 수도 있습니다. 선생님이 잘못된 지시를 내리면, 디지털 무용수는 팔이 여러 개 생기거나, 몸이 뒤틀리거나, 표정이 없는 멍한 얼굴이 되어버립니다.

DirectAnimator는 이 막대기 인형 단계를 완전히 건너뛰는 새로운 접근 방식입니다. 비디오를 단순화된 그림으로 번역하려고 시도하는 대신, 이 방식은 AI가 마치 사람이 매뉴얼을 읽는 대신 시연을 보고 배우는 것처럼, 원본 비디오의 픽셀로부터 직접 배울 수 있게 해줍니다.

작동 원리는 다음과 같습니다.

1. "드라이빙 큐 트리플렛" (세 다리 의자)

엉망진창인 막대기 인형 하나 대신, 저자들은 **드라이빙 큐 트리플렛(Driving Cue Triplet)**이라 불리는 세 부분으로 구성된 "지시 세트"를 만들었습니다. 이것은 AI에게 비디오를 바라보는 세 가지 특정한 렌즈를 제공하는 것과 같습니다.

포즈 큐 (움직임의 렌즈): 무용수의 영상에서 옷의 패턴이나 머리카락 질감 같은 세부 사항을 모두 흐릿하게 처리한다고 상상해 보세요. 그러면 오직 어떻게 움직이는지만 보여주는 "유령 같은" 형체만 남게 됩니다. 이는 AI가 옷 같은 것에 한눈팔지 않고 춤 동작에만 집중할 수 있도록 도와줍니다.
페이스 큐 (표정의 렌즈): 저자들은 막대기 인형이 얼굴 표정을 보여주는 데 매우 서투르다는 것을 깨달았습니다. 그래서 그들은 단순히 비디오에서 무용수의 얼굴 부분을 잘라내어 AI에 직접 입력합니다. 이를 통해 디지털 캐릭터가 실제 사람처럼 웃거나, 찡그리거나, 놀라는 표정을 지을 수 있게 합니다.
로케이션 큐 (지도 렌즈): 때때로 비디오 속 무용수는 멀리 떨어져 있는데, 정작 애니메이션을 입히려는 사진은 클로즈업 사진일 수 있습니다. "로케이션 큐"는 지도 역할을 하여, 몸과 얼굴이 어디에 위치해야 하는지 AI에게 정확히 알려줌으로써 춤 동작이 사진에 맞춰 늘어나거나 찌그러지지 않고 완벽하게 어우러지도록 합니다.

2. "큐퓨전 DiT" (스마트한 믹서)

AI가 이 세 가지 렌즈를 갖추고 나면, 이제 이것들을 하나로 섞어야 합니다. 논문은 특별한 "믹서" 블록(CueFusion DiT)을 소개합니다.

레퍼런스 사진(애니메이션을 입힐 사람)을 베이스 케이크라고 생각하세요.
드라이빙 큐(춤 동작과 표정)를 프로스팅과 장식이라고 생각하세요.
이 믹서는 프로스팅(춤)이 케이크의 맛(사람의 정체성)을 바꾸지 않으면서, 케이크(사람) 위에 완벽하게 입혀지도록 보장합니다. 즉, 댄서가 '당신'처럼 보이되, 움직임은 '비디오'처럼 움직이게 만듭니다.

3. "Same2X" 학습 전략 (연습 드릴)

낯선 사람이 춤추는 것을 보고 다른 사람을 춤추게 만드는 AI를 훈련시키는 것은 매우 어렵습니다. 이는 마치 학생에게 본 적도 없는 춤을 따라 하라고 하면서, 동시에 자신의 얼굴을 가리는 가면을 쓰게 하는 것과 같습니다. AI는 혼란을 느끼고 학습 속도가 느려집니다.

저자들은 Same2X라고 불리는 영리한 2단계 학습법으로 이 문제를 해결했습니다.

1단계 (쉬운 연습): 먼저, 무용수와 사진 속 인물이 동일 인물인 영상을 사용하여 AI를 가르칩니다. 이것은 쉽습니다. AI는 "아, 팔이 올라갈 때는 팔이 올라가는구나"라는 것을 배웁니다.
2단계 (어려운 연습): 다음으로, 다른 사람의 영상으로 학습을 시킵니다. 하지만 처음부터 다시 시작하는 대신, 첫 번째 레슨의 "유령"을 사용합니다. AI에게 이렇게 말하는 것입니다. "1단계에서 팔을 움직이는 법을 배웠던 걸 기억해 봐. 비록 사람은 다르더라도, 그 똑같은 움직임 패턴을 여기서 적용해 봐."
결과: 이것은 안전망 역할을 합니다. AI가 혼란에 빠지는 것을 방지하고, 어려운 "다른 사람" 과제를 이전보다 6.7배 더 빠르게 학습할 수 있게 해줍니다.

왜 이것이 중요한가 (논문에 따르면)

논문은 막대기 인형 단계를 건너뛰고 이 세 가지 스마트한 렌즈와 2단계 학습법을 사용함으로써, 이 시스템이 다음과 같은 성과를 냈다고 주장합니다:

"유령 손" 문제 해결: 팔을 교차할 때 실수로 팔이 더 생기는 현상을 방지합니다.
감정 포착: 얼굴이 굳은 마스크처럼 보이지 않고 자연스럽고 풍부한 표정을 보여줍니다.
시간 절약: 이전 방식보다 훨씬 빠르게 학습하며 더 적은 컴퓨터 자원을 사용합니다.
혼란스러운 상황 대처: 빠른 움직임, 흐릿한 모션, 혹은 사람이 서로를 가리는 상황에서도 잘 작동합니다.

요약하자면, DirectAnimator는 비디오를 형편없는 그림으로 번역하려고 애쓰는 대신, 특별한 훈련 드릴을 사용하여 AI가 비디오로부터 직접 "보고 배우도록" 가르침으로써 한 번에 제대로 해낼 수 있게 합니다.

기술 요약: Beyond Skeletons: Same2X 학습 전략을 통한 드라이빙 비디오로부터의 직접적인 애니메이션 학습

1. 문제 정의

인간 이미지 애니메이션(Human Image Animation, HIA)은 정적인 참조 신원(identity)이 드라이빙 비디오에서 유래한 포즈와 표정을 수행하는 사실적인 비디오를 생성하는 것을 목표로 합니다. 기존의 최첨단 방법들은 일반적으로 2D 스켈레톤 맵, DensePose 또는 SMPL 파라미터와 같은 중간 표현을 드라이빙 신호로 의존합니다. 저자들은 이러한 패러다임에서 두 가지 결정적인 한계를 식별했습니다:

노이즈 및 불확실성: 포즈 추정기는 폐쇄(occlusion), 복잡한 관절 움직임 또는 모션 블러(motion blur) 상황에서 종종 실패하여, 잘못되거나 불완전한 스켈레톤을 생성합니다. 이러한 오류는 생성된 비디오로 직접 전파되어 해부학적 왜곡(예: 앞뒤 혼동, 팔다리 누락)을 유발합니다.
제한된 표현력: 희소한 키포인트와 스켈레톤 맵은 미세한 얼굴 표정과 복잡한 신체 역학을 포착하는 데 어려움이 있으며, 이는 종종 부자연스럽거나 무표정한 애니메이션으로 이어집니다.

또한, 교차 신원(cross-identity) 시나리오(참조 영상과 드라이빙 영상의 인물이 다른 경우)를 위한 모델 학습은 본질적으로 어렵습니다. 모델은 참조 신원의 외형을 보존하면서 동작과 표정을 동시에 전이하는 법을 학습해야 하므로, 노이즈가 섞인 그래디언트와 느린 수렴 문제를 야기합니다.

2. 방법론

저자들은 명시적인 포즈 추정을 우회하여 원본 드라이빙 비디오 픽셀로부터 직접 애니메이션을 학습하는 프레임워크인 DirectAnimator를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 드라이빙 큐 트리플렛 (Driving Cue Triplet)

DirectAnimator는 추정된 스켈레톤에 의존하는 대신, 원본 드라이빙 비디오에서 구조화된 "드라이빙 큐 트리플렛"을 추출하여 컨디셔닝 신호로 사용합니다:

포즈 큐 (Pose Cue): 전경을 분할(Grounded SAM과 같은 모델 사용)하고 주파수 영역의 로우패스 필터링(low-pass filtering)을 적용하여 얻습니다. 이는 고주파 외형 디테일(의류 질감)은 억제하면서 시간적으로 일관된 포즈 역학을 보존합니다.
페이스 큐 (Face Cue): 풍부한 의미론적 정보를 제공하기 위해 드라이빙 비디오에서 얼굴 영역을 크롭, 리사이징 및 중앙 정렬합니다. 이는 68개 랜드마크의 한계를 해결합니다.
로케이션 큐 (Location Cue): 그리드 기반의 부드러운 바디 및 페이스 마스크로 구성됩니다. 이는 드라이빙 비디오의 스케일과 위치를 참조 이미지와 정렬하는 공간적 사전 지식(prior)을 제공하여, 신원 누출(identity leakage)과 구조적 왜곡을 방지합니다.

B. CueFusion DiT (CF-DiT) 블록

프레임워크는 확산 트랜스포머(Diffusion Transformer, DiT) 백본을 활용합니다. 드라이빙 큐를 효과적으로 주입하기 위해 저자들은 CueFusion DiT 블록을 도입했습니다:

참조 이미지는 메인 디노이징 경로를 통해 흐르는 비전 임베딩으로 인코딩됩니다.
세 가지 드라이빙 큐는 별도의 제어 임베딩으로 인코딩됩니다.
이 제어 임베딩은 적응형 레이어 정규화(Adaptive Layer Normalization, AdaLN) 및 **게이트형 잔차 연결(gated residual connections)**을 통해 DiT 블록을 조절합니다. 이 설계는 신원("누구인가")은 메인 경로를 통해 전달되도록 하고, 동작과 표정("어떻게 움직이는가")은 디노이징 과정을 방해하지 않으면서 조건부 조절을 통해 주입되도록 보장합니다.

C. Same2X 학습 전략

교차 신원 학습의 최적화 문제를 해결하기 위해, 저자들은 두 단계의 Same2X 전략을 제안합니다:

Same-ID 사전 학습: 먼저 참조 신원과 드라이빙 신원이 동일한 쌍을 사용하여 견고한 동작 및 표정 전이 능력을 구축합니다.
Cross-ID 적응: 그 후 모델을 교차 신원 시나리오에 적응시킵니다. 결정적으로, 저자들은 노이즈가 섞인 교차 신원 데이터에만 의존하는 대신, Same-ID 데이터로부터 **의사 드라이빙 큐(pseudo driving cues)**를 생성하여 교차 신원 조건을 시뮬레이션합니다.
정렬 손실 (Alignment Loss): 새로운 **Same2X 정렬 손실 ( $L_{S2X}$ )**이 도입됩니다. 이 손실은 특정 DiT 블록에서 교차 신원 모델과 사전 학습된 Same-ID 모델 사이의 특징 임베딩 간 코사인 거리를 최소화합니다. 이는 최적화를 정규화하여 교차 신원 특징 공간을 잘 학습된 Same-ID 공간과 정렬함으로써, 수렴을 가속화하고 학습을 안정화합니다.

3. 주요 기여

직접 비디오 컨디셔닝: 본 논문은 HIA를 원본 드라이빙 비디오 픽셀(구조화된 큐 트리플렛으로 처리됨)을 드라이빙 신호로 사용하도록 재구성하여, 중간 포즈 추정기로 인한 오류 누적을 제거했습니다.
구조화된 큐 트리플렛 & CF-DiT: 포즈, 페이스, 로케이션 큐의 도입과 이를 특화된 CueFusion DiT 블록을 통해 융합함으로써, 동작과 표정을 제어하기 위한 더 견고하고 의미론적으로 풍부한 표현을 제공합니다.
Same2X 학습 전략: Same-ID와 Cross-ID 설정 간의 특징 정렬을 활용하는 일반화 가능한 프레임워크를 제공합니다. 이 전략은 의사 데이터를 활용하여 교차 신원 시나리오에서의 수렴을 크게 가속화하고 대규모 실제 교차 신원 데이터셋에 대한 의존도를 낮춥니다.

4. 실험 결과

저자들은 TikTok 및 Unseen 데이터셋에서 DirectAnimator를 평가하였으며, SD 기반(AnimateAnyone, MagicAnimate), SVD 기반(StableAnimator, MimicMotion), DiT 기반(UniAnimate-DiT, DynamiCtrl) 베이스라인들과 비교하였습니다.

정량적 성능: DirectAnimator는 두 데이터셋 모두에서 FID, SSIM, L1 에러 및 얼굴 신원 유사도(Face Identity Similarity, FIS) 측면에서 최첨단(SOTA) 결과를 달랐습니다. 특히 복잡한 댄스 동작이 포함된 까다로운 "Unseen" 데이터셋에서 모든 지표에 걸쳐 모든 베이스라인을 일관되게 능가했습니다.
포즈 및 표정 전이: 이 방법은 포즈 랜드마크 일관성(Pose Landmark Consistency, PLC)과 얼굴 랜드마크 일관성(Facial Landmark-Consistency, FLC)에서 우수한 성능을 보여, 더 정확한 신체 포즈 추종과 충실한 표정 전이를 확인했습니다.
정성적 개선: 시각적 비교를 통해 DirectAnimator가 추가적인 팔다리, 앞뒤 모호성, 키포인트 누락과 같이 스켈레톤 기반 방법에서 흔히 발생하는 아티팩트를 피한다는 것을 보여주었습니다. 또한 높은 신원 보존 능력과 배경 일관성을 유지했습니다.
효율성: Same2X 전략은 교차 신원 단계에서 이를 사용하지 않고 학습했을 때보다 6.7배 빠르게 동일한 손실 수준에 도달함을 보여주었습니다. 또한 이 방법은 8개의 A100을 필요로 하는 일부 베이스라인에 비해 적은 계산 자원(4개의 H20 GPU)으로 이러한 결과를 달성했습니다.

5. 의의 및 주장

본 논문은 DirectAnimator가 노이즈가 섞인 중간 포즈 추상화에 의존하는 것에서 벗어나, 홀리스틱(holistic)한 시각적 시연으로부터 직접 학습하는 방향으로의 전환을 나타낸다고 주장합니다. 포즈 추정기를 우회함으로써, 이 방법은 폐쇄 및 복잡한 관절 움직임에 대해 더 높은 견고성을 달 Achieve 합니다.

저자들은 Same2X 학습 전략이 HIA를 위한 확산 트랜스포머 학습에 있어 중요한 기여라고 강조합니다. 이는 쉬운 Same-ID 설정으로부터 어려운 Cross-ID 시나리오로 감독(supervision)을 효과적으로 전달하기 때문입니다. 이 접근 방식은 생성 품질을 향상시킬 뿐만 아니라, 의사 데이터와 특징 정렬을 활용하여 값비싼 큐레이션된 실제 교차 신원 데이터셋에 대한 의존도를 줄이는 경로를 제시합니다.

결론적으로, DirectAnimator는 의사 큐의 품질에 관한 한계가 남아있을 수 있으나, 단순화된 골격 표현이 아닌 홀리스틱한 시각적 큐를 통해 인간이 움직임을 인지하는 방식과 유사하게, 더 직관적인 인간 수준의 애니메이션 학습을 위한 길을 열어준다는 점을 시사합니다.