🤖 AI

LUNA: Learning Universal 3D Human Animation Beyond Skinning

LUNA는 트랜스포머 기반의 모션 회귀기와 하이브리드 감독을 활용하여 다양한 2D 입력을 실사 수준의 3D 인간 애니메이션으로 직접 매핑함으로써, 명시적인 바디 피팅에 의존하지 않고도 정체성을 가로지르는 제로샷 일반화를 달성하는 새로운 LBS-free 신경 애니메이션 모델이다.

원저자: Peng Li, Rawal Khirodkar, Junxuan Li, Yuan Dong, Chen Cao, Yuan Liu, Wenhan Luo, Yike Guo, Shunsuke Saito

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peng Li, Rawal Khirodkar, Junxuan Li, Yuan Dong, Chen Cao, Yuan Liu, Wenhan Luo, Yike Guo, Shunsuke Saito

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 실제 사람과 똑같이 생겼고 자연스럽게 움직일 수 있는 디지털 3D 캐릭터를 만들고 싶다고 상상해 보세요. 오랫동안 단 한 장의 사진이나 영상만으로 이를 수행하는 것은 마치 평면적인 2D 스케치만을 가지고 복잡한 인형극용 인형을 만드는 것과 같았습니다.

여기, 이 디지털 인형을 만드는 방식을 바꾸는 새로운 기술인 LUNA에 대한 이야기를 알기 쉽게 설명해 드립니다.

기존 방식: "경직된 골격" 문제

전통적으로 3D 사람을 움직이게 만들기 위해 과학자들은 **선형 블렌드 스키닝(Linear Blend Skinning, LBS)**이라는 방법을 사용했습니다. 이것은 마치 내부에 딱딱한 나무 뼈대를 가진 인형을 만드는 것과 같습니다.

작동 방식: 먼저 사람의 사진 위에 표준적인 인간의 골격(마네킹 같은 것)을 맞춘 다음, 그 뼈대에 피부를 부착했습니다.
문제점: 실제 사람은 경직된 마네킹이 아닙니다. 실제 사람이 움직일 때 옷은 출렁이고, 배는 흔들리며, 피부는 복잡한 방식으로 늘어납니다. "경직된 골격" 방식은 너무 뻣뻣합니다. 이는 종종 옷이 찢어지거나 몸이 녹아내리는 듯한 글리치(오류)를 유발하며, 특히 사람이 빠르게 움직이거나 헐렁한 옷을 입었을 때 두드러집니다. 이는 마치 나무 프레임을 사용해 고무 슈트를 춤추게 하려는 것과 같습니다. 슈트가 제대로 굽혀지지 않기 때문입니다.

새로운 방식: LUNA ("유동적인 점토" 접근법)

이 논문의 저자들은 LUNA를 통해 기존의 경직된 골격을 완전히 버리기로 했습니다. 미리 만들어진 골격에 3D 모델을 억지로 맞추는 대신, 컴퓨터가 2D 사진으로부터 직접 3D 캐릭터의 형태를 학습하도록 가르친 것입니다.

LUNA를 마법의 유동적인 점토로 작업하는 숙련된 조각가라고 생각해 보세요.

골격 불필요: LUNA는 뼈를 찾지 않습니다. 대신 2D 이미지(사진, 졸라맨 그림, 심지어 스케치까지도 될 수 있음)를 보고 "이 3D 형상이 어떻게 변해야 이 모습처럼 보일까?"라고 질문합니다.
직접적인 번역: LUNA는 2D 이미지 속의 움직임을 3D 움직임으로 직접 번역합니다. 만약 당신이 손을 흔드는 졸라맨을 그린다면, 3D 점토 인형도 손을 흔듭니다. 누군가 춤을 추는 사진을 보여준다면, 3D 인형도 춤을 춥니다.

작동 원리: 두 단계의 댄스

LUNA는 동작을 두 부분으로 나누어 학습하는 스마트한 시스템(Transformer)을 사용하여, 마치 무용 동작을 가르치는 강사처럼 움직임을 분해합니다.

큰 움직임 (Global Motion): 먼저 큰 그림을 파악합니다. 사람이 왼쪽으로 돌고 있나요? 점프하고 있나요? 이것은 몸 전체가 방 안을 가로질러 이동하는 것과 같은 "경직된" 움직임 부분입니다.
미세한 디테일 (Local Dynamics): 다음으로, 지저분하고 꿈틀거리는 것들을 처리합니다. 바람에 휘날리는 헐렁한 셔츠, 날리는 머리카락, 혹은 늘어나는 피부 같은 것들입니다. LUNA는 자신을 붙잡는 경직된 골격이 없기 때문에, 이러한 미세하고 비경직적인 디테일을 완벽하게 포착할 수 있습니다.

핵심 비결: "선생님"으로부터 배우기

이 새로운 방식에는 큰 위험 요소가 있었습니다. 골격이 없다면 3D 점토가 납작한 팬케이크처럼 찌그러지거나, 컴퓨터가 인간의 형상이 '어떠해야 하는지'를 알지 못해 이상하게 보일 수 있다는 점입니다.

이를 해결하기 위해 연구진은 하이브리드 감독(Hybrid Supervision) 전략을 사용했습니다.

선생님: 그들은 기존의 골격 기반 시스템을 "선생님"으로 활용했습니다. 선생님은 학생을 통제하는 것이 아니라 힌트를 줄 뿐입니다. "이봐, 3D 형상이 여전히 대략적으로 인간의 몸처럼 보이도록 해"라고 말하는 식입니다.
학생 (LUNA): LUNA는 안정성을 유지하기 위해 이 힌트를 듣지만, 최종적인 유동적 움직임에 있어서는 선생님의 경직된 규칙을 무시합니다. 이를 통해 L-UNA는 정밀하게 측정된 스튜디오 기록뿐만 아니라 인터넷에서 발견되는 수백만 개의 라벨 없는 영상으로부터 학습할 수 있습니다.

이것이 왜 중요한가

이 논문은 LUNA가 세 가지 특정 분야에서 최초라고 주장합니다.

보편적 제어 (Universal Control): 사진, 영상, 손으로 그린 스케치, 또는 졸라맨 그림 등 무엇으로든 3D 아바타를 구동할 수 있습니다. 먼저 번거로운 전처리 과정(예: 수동으로 골격을 맞추는 작업)을 거칠 필요가 없습니다.
제로샷 일반화 (Zero-Shot Generalization): LUNA를 '사람 A'에 대해 학습시킨 후, '사람 B'의 영상(또는 만화 캐릭터의 스케치)을 사용하여 '사람 A'를 움직이게 할 수 있습니다. LUNA는 특정 인물이 아닌 '움직임의 개념'을 이해합니다.
"지터링(Jitter)" 제거: 골격의 위치를 추측하는 데 의존하지 않기 때문에(이는 종-종 떨림 현상을 유발함), 애니메이션이 훨씬 더 부드럽고 안정적입니다.

결과

연구진이 LUNA를 테스트했을 때:

의류: 기존 방식들이 옷이 찢어지거나 글리치가 발생하는 것처럼 보이게 했던 것과 달리, 헐렁하고 흐르는 옷을 훨씬 더 잘 처리했습니다.
부드러움: 이전 기술들에 비해 "떨림(jitter)"이 훨씬 적고 움직임이 눈에 띄게 부드러웠습니다.
다양성: 입력값이 실제 사진이든, 거친 스케치든, 2D 골격이든 상관없이 동일하게 잘 작동했습니다.

한계점 (논문에서 인정한 부분)

저자들은 LUNA가 여전히 어려움을 겪는 부분에 대해서도 솔직하게 밝히고 있습니다.

심한 가려짐 (Extreme Occlusions): 만약 드라이빙 영상에서 누군가의 얼굴이 손에 의해 가려지는 등 심하게 가려져 있다면, 시스템이 혼란을 겪을 수 있습니다.
극단적인 불일치 (Extreme Mismatches): 매우 키 크고 마른 사람을 매우 작고 뚱뚱한 사람처럼 움직이게 하려고 하면, 시스템이 아직 '체형'과 '움직임'을 명확히 분리하지 못했기 때문에 결과가 다소 이상해질 수 있습니다.

요약하자면, LUNA는 3D 인간을 경직된 골격에 억지로 맞추려 하지 않고, 대신 단순한 2D 입력을 통해 복잡한 3D 동작을 실제 사람처럼 유동적이고 자연스럽게 움직이게 한다는 점에서 획기적인 돌파구입니다.

기술 요약: LUNA - 스키닝을 넘어선 보편적 3D 휴먼 애니메이션 학습

문제 정의
단안 입력을 통해 사실적인 애니메이션이 가능한 3D 휴먼 아바타를 생성하는 작업은 전통적으로 선형 블렌드 스키닝(Linear Blend Skinning, LBS)과 파라메트릭 바디 모델(예: SMPL)에 의존해 왔습니다. 이러한 방식은 효과적이긴 하지만 다음과 같은 내재적 한계를 가집니다:

표현력의 제약: 파라메트릭 모델은 동작 범위를 제한하며, 헐렁한 옷이나 미세한 근육 변형과 같은 복잡한 비정형 역학(non-rigid dynamics)을 포착하지 못합니다.
오차 누적: 파이프라인이 명시적인 3D 포즈 추정과 바디 피팅을 요구합니다. 단안 3D 포즈 추정의 본질적인 불충분성(ill-posedness)으로 인해 발생하는 작은 관절 오차는 최종 애니메이션에서 시간적 지터(jitter)와 기하학적 아티팩트를 증폭시킵니다.
확장성 문제: 기존의 고충실도 방법들은 비용이 많이 드는 다중 뷰 캡처나 반복적인 최적화에 의존하므로, 통제된 스튜디오 환경으로 사용이 제한됩니다.
표현의 병목 현 현상: 3D 가우시안을 예측하는 최근의 피드포워드 방식들조차 캐노니컬 표현을 포즈 공간으로 매핑하기 위해 LBS에 의존하며, 이로 인해 기본 파라메트릭 모델의 피팅 오차와 표현적 한계를 그대로 물려받게 됩니다.

방법론
LUNA는 명시적인 바디 피팅이나 전처리 없이 다양한 2D 제어 신호(RGB 이미지, 2D 키포인트, 손으로 그린 스케치, 그리고 보지 못한 캐릭터)를 3D 가우시안 변형으로 직접 매핑하는 LBS-free 보편적 신경 애니메이션 모델을 제안합니다. 아키텍처는 두 가지 주요 구성 요소로 이루어집니다:

아이덴티티 인코더 (캐노니컬 재구성):
- 포즈가 지정되지 않은 아이덴티티 이미지 세트( $I_{id}$ )를 입력받아 캐노니컬 3D 가우시안 세트( $G_{can}$ )를 재구성합니다.
- 템플릿 토폴로지에 고정된 학습 가능한 시맨틱 쿼리 토큰을 사전 학습된 Sapiens 인코더에서 추출한 이미지 토큰과 융합하기 위해 **멀티모달 트랜스포머(Multimodal Transformer)**를 활용합니다.
- 위치, 회전, 스케일, 불투명도 및 색상으로 파라미터화된 캐노니컬 가우시안을 출력합니다.
암시적 신경 애니메이터 (포즈 의존적 변형):
- 단일 2D 드라이빙 신호( $I_d$ )를 조건으로 캐노니컬 아바타를 포즈 공간으로 매핑합니다.
- 분리된 모션 모델링(Disentangled Motion Modeling): 모델은 동작을 다음과 같이 분리합니다:
  - 전역 강체 운동(Global Rigid Motion): 연속적인 삼각 함수 형태(오일러 각도의 불연속성을 피하기 위함)와 정규화된 이동 오프셋을 통해 예측됩니다. 이는 거친 포즈와 카메라 정렬 움직임을 처리합니다.
  - 국소 비정형 역학(Local Non-Rigid Dynamics): 트랜스포머 기반 회귀 모델이 가우시안당 잔차(위치 오프셋, 회전 잔차, 색상 잔차)를 예측하여 미세하고 포즈에 의존적인 효과를 포착합니다.
- 모션 토크나이제이션(Motion Tokenization): 드라이빙 신호로부터 모션 큐를 추출하기 위해 사전 학습된 DINOv3 인코더를 사용하며, 이는 아이덴티티 중심의 인코더보다 다양한 도메인 외 신호(예: 스케치)에 대해 더 강력한 견고성을 가집니다.
하이브리드 감독 전략:
- 2D 렌더링 감독으로부터 직접 3D 변형을 학습할 때 발생하는 제약 부족 문제(기하학적 붕괴 유발 가능성)를 해결하기 위해, LUNA는 하이브리드 훈련 방식을 채택합니다.
- LBS 증류(LBS Distillation): LBS 기반 텔러 모델이 파라메트릭 라벨이 있는 샘플에 대해 소프트 구조적 사전 정보(pseudo-attributes)를 제공합니다. 이는 텔러의 경직된 표현적 한계를 상속받지 않으면서도 기하학적 무결성을 유지하는 정규화 역할을 합니다.
- 균형 잡힌 최적화: 훈련 코퍼스는 라벨이 있는 데이터(바디 트래킹 포함)와 대규모의 라벨 없는 인더와일드(in-the-wild) 영상을 혼합합니다. 동적 손실 재가중치(dynamic loss reweighting) 스킴을 통해 포토메트릭 렌더링 손실과 증류 손실 사이의 균형을 맞추어, 구조적 그래디언트가 라벨 없는 데이터의 다수에 의해 압도되지 않도록 합니다.

주요 기여

최초의 엔드투엔드 암시적 2D 드라이빙: LUNA는 명시적인 3D 제어 및 바디 피팅을 완전히 우회하여 다재다능한 2D 신호에 의해 직접 구동되는 최초의 보편적 3D 휴먼 애니메이션 모델로 제시됩니다.
바디 피팅이 필요 없는 설정: 전처리(예: 세그멘테이션 또는 피팅) 없이 2D 입력에서 모션 시맨틱을 직접 추출하여 오차 누적과 시간적 지터를 크게 줄입니다.
분리된 신경 애니메이터: 거친 관절 움직임부터 복잡한 비정형 역학(예: 헐렁한 옷)까지 포즈 의존적 변형을 모델링하는 완전한 LBS-free 디코더를 도입하여, 템플릿 기반 접근 방식의 경직된 제약을 극복합니다.
제로샷 교차 아이덴티티 일반화: 소스 및 드라이빙 아이덴티티가 매칭된 상태로 훈련되었음에도 불구하고, LUNA는 추가 튜닝 없이 이질적인 모달리티(키포인트, 스케치, 다른 아이덴티티)를 사용하여 보지 못한 캐릭터를 애니메이션화할 수 있는 보편적 변형 필드를 학습합니다.

결과
광범위한 실험을 통해 재구성 품질, 애니메이션 안정성 및 일반화 성능에 대한 LUNA의 성능을 입증했습니다:

시각적 충실도: 헐렁한 의류에 초점을 맞춘 Cloth10K 데이터셋에서, LUNA는 구조적 찢어짐(tearing)이나 아이덴티티 변화 문제를 겪는 LBS 기반 베이스라인(IDOL, LHM)을 크게 앞질러 최첨단 포토메트릭 지표(PSNR, L1, LPIPS)를 달성했습니다.
애니메이션 안정성: 평균 가속도 오차(MAE) 및 평균 제곱 저크(MSJ)를 사용한 정량적 평가에서, LUNA는 시간적 지터를 획기적으로 줄였습니다. 가장 강력한 베이스라인인 MV-LHM과 비교했을 때 MSJ를 4.5배 감소시켜, 높은 동적 영역에서도 부드럽고 연속적인 궤적을 생성합니다.
교차 아이덴티티 드라이빙: 서로 다른 아이덴티티의 드라이빙 신호를 사용하여 보지 못한 아이덴티티를 애니메이션화할 때, LUNA는 셀프 리이액트먼트(self-reenactment)에 근접한 성능을 유지하며 LHM++를 능가하여 외형이 아닌 모션 시맨틱을 추출하는 능력을 입증했습니다.
절제 연구(Ablation Studies): LBS 증류를 제거하면 심각한 깊이 붕괴(depth collapse)가 발생하며, 다중 뷰 파인튜닝을 제거하면 원근 왜곡이 발생하고, 전역 회전 디커플링을 제거하면 큰 움직임 중에 드리프트 아티팩트가 발생합니다.

의의
본 논문은 LUNA가 경직된 파라메트릭 사전 정보로부터 애니메이션 프로세스를 분리함으로써 3D 디지털 휴먼 애니메이션의 새로운 패러다임을 구축한다고 주장합니다. 트랜스포머 기반 아키텍처와 하이브리드 감독을 활용함으로써, LUNA는 LBS로 표현하기 어려웠던 복잡한 비정형 역학을 포착할 수 있는 고충실도 및 사실적인 결과를 달着하며 견고한 2D 모달리티에 대응합니다. 이 연구는 암시적 2D 드라이빙이 명시적인 3D 포즈 추정을 효과적으로 대체할 수 있음을 보여주며, 단안 데이터로부터 애니메이션 가능한 아바타를 생성하기 위한 더 유연하고 확장 가능한 솔루션을 제공합니다.