WildActor: Unconstrained Identity-Preserving Video Generation

이 논문은 대규모 데이터셋 'Actor-18M'과 비대칭 정체성 보존 어텐션 및 시점 적응 몬테카를로 샘플링 전략을 활용한 'WildActor' 프레임워크를 제안하여, 기존 방법들의 한계를 극복하고 다양한 각도와 동작에서도 일관된 신원 정보를 유지하는 고품질 인간 비디오 생성을 실현합니다.

핵심

🎬 와일드액터 (WILDACTOR): "배우가 변하지 않는 마법의 영화 제작기"

이 논문은 **"한 번 찍은 배우의 얼굴과 옷차림을 절대 변하지 않게 유지하면서, 어떤 각도에서도 자유롭게 움직이는 영상을 만드는 기술"**을 소개합니다. 기존 기술들은 배우가 움직이거나 카메라가 돌아가면 얼굴이 뭉개지거나 옷이 달라붙는 등 '정체성'을 잃어버리는 문제가 있었는데요, 이 기술이 그 문제를 해결했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존 기술의 문제점)

기존의 AI 영상 제작 기술은 두 가지 큰 실수를 저지릅니다.

• 문제 1: "헤어리만 떠다니는 괴물" (Face-Centric)
  • AI 가 배우의 얼굴만 너무 잘 기억해서, 몸은 엉뚱하게 만들어버립니다. 마치 얼굴만 떠다니는 유령처럼, 몸통이 제멋대로 변하거나 사라지는 현상이 발생합니다.
• 문제 2: "고정된 인형" (Copy-Paste)
  • 반대로, 배우의 원래 자세를 너무 강하게 고정시켜버립니다. 마치 인형처럼 원래 사진의 자세를 그대로 복사해서 붙여놓은 듯, 움직임을 요청해도 제자리에서 꼼짝하지 않거나, 카메라가 돌아갈 때 배우도 함께 빙글빙글 돌지 못하고 뻣뻣하게 유지됩니다.

2. 해결책 1: "1,800 만 장의 배우 사진첩" (Actor-18M 데이터셋)

이 문제를 해결하기 위해 연구진은 먼저 **엄청나게 방대한 배우 사진첩 (Actor-18M)**을 만들었습니다.

• 비유: 기존에는 배우를 찍은 사진이 '앞에서 찍은 사진'만 100 장 있었지만, '옆에서 찍은 사진'이나 '뒤에서 찍은 사진'은 거의 없었습니다. 그래서 AI 는 옆으로 돌아갈 때 "아, 이 사람이 옆모습이 어떻게 생겼지?"라고 몰라버렸죠.
• 해결: 연구진은 160 만 개의 영상과 1,800 만 장의 사진을 모았습니다. 중요한 건, 같은 배우를 앞, 옆, 뒤, 위, 아래 등 모든 각도에서 찍고, 다양한 배경과 조명, 표정에서도 찍었다는 점입니다.
• 효과: 이제 AI 는 "아, 이 배우가 옆으로 돌아서면 옷 주름이 이렇게 생기고, 뒷모습은 이렇게 생기는구나"라고 완벽하게 이해하게 되었습니다.

3. 해결책 2: "마법의 초점 조절기" (WILDACTOR 기술)

이제 이 방대한 데이터를 어떻게 활용해서 영상을 만들까요? 두 가지 핵심 기술을 사용합니다.

A. 비대칭 주의 집중 (Asymmetric Identity-Preserving Attention)

• 비유: 영화 촬영 현장에서 **감독 (영상 생성 부분)**과 **분장사 (배우 정체성 부분)**가 따로 일하는 상황입니다.
  • 기존 기술은 감독이 분장사의 일을 다 하려다 보니, 배우의 얼굴을 잊어버리거나 몸이 굳어버렸습니다.
  • WILDACTOR는 **분장사 (참조 이미지)**가 배우의 정체성 (얼굴, 옷, 몸매) 을 완벽하게 기억하게 하고, **감독 (영상 생성)**은 그 정보를 받아서 "배우가 이제 뛰어다니고, 뒤로 돌아서고, 카메라가 줌인해!"라고 지시만 받습니다.
  • 결과: 배우의 정체성은 절대 변하지 않으면서, 감독의 지시대로 자유롭게 움직입니다.

B. 시점 적응형 샘플링 (Viewpoint-Adaptive Monte Carlo Sampling)

• 비유: 배우를 가르칠 때, 앞모습만 계속 보여주고 옆모습은 한 번도 안 보여주는 방식은 비효율적입니다.
• 해결: AI 가 학습할 때, 이미 많이 본 '앞모습'은 덜 보고, 잘 안 본 '옆모습'이나 '뒷모습'을 더 많이 골라보게 합니다. 마치 공부할 때 약한 부분 (약점) 을 집중적으로 훈련시키는 것과 같습니다.
• 효과: 어떤 각도에서 찍어도 배우가 일관되게 보입니다.

4. 실제 결과: 어떤 변화가 있었나요?

이 기술을 적용하면 다음과 같은 놀라운 일이 일어납니다.

• 장면 전환: "여자가 정면을 보고 있다가, 뒤로 돌아서서 손에 든 물건을 보여줘"라고 명령하면, 얼굴과 옷이 변하지 않은 채 자연스럽게 뒤로 돌아갑니다.
• 카메라 움직임: 카메라가 배우를 따라가며 (트래킹 샷) 돌거나, 줌인/줌아웃을 해도 배우의 특징이 흐트러지지 않습니다.
• 다양한 환경: 비가 오는 거리, 밝은 스튜디오, 어두운 숲 등 배경이 바뀌어도 배우는 똑같은 사람으로 유지됩니다.

5. 한 줄 요약

"WILDACTOR 는 배우의 얼굴과 옷을 '불변의 법칙'처럼 지키면서, 카메라와 배경이 어떻게 변하든 자유롭게 연기할 수 있게 해주는, 마치 실제 배우를 찍는 것처럼 자연스러운 AI 영화 제작 기술입니다."

이 기술은 앞으로 영화, 광고, 게임 등 다양한 분야에서 비싼 촬영 비용 없이도 일관된 캐릭터를 가진 고품질 영상을 만드는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 생성 모델 (Diffusion Transformers 등) 은 사실적인 영상 생성에는 탁월한 성능을 보이지만, 동적인 샷, 시점 변화, 복잡한 동작이 포함된 긴 형식의 비디오에서 주체의 정체성 (Identity) 일관성을 유지하는 데 심각한 한계가 있습니다.

• 얼굴 중심의 편향 (Face-centric Bias): 기존 방법들은 얼굴 인식 인코더를 과도하게 의존하여 얼굴은 잘 유지되지만, 몸통이나 의상 디테일이 왜곡되거나 "떠다니는 머리 (floating head)" 현상이 발생합니다.
• 자세 고정 (Pose Locking) 및 복사 - 붙여넣기 오류: 전체 참조 이미지를 단순 연결 (concatenation) 하는 방식은 생성된 캐릭터가 참조 이미지의 자세에 갇혀 움직임을 따르지 못하게 하거나, 배경과 분리되지 않는 '복사 - 붙여넣기' 같은 인공물을 생성합니다.
• 데이터 부족: 다양한 시점, 환경, 조명 조건에서 일관된 정체성을 가진 대규모 인간 비디오 데이터셋이 부재하여, 모델이 자연스러운 환경 (in-the-wild) 에서 시점에 불변하는 (view-invariant) 표현을 학습하기 어렵습니다.

2. 핵심 방법론 (Methodology)

이 논문은 Actor-18M이라는 대규모 데이터셋과 이를 활용한 WILDACTOR 프레임워크를 제안합니다.

A. Actor-18M 데이터셋

기존 데이터셋의 한계를 극복하기 위해 구축된 160 만 개의 비디오와 1,800 만 개의 인간 이미지로 구성된 대규모 데이터셋입니다.

• 구성:
  • Subset A (View-Aug): 단일 비디오에서 추출된 원본 이미지를 기반으로 다양한 시점 (전면, 측면, 후면 등) 으로 변환된 참조 이미지를 생성하여 시점 불균형을 해소합니다.
  • Subset B (Attr-Aug): 배경, 조명, 표정, 동작 등 속성을 다양화하여 모델이 배경이나 조명에 과적합 (overfitting) 되는 것을 방지합니다.
  • Subset C (3-View): 전면, 측면, 후면의 표준 3 시점 (Canonical Three-view) 이미지를 생성하여 완전한 정체성 앵커를 제공합니다.
• 특징: 원본 데이터의 강한 전면 시점 편향 (Frontal Bias) 을 보정하여 측면 및 후면 시점의 비율을 대폭 증가시켰습니다.

B. WILDACTOR 프레임워크

비디오 Diffusion Transformer (DiT) 기반의 아키텍처로, 다음과 같은 핵심 기술들을 도입합니다.

1. 비대칭 정체성 보존 어텐션 (Asymmetric Identity-Preserving Attention, AIPA):

   • 문제 해결: 참조 이미지 토큰과 비디오 토큰 간의 완전한 어텐션은 정체성 누출 (Identity Leakage) 을 유발하여 동적 생성을 방해합니다.
   • 해결책: 참조 토큰이 비디오 토큰에게 정체성 단서 (cues) 를 제공하는 단방향 흐름을 강제합니다.
   • 구현: 참조 토큰에만 경량화된 LoRA를 적용하여 학습 가능한 파라미터를 제한하고, 비디오 토큰은 고정된 백본 (backbone) 가중치를 사용합니다. 이를 통해 정체성 정보는 유지되지만 비디오의 운동성 (motion) 은 방해받지 않습니다.

2. 정체성 인식 3D RoPE (Identity-Aware 3D RoPE, I-RoPE):

   • 문제 해결: 비디오 토큰과 정적 참조 토큰이 동일한 위치 인코딩을 공유하면 시간적 운동과 정적 외모가 혼동됩니다.
   • 해결책: 토큰 유형에 따라 시공간 좌표를 분리합니다.
     • 시간 분리: 참조 토큰에 고정된 시간 오프셋을 부여합니다.
     • 공간 분리: 참조 토큰의 공간 좌표 (h, w) 를 비디오 시퀀스의 최대 크기 이상으로 이동시켜, 공유된 어텐션 공간에서 물리적으로 분리합니다.

3. 시점 적응형 몬테카를로 샘플링 (Viewpoint-Adaptive Monte Carlo Sampling):

   • 문제 해결: 훈련 시 유사한 시점 (예: 여러 개의 전면 이미지) 이 중복 샘플링되어 다중 시점 정보 활용이 비효율적입니다.
   • 해결책: 샘플링된 참조 이미지의 각도 주변에 있는 다른 후보들의 가중치를 감쇠 (decay) 시키는 동적 재가중치 전략을 사용합니다. 이를 통해 훈련 중 **상호 보완적인 시점 (complementary viewpoints)**이 균일하게 관찰되도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. Actor-18M 데이터셋 공개: 다양한 시점, 환경, 동작을 아우르는 160 만 개 비디오 및 1,800 만 개 이미지로 구성된 대규모 인간 중심 데이터셋을 구축하여, 시점에 불변하는 정체성 표현 학습의 기반을 마련했습니다.
2. WILDACTOR 프레임워크 제안: AIPA 와 I-RoPE, 그리고 적응형 샘플링 전략을 결합하여 백본 표현을 해치지 않으면서도 강력한 시점 조건부 (any-view conditioned) 인간 비디오 생성을 가능하게 했습니다.
3. Actor-Bench 벤치마크 구축: 시퀀셜 내러티브 (연속적인 이야기) 와 문맥 일반화 (다양한 환경/동작) 를 평가하는 새로운 평가 기준을 마련하고, 기존 방법들보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

Actor-Bench를 통한 정량적 및 정성적 평가에서 WILDACTOR 는 기존 SOTA 모델들 (VACE, Stand-In, Vidu Q2, Kling 1.6 등) 을 압도했습니다.

• 정체성 일관성:
  • 신체 일관성 (Body Consistency): 0.952 (Vidu Q2 의 0.905 보다 높음). 시점 변화와 큰 동작에서도 몸 전체의 일관성을 유지합니다.
  • 얼굴 정체성 (Face Identity): 0.559 로, 기존 방법들보다 높은 수준을 유지하며 얼굴과 몸의 불일치를 해결했습니다.
• 시퀀셜 내러티브: 긴 형식의 비디오에서 오류가 누적되지 않고, 텍스트 프롬프트에 따른 장면 전환과 카메라 움직임이 자연스럽게 구현됩니다.
• 문맥 일반화: 복잡한 환경 변화와 시점 전환에서도 '복사 - 붙여넣기' 아티팩트가 없으며, 프롬프트의 세부 사항 (의상, 조명, 동작) 을 정확히 따릅니다.
• Ablation Study:
  • AIPA 제거 시: 의미론적 정합성 (Semantic Alignment) 이 급격히 떨어집니다.
  • I-RoPE 제거 시: 신체 일관성이 크게 저하되어 구조적 혼란이 발생합니다.
  • 시점 적응형 샘플링: 무작위 샘플링 대비 측면 및 후면 시점에서의 일관성을 크게 향상시킵니다.

5. 의의 및 결론 (Significance)

이 연구는 자연스러운 환경 (in-the-wild) 에서의 인간 비디오 생성 분야에서 중요한 이정표입니다.

• 기술적 진보: 단순히 얼굴만 유지하는 것을 넘어, 전신 (Full-body) 정체성을 시점과 동작에 구애받지 않고 일관되게 유지하는 방법을 제시했습니다.
• 실용성: 영화 제작, 게임, 가상 인간 (Digital Human) 등 전문적인 영상 제작 분야에서 디지털 배우의 일관성을 보장할 수 있는 실용적인 솔루션을 제공합니다.
• 데이터 중심 접근: 고비용의 스튜디오 촬영 데이터에 의존하지 않고, 대규모 자연 데이터와 지능적인 증강 기법을 통해 시점 불변성을 학습할 수 있음을 증명했습니다.

결론적으로 WILDACTOR 는 기존 모델들이 겪던 '정체성 붕괴'와 '자세 고정' 문제를 해결하여, 동적이고 복잡한 시나리오에서도 안정적이고 일관된 인간 중심 비디오 생성을 가능하게 합니다.