Uni-Animator: Towards Unified Visual Colorization

이 논문은 단일 프레임과 비디오 스케치 색칠 작업을 통합하여 정밀한 색상 전달, 고주파 물리 디테일 보존, 그리고 대규모 운동 환경에서의 시간적 일관성을 동시에 달성하는 새로운 확산 트랜스포머 기반 프레임워크인 'Uni-Animator'를 제안합니다.

핵심

"Uni-Animator": 손으로 그린 스케치를 생동감 있는 애니메이션으로 바꿔주는 마법사

이 논문은 그림을 그리는 예술가나 애니메이션 제작자를 위해 고안된 **'Uni-Animator'**라는 새로운 인공지능 기술을 소개합니다. 쉽게 말해, 검은색 선으로만 그려진 스케치 (동글동글한 캐릭터나 배경) 를 보고, 원하는 색감과 스타일을 가진 완성된 그림이나 영상으로 만들어주는 기술입니다.

기존의 기술들은 그림 (이미지) 과 영상 (비디오) 을 따로 처리하거나, 색이 번지거나, 움직일 때 그림이 떨리는 문제가 있었는데요. Uni-Animator 는 이 모든 문제를 한 번에 해결합니다.

이 기술을 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. "색칠공부"의 새로운 방식: 참고 그림을 똑똑하게 활용하기

기존의 문제:
예전에는 AI 가 색을 칠할 때 참고할 그림 (예: "이 캐릭터는 빨간 옷을 입고 싶어") 을 보더라도, 전체적인 분위기만 대충 보고 색을 입혔습니다. 그래서 "빨간 옷"이어야 할 부분이 "파란 옷"이 되거나, 옷의 주름 같은 디테일이 사라지는 경우가 많았죠. 마치 색칠공부를 할 때 참고 그림을 멀리서 흐릿하게 보다가, 중요한 부분의 색을 잘못 칠하는 상황과 비슷합니다.

Uni-Animator 의 해결책 (시각적 참조 강화):
이 기술은 참고 그림을 조각조각 잘게 나누어 (패치) 하나하나 정밀하게 분석합니다. 마치 색칠공부를 할 때 참고 그림을 확대경으로 아주 가까이 대고, 옷의 무늬 하나하나, 머리카락 한 올 한 올의 색까지 정확히 따라 칠하는 것과 같습니다.

• 효과: 원하는 스타일과 색상을 아주 정확하게 재현하며, 여러 개의 참고 그림을 동시에 보여줘도 혼란 없이 원하는 대로 색칠해 줍니다.

2. "선명함"을 지키는 마법: 흐릿해지는 것을 막아주다

기존의 문제:
AI 가 그림을 만들 때, 그림을 압축했다가 다시 풀어내는 과정에서 금속의 반짝임이나 천의 질감 같은 미세한 디테일이 사라져 버리는 경우가 많았습니다. 마치 고화질 사진을 저화질로 압축했다가 다시 확대했을 때, 사진이 뭉개지고 흐릿해지는 현상과 같습니다.

Uni-Animator 의 해결책 (물리적 디테일 강화):
이 기술은 **DINO(디노)**라는 강력한 AI 모델을 함께 사용합니다. 이 AI 는 그림의 '물리적 특성'을 잘 이해합니다. 예를 들어, "이 부분은 금속이라 반짝여야 해", "이 부분은 천이라 주름이 있어야 해"라고 미리 파악해 둡니다.

• 효과: 그림을 색칠하면서도 선명한 윤곽선과 질감을 잃지 않습니다. 마치 고급 페인트로 그림을 칠하더라도, 밑그림의 섬세한 선까지 살아있게 유지하는 것과 같습니다.

3. "떨림" 없는 자연스러운 움직임: 영상 색칠의 핵심

기존의 문제:
동영상의 경우, 캐릭터가 움직일 때 색이 자꾸 깜빡거리거나 (Flickering) 위치가 어긋나는 문제가 있었습니다. 마치 애니메이션을 그릴 때, 프레임마다 색칠하는 사람이 달라서 캐릭터의 옷 색깔이 매 프레임마다 바뀌는 것처럼 보일 수 있습니다.

Uni-Animator 의 해결책 (스케치 기반 동적 RoPE):
이 기술은 캐릭터가 얼마나 빠르게 움직이는지, 어떤 방향으로 움직이는지를 실시간으로 분석합니다.

• 비유: 마치 카메라가 빠르게 지나가는 장면을 찍을 때는 초점을 더 빠르게 맞추고, 정지해 있는 배경은 안정적으로 유지하는 것과 같습니다.
  • 빠르게 움직이는 부분 (예: 날아다니는 머리카락) 은 더 세밀하게 처리하고,
  • 가만히 있는 부분 (예: 배경) 은 안정적으로 유지합니다.
• 효과: 캐릭터가 뛰어다니거나 빠르게 움직여도 색이 깜빡거리지 않고, 매끄럽고 자연스러운 애니메이션을 만들어냅니다.

---

요약: 왜 이것이 중요한가요?

기존에는 그림을 색칠하는 기술과 영상을 색칠하는 기술이 따로 existed(존재) 했습니다. 하지만 Uni-Animator 는 하나의 기술로 두 가지 모두를 완벽하게 처리합니다.

• 예술가들에게: 수천 장의 프레임을 일일이 손으로 색칠할 필요 없이, AI 가 대부분의 작업을 대신해 줍니다.
• 산업적으로: 애니메이션, 게임, 영화 제작 비용을 획기적으로 줄여주면서도, 고퀄리티의 디테일을 잃지 않습니다.

결국 Uni-Animator 는 "검은색 선으로만 된 스케치"를 "살아 숨 쉬는 컬러 애니메이션"으로 바꿔주는, 디테일과 자연스러움을 모두 잡은 최고의 도우미라고 할 수 있습니다.

기술 요약

Uni-Animator: 통합 비주얼 컬러라이제이션을 위한 프레임워크 기술 요약

1. 문제 정의 (Problem Statement)

기존의 스케치 컬러라이제이션 (Colorization) 방법론은 이미지와 비디오 작업을 통합적으로 처리하는 데 한계가 있으며, 다음과 같은 세 가지 주요 기술적 과제를 안고 있습니다.

• 비정확한 색상 전달 (Imprecise Color Transfer): 기존 확산 모델 (Diffusion Models) 은 참조 이미지 (Reference) 의 전역 특징만 추출하여 국소적인 색상 분포, 질감, 조명 세부 사항을 놓치는 경우가 많습니다. 이로 인해 목표 스타일과 일치하지 않거나 참조와 미세한 일관성이 떨어지는 결과가 나옵니다.
• 고주파 세부 정보의 손실 (High-Frequency Detail Degradation): 확산 파이프라인에 사용되는 VAE(변분 오토인코더) 의 압축 과정은 금속 반사, 질감 입자 등 고주파 물리적 세부 정보를 영구적으로 손실시킵니다. 이는 결과물의 선명도와 물리적 일관성을 저해합니다.
• 동적 장면에서의 시간적 불일치 (Temporal Inconsistency): 비디오 스케치 컬러라이제이션에서 기존 방법들은 비균일한 움직임 (급격한 캐릭터 이동 등) 을 효과적으로 모델링하지 못해 프레임 간 깜빡임 (Flickering) 과 정렬 오류를 유발합니다. 특히 UNet 기반 모델은 장기적인 시공간 의존성을, DiT 기반 모델도 빠른 움직임에서 정렬 문제를 겪습니다.

또한, 대부분의 기존 방법은 이미지 전용 또는 비디오 전용으로 분리되어 있어, 혼합 콘텐츠 (이미지와 비디오가 공존) 생산 파이프라인에 적용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 Uni-Animator라는 새로운 Diffusion Transformer (DiT) 기반 통합 프레임워크를 제안합니다. 이는 이미지와 비디오 스케치 컬러라이제이션을 단일 모델로 처리하며, 다음 세 가지 핵심 기술로 구성됩니다.

• 비주얼 레퍼런스 퓨전 (Visual Reference Fusion):

  • 인스턴스 패치 임베딩 (Instance Patch Embedding): 참조 이미지를 패치 (Patch) 단위로 분할하여 독립적으로 인코딩함으로써, 전역 특징 추출의 한계를 극복하고 국소적인 색상 분포와 질감을 정밀하게 포착합니다.
  • 2 단계 융합 전략:
    1. ** coarse-grained (거시적) 퓨전:** VAE 인코더를 통해 참조 이미지의 전역 스타일과 구조를 잡음 잠재 공간 (Noisy Latent Space) 에 주입하여 시간적 일관성을 확보합니다.
    2. fine-grained (미시적) 퓨전: 컨볼루션 기반 인스턴스 임베딩 모듈을 통해 참조 이미지의 국소적 세부 사항을 추출하여 시퀀스 차원에서 융합합니다.
  • 이를 통해 DiT 모델이 참조 이미지와 입력 스케치 간의 의미론적 정렬을 수행하면서도 세부 사항을 유지할 수 있게 합니다.

• 물리적 세부 사항 강화 (Physical Detail Reinforcement):

  • DINOv2 활용: 사전 학습된 DINOv2 모델을 사용하여 참조 이미지에서 구조 인식형 고주파 특징 (재료 속성, 표면 질감, 조명) 을 추출합니다.
  • 물리적 특징 주입: 추출된 물리적 특징을 DiT 백본에 컨텍스트 학습 (In-context Learning) 방식으로 접목하여 VAE 로 인한 세부 정보 손실을 보상하고, 에지 선명도와 물리적 일관성을 유지합니다.
  • 멀티모달 정렬: 텍스트 프롬프트와 시각적 참조 간의 의미적 충돌 (예: 텍스트는 "분홍색 머리"지만 참조는 "검은색 머리"인 경우) 을 해결하기 위해 CLIP 인코더와 크로스 어텐션 (Cross-Attention) 메커니즘을 도입하여 일관된 정보를 가중치 부여하고 충돌 신호를 억제합니다.

• 스케치 기반 동적 RoPE (Sketch-based Dynamic RoPE):

  • 움직임 인식 주파수 적응: 스케치 시퀀스에서 광학 흐름 (Optical Flow) 을 추출하여 수평 (u) 과 수직 (v) 운동 성분을 분석합니다.
  • 동적 위치 인코딩: 운동 강도에 따라 RoPE(Rotary Positional Embedding) 의 주파수를 동적으로 조정합니다.
    • 빠른 움직임 영역: 더 높은 주파수를 할당하여 동적 세부 사항을 정밀하게 포착하고 시간적 에일리어싱을 방지합니다.
    • 정적 영역: 기본 주파수를 유지하여 안정성을 확보합니다.
  • 이 메커니즘은 비대칭적인 운동 패턴 (예: 강한 수평 이동과 약한 수직 이동) 을 효과적으로 처리하여 프레임 간 깜빡임과 정렬 오류를 제거합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 통합 프레임워크: 이미지와 비디오 스케치 컬러라이제이션을 모두 지원하는 최초의 통합 DiT 기반 프레임워크를 제안하여, 작업별 모델 적응 없이도 크로스 도메인 처리가 가능합니다.
2. 기술적 혁신:
   • 비주얼 레퍼런스 강화: 인스턴스 패치 임베딩을 통해 스타일과 색상 전달의 정밀도를 극대화했습니다.
   • 물리적 세부 강화: DINO 기반 특징 추출로 고주파 질감과 물리적 일관성을 복원했습니다.
   • 동적 RoPE: 움직임 감지형 위치 인코딩을 통해 동적 장면에서의 시간적 일관성을 획기적으로 개선했습니다.
3. 성능 달성: 이미지 및 비디오 컬러라이제이션 모두에서 기존 최첨단 (SOTA) 방법들과 경쟁력 있는 성능을 달성하면서도, 높은 세부 정보 충실도와 강력한 시간적 일관성을 제공합니다.

4. 실험 결과 (Results)

• 데이터셋: 5 만 개의 애니메이션 영상 클립 (스피릿드 어웨이, 도라에몽 등) 과 3 만 개의 Sakuga-42M 클립으로 구성된 대규모 데이터셋을 사용하여 학습했습니다.
• 정량적 평가:
  • 비디오 컬러라이제이션: FID(119.514) 와 LPIPS(0.193) 에서 모든 베이스라인 (ToonCrafter, Anidoc 등) 을 압도적으로 상회하며 1 위를 기록했습니다. 이는 뛰어난 시각적 충실도와 일관성을 의미합니다.
  • 이미지 컬러라이제이션: SSIM(0.741), CLIP Score(0.845) 등에서 최상위권을 기록했습니다.
• 정성적 평가:
  • 다중 참조 지원: 단일 또는 여러 개의 참조 이미지를 동적으로 지원하며, 인스턴스별 색상 매핑이 정확합니다.
  • 세부 사항 보존: 직물 질감, 머리카락 줄기 등 미세한 고주파 세부 사항이 잘 보존됩니다.
  • 시간적 안정성: 대규모 운동이나 복잡한 카메라 트래킹 상황에서도 캐릭터의 정체성 (색상) 이 유지되며 깜빡임이 없습니다.
• 애블레이션 연구: Visual Reference Fusion, Physical Detail Reinforcement, Dynamic RoPE 모듈을 제거했을 때 성능이 급격히 저하됨을 확인하여 각 구성 요소의 필수성을 입증했습니다.

5. 의의 (Significance)

Uni-Animator 는 애니메이션 제작, 영화 복원, 게임 개발 등 디지털 콘텐츠 제작 분야에서 수동 작업의 대폭 감소와 생산성 향상을 가능하게 합니다.

• 산업적 가치: 프레임 단위 조정과 크로스 도메인 적응 노력을 자동화하여 노동 비용을 절감합니다.
• 유연성: 이미지와 비디오를 구분하지 않고 통합적으로 처리할 수 있어, 현대적인 혼합 콘텐츠 생산 파이프라인에 이상적인 솔루션을 제공합니다.
• 향후 전망: 실시간 처리 및 고해상도 출력으로의 확장을 통해 실제 산업 적용 가능성을 더욱 높일 것으로 기대됩니다.

이 논문은 단순한 컬러라이제이션을 넘어, 물리적 세부 사항과 시간적 일관성을 동시에 해결하는 통합형 생성 모델의 새로운 방향성을 제시합니다.