1. 문제 정의 (Problem)

기존의 애니메이션 스케치 비디오 컬러화 (Colorization) 모델들은 주로 단일 참조 (Single Reference) 에만 의존합니다. 보통 장면의 첫 번째 프레임이나 특정 키프레임 하나만을 참조로 사용하여 나머지 프레임을 채색합니다. 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 참조 데이터의 활용 부족: 캐릭터 시트 (Character sheets), 배경 이미지, 또는 임의의 컬러화된 프레임과 같은 다양한 참조 소스를 활용하지 못합니다.
• 단일 참조의 한계: 하나의 참조만으로는 다양한 포즈, 뷰포인트, 조명 변화 하에서 캐릭터의 정체성 (Identity) 일관성을 유지하기 어렵습니다.
• 다중 참조의 어려움: 여러 개의 참조를 동시에 사용할 경우, 어떤 참조가 어떤 영역 (Subject) 에 적용되어야 하는지 모호해집니다. 이로 인해 모델이 참조 간에 단축 경로 (Shortcutting) 를 찾거나, 서로 다른 캐릭터의 팔레트가 섞이는 정체성 누출 (Cross-identity Leakage) 이 발생하는 문제가 빈번합니다.
• 생산성 제약: 기존 방법들은 참조의 수나 타입이 고정되어 있어, 실제 애니메이션 제작 환경에서 요구되는 유연한 워크플로우를 지원하지 못합니다.

2. 제안 방법 (Methodology)

저자들은 TimeColor라는 새로운 프레임워크를 제안했습니다. 이는 Diffusion Transformer (DiT) 기반의 비디오 컬러화 모델로, 임의의 개수와 이질적인 (Heterogeneous) 참조를 지원하면서도 모델 파라미터 수를 고정하는 것이 핵심입니다.

핵심 기술 요소:

1. 시간적 연결 (Temporal Concatenation) 을 통한 가변 참조 조건부 학습:

   • 기존 방법들이 참조를 채널 (Channel) 에 쌓거나 어댑터 (Adapter) 를 사용하는 것과 달리, TimeColor 는 모든 참조 이미지 (첫 번째 프레임, 임의 프레임, 캐릭터 시트 등) 를 추가적인 잠재 프레임 (Latent Frames) 으로 인코딩합니다.
   • 이를 시간 축 (Temporal Axis) 을 따라 타겟 비디오와 연결 (Concatenate) 합니다.
   • 장점: 참조의 개수 (R) 가 변하더라도 모델의 파라미터 수는 증가하지 않으며, 각 디노이징 (Denoising) 단계에서 모든 참조가 동시 처리됩니다.

2. 모달리티 분리 RoPE (Modality-disjoint RoPE):

   • 서로 다른 모달리티 (타겟, 스케치, 참조) 의 토큰이 시간적으로 연결될 때 위치 정보가 충돌하는 것을 방지하기 위해, 각 모달리티에 고유한 오프셋 (Offset) 을 적용한 Rotary Positional Embedding (RoPE) 을 사용합니다.
   • 이를 통해 참조 토큰과 타겟 토큰 간의 위치 간섭을 막고, 유연한 비디오 길이를 지원합니다.

3. 시공간 대응성 마스크 어텐션 (Spatiotemporal Correspondence-Masked Attention):

   • 다중 참조 환경에서 가장 큰 문제인 '어떤 참조가 어느 영역에 적용될지'에 대한 모호성을 해결하기 위해 하드 어텐션 마스크 (Hard Attention Mask) 를 도입했습니다.
   • 각 픽셀 (또는 패치) 에 대해 명시적으로 할당된 참조 인덱스 (Reference ID) 를 기반으로, 쿼리 토큰이 오직 자신이 할당된 참조 토큰에만 어텐션할 수 있도록 제한합니다.
   • 이 메커니즘은 참조 간 팔레트 누출 (Palette Leakage) 과 단축 경로 (Shortcutting) 를 효과적으로 차단합니다.

4. 자동화된 대규모 데이터 파이프라인:

   • 다중 참조와 픽셀 단위 대응 관계 (Correspondence) 가 있는 애니메이션 데이터는 부족합니다. 이를 해결하기 위해 InternVL3, GroundedSAM2, DINO 등을 활용한 자동화 파이프라인을 구축했습니다.
   • 이 파이프라인은 장면 내 객체를 추적하고, 다양한 장면에서 동일한 캐릭터의 참조를 추출하며, 픽셀 단위의 대응 마스크를 생성합니다.

3. 주요 기여 (Key Contributions)

1. TimeColor 프레임워크: 시간적 시퀀스 조건부 (Temporal Sequence Conditioning) 를 통해 이질적이고 가변적인 개수의 참조를 지원하는 최초의 DiT 기반 스케치 비디오 컬러화 모델 제안.
2. 강력한 바인딩 메커니즘: 모달리티 분리 RoPE 와 시공간 대응성 마스크 어텐션을 결합하여, 다중 참조 환경에서도 정확한 '주체 - 참조 (Subject-Reference)' 바인딩을 강제하고 누출을 방지하는 기술 개발.
3. 대규모 데이터셋 구축: 자동화 파이프라인을 통해 대규모 다중 참조 스케치 비디오 컬러화 데이터셋 (Subject/Background 참조 및 픽셀 단위 마스크 포함) 을 구축하고 공개함.

4. 실험 결과 (Results)

저자들은 Sakuga-42M 데이터셋을 사용하여 단일 참조 (시작 프레임, 임의 프레임) 및 다중 참조 환경에서 TimeColor 를 평가했습니다.

• 정량적 성능: 기존 최첨단 모델 (LVCD, AniDoc, ToonCrafter, ToonComposer, LongAnimation, VACE 등) 보다 모든 설정에서 FID, FVD, SSIM, PSNR 등 주요 지표에서 우수한 성능을 기록했습니다. 특히 다중 참조 환경에서 성능 격차가 가장 컸습니다.
• 정성적 성능:
  • 색상 충실도: 참조된 팔레트를 정확하게 따르며, 기존 방법들에서 흔히 보이는 색상 번짐 (Bleeding) 이나 채도 저하 현상이 없습니다.
  • 정체성 일관성: 포즈나 뷰포인트가 크게 변하는 경우에도 캐릭터의 고유한 색상과 특징이 유지됩니다.
  • 시간적 안정성: 프레임 간 색상 깜빡임 없이 일관된 컬러화를 제공합니다.
• Ablation Study:
  • 모달리티 분리 RoPE 를 제거하면 색상 번짐과 불안정성이 발생합니다.
  • 대응성 마스크 어텐션 없이 전체 어텐션 (Full Attention) 을 사용하면 참조 간 간섭이 심화됩니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 애니메이션 제작 현장에서 실제로 필요한 '다양한 참조 소스 활용'과 '정확한 영역 할당' 문제를 해결하여, 수동 컬러화 작업을 획기적으로 줄일 수 있는 가능성을 제시했습니다.
• 기술적 혁신: 파라미터 수를 늘리지 않고도 유연한 참조 길이를 처리하는 '시간적 연결' 방식과, 참조 누출을 방지하는 '하드 마스크 어텐션'은 향후 참조 기반 생성 (Reference-guided Generation) 모델 설계에 중요한 시사점을 줍니다.
• 확장성: 이 연구는 단순한 컬러화를 넘어, 다양한 참조를 활용한 비디오 편집 및 생성 작업의 새로운 기준을 마련했습니다.

요약하자면, TimeColor는 기존의 단일 참조 의존성을 탈피하여, 복잡한 애니메이션 제작 환경에서도 여러 참조를 유연하고 정확하게 활용할 수 있도록 설계된 차세대 비디오 컬러화 모델입니다.