OmniColor: 다중 모달 라인아트 컬러링을 위한 통합 프레임워크

1. 문제 정의 (Problem)

라인아트 컬러링 (Lineart Colorization) 은 애니메이션, 만화, 게임 디자인 등 전문 콘텐츠 제작의 핵심 단계이지만, 다음과 같은 한계점이 존재합니다.

• 유연성 부족: 기존 방법들은 주로 텍스트 프롬프트, 희소 색상 힌트, 또는 참조 이미지 중 단 하나의 제어 신호에만 의존하도록 설계되어 있습니다.
• 복잡한 시나리오 대응 불가: 실제 제작 환경에서는 여러 개의 제어 신호 (예: 텍스트 설명 + 색상 힌트 + 캐릭터 참조 + 시간적 연속성) 가 동시에 필요하거나 상충될 수 있는데, 기존 모델은 이러한 다중 모달 (Multi-modal) 입력을 유연하게 결합하거나 충돌을 해결하지 못합니다.
• 정확성과 일관성: 구조적 경계 유지와 캐릭터의 정체성 (Identity) 일관성을 동시에 확보하는 것이 어렵습니다.

2. 방법론 (Methodology)

OmniColor 는 다양한 제어 신호를 유연하게 결합할 수 있는 통합 프레임워크를 제안합니다. 핵심 아키텍처는 다음과 같습니다.

가. 입력 신호의 이원적 분류 (Dual Categorization)
제어 신호를 두 가지 유형으로 명확히 구분하여 처리합니다.

1. 공간 정렬 조건 (Spatially-aligned Conditions): 타겟 출력과 픽셀 단위의 정밀한 정렬이 필요한 신호 (라인아트, 최근 프레임, 색상 힌트).
2. 시맨틱 참조 조건 (Semantic-reference Conditions): 픽셀 정렬 없이 고수준의 의미적/스타일적 가이드를 제공하는 신호 (텍스트 설명, 캐릭터 ID 참조, 장기 역사 프레임).

나. 핵심 기술 구성 요소

1. 이중 경로 인코딩 전략 (Dual-path Encoding):

   • 공간 조건 처리: VAE(고주파 세부 사항 및 정확한 색상 경계 보존) 와 VLM(시맨틱 이해) 을 병렬로 사용하여 이중 인코더를 적용합니다.
   • 밀도 특징 정렬 손실 (Dense Feature Alignment Loss, DFA): VAE 의 잠재 공간 한계를 보완하기 위해, 디노이징 (Denoising) 후기 단계에서 DINOv3 를 활용하여 예측 이미지와 정답 (GT) 간의 밀도 특징을 정렬합니다. 이를 통해 경계선 흐림을 방지하고 고주파 세부 사항을 복원합니다.
   • 시맨틱 참조 처리: VLM 만을 사용하여 압축된 시맨틱 토큰을 추출합니다. 이는 고해상도 특징 맵 생성을 피하여 계산 효율성을 극대화합니다.

2. 시간적 중복 제거 (Temporal Redundancy Elimination, TRE):

   • 애니메이션 시퀀스에서 연속된 프레임 간의 중복 정보를 제거합니다.
   • 인접 프레임 간의 패치 유사도 (색상 히스토그램) 를 계산하여 중복된 패치를 필터링하고, "델타 콘텐츠 (Delta-content)" 이미지만을 토큰 시퀀스로 변환합니다. 이를 통해 추론 속도를 높이고 토큰 길이를 단축합니다.

3. 적응형 공간 - 시맨틱 게이트 (Adaptive Spatial-Semantic Gating, AS-Gate):

   • 서로 다른 제어 신호 간 충돌 (예: 텍스트 설명과 국소 색상 힌트의 모순) 을 해결합니다.
   • 공간 정보의 밀도에 따라 시맨틱 토큰의 영향력을 동적으로 조절하는 게이트 메커니즘을 도입합니다. LoRA 구조를 사용하여 초기에는 항등 매핑 (Identity mapping) 으로 작동하다가 학습 과정에서 공간과 시맨틱 정보의 균형을 자동으로 학습합니다.

4. 기반 모델: Flow Matching 을 기반으로 한 멀티 모달 Diffusion Transformer (MMDiT) 를 사용합니다.

3. 주요 기여 (Key Contributions)

• 유니버설 프레임워크: 텍스트, 색상 힌트, ID 참조, 시간적 맥락 등 임의의 조합으로 제어 신호를 결합할 수 있는 최초의 통합 라인아트 컬러링 프레임워크를 제안했습니다.
• 효율적인 아키텍처 설계: 공간 정밀도와 시맨틱 유연성을 동시에 만족시키기 위한 이중 인코딩 전략과, 계산 효율성을 높이는 TRE 및 AS-Gate 모듈을 개발했습니다.
• 충돌 해결 메커니즘: 다중 조건 간의 모순을 동적으로 해결하여, 사용자가 명시적으로 지시한 부분 (예: 특정 색상) 을 우선시하면서도 전체적인 스타일 일관성을 유지합니다.

4. 실험 결과 (Results)

• 정량적 평가: 최신 SOTA 방법 (ControlNet, Tag2pix, MagicColor, Flux-Kontext 등) 과 비교하여 모든 지표 (FID, SSIM, PSNR, Image-Align 등) 에서 우수한 성능을 보였습니다. 특히 여러 조건을 결합했을 때 성능이 더욱 향상되었습니다.
• 사용자 연구: 10 명의 전문가를 대상으로 한 평가에서 구조적 충실도 (81.0%), 지시 준수 (42.1%), 시각적 품질 (59.9%) 등 모든 항목에서 압도적인 선호도를 기록했습니다.
• 질적 평가:
  • 복잡한 다중 인물 장면에서도 라인아트 구조를 정확히 따르며 텍스트 프롬프트에 부합하는 색상을 생성합니다.
  • 참조 이미지가 불완전한 경우 (예: 뒷모습만 보임) 도 캐릭터의 얼굴 특징과 헤어 컬러를 올바르게 추론합니다.
  • 시퀀스 생성 시 캐릭터 의상, 메이크업, 배경의 시간적 일관성을 완벽하게 유지합니다.
• 추론 효율성: TRE 모듈을 통해 토큰 수를 25% 감소시키고 추론 시간을 452 초에서 152 초로 단축했습니다.

5. 의의 및 의의 (Significance)

OmniColor 는 애니메이션 및 일러스트레이션 산업의 실제 제작 워크플로우에 직접 적용 가능한 실용적인 솔루션을 제공합니다.

• 창작자의 유연성 증대: 복잡한 제작 환경에서 다양한 제어 수단을 자유롭게 조합하여 원하는 결과를 얻을 수 있게 합니다.
• 기술적 진보: 공간적 정밀도와 시맨틱 창의성을 동시에 확보하는 새로운 패러다임을 제시하며, 다중 모달 생성 모델의 한계를 극복했습니다.
• 오픈 소스: 코드와 데이터셋을 공개하여 연구 및 산업계에서의 추가 발전의 기반을 마련했습니다.

이 논문은 AI 기반 콘텐츠 제작 도구로서, 단순한 자동화를 넘어 전문가의 창의적 의도를 정밀하게 반영하는 차세대 컬러링 기술의 표준을 제시합니다.