Towards High-resolution and Disentangled Reference-based Sketch Colorization

이 논문은 훈련과 추론 간의 분포 차이를 직접 최소화하기 위해 이진 분기 구조와 문법 정규화 손실, 그리고 SDXL 기반의 정밀 제어 모듈을 도입하여 고해상도이고 제어 가능한 참조 기반 스케치 채색의 새로운 표준을 제시합니다.

핵심

1. 문제: "누가 누구의 옷을 입었지?" (공간적 엉킴)

기존의 채색 기술은 마치 연극 배우가 대본 (스케치) 을 읽다가, 옆에 있는 다른 배우의 의상 (참고 이미지) 을 잘못 가져와 입는 상황과 비슷했습니다.

• 상황: 화가가 "여기 하늘을 파랗게 칠해"라고 스케치에 표시했는데, AI 는 옆에 있는 참고 이미지에서 "아! 저기 파란색이 있네!"라고 생각해서, 하늘이 아닌 캐릭터의 머리카락까지 파랗게 칠해버리거나, 스케치에 없는 물체가 갑자기 튀어나오는 어색한 결과가 나옵니다.
• 원인: AI 가 훈련할 때는 "스케치와 참고 이미지가 딱 맞는 짝꿍"으로만 배웠는데, 실제 사용할 때는 "서로 전혀 다른 스케치와 참고 이미지"를 섞어주니까 AI 가 혼란을 겪은 것입니다. 이를 논문에서는 **'공간적 엉킴 (Spatial Entanglement)'**이라고 부릅니다.

2. 해결책 1: "쌍둥이 훈련법" (이중 분기 구조)

이 문제를 해결하기 위해 연구진은 AI 에게 '쌍둥이'처럼 두 가지 상황을 동시에 훈련시키는 방법을 고안했습니다.

• 형 (올바른 훈련): 스케치와 참고 이미지가 딱 맞는 짝꿍일 때, "참고 이미지의 색만 가져와라! 모양은 스케치대로 해라!"라고 가르칩니다.
• 동생 (혼란 훈련): 스케치와 참고 이미지가 전혀 다른 짝꿍 (예: 고양이 스케치에 강아지 참고 이미지) 일 때, "아무리 참고 이미지가 강아지라도, 스케치가 고양이니까 고양이 모양을 지켜야 해!"라고 훈련시킵니다.
• 효과: 이 두 가지 상황을 비교하면서 AI 는 **"색감은 참고 이미지에서 가져오되, 모양과 구조는 오직 스케치에만 의존해야 한다"**는 규칙을 완벽하게 깨우치게 됩니다. 마치 색칠공부를 할 때, "색만 따라 하고 선은 네가 그린 대로 지켜라"라고 엄격하게 훈련시키는 것과 같습니다.

3. 해결책 2: "세부 묘사 전문가" (WD-Tagger 와 플러그인)

단순히 모양과 색만 맞추는 게 아니라, 고화질 (HD) 로 그릴 때 질감까지 살아나게 하는 기술도 추가했습니다.

• WD-Tagger (세부 묘사 전문가): 기존 AI 는 "파란색"이라고만 대충 이해했지만, 이 새로운 기술은 "눈동자 색, 머리카락 빛, 옷감의 주름"까지 **애니메이션 특유의 미세한 특징 (태그)**을 정확히 인식합니다. 마치 전문 미용사가 머리카락 하나하나의 결까지 신경 쓰며 스타일링을 해주는 것과 같습니다.
• 플러그인 모듈 (배경 전문가): 캐릭터는 잘 그리는데 배경이 흐릿하거나 엉망이 되는 경우가 많죠. 이 모듈은 **배경과 전체적인 분위기 (스타일)**를 참고 이미지에서 자연스럽게 끌어와 채워줍니다.

---

🌟 요약: 이 기술이 왜 대단한가요?

1. 고화질 (High-Resolution): 기존 기술은 그림을 크게 하면 흐릿해지거나 깨졌는데, 이 기술은 1024px~1280px 이상의 고해상도에서도 선명하고 질감이 살아있는 그림을 만들어냅니다.
2. 정확한 제어 (Disentangled): "이 부분만 이 색으로, 저 부분은 저 색으로"라고 요구하면 AI 가 정확하게 구분해서 채색해 줍니다. (예: 하늘은 파랗게, 캐릭터 머리는 갈색으로)
3. 실제 활용도: 애니메이션 제작이나 디지털 일러스트 작업에서, 화가가 스케치만 그리면 AI 가 전문가 수준의 채색 작업을 대신해 줄 수 있어 시간을 획기적으로 단축해 줍니다.

한 줄 요약:

"이 기술은 AI 에게 '색깔은 참고해서 가져오되, 모양은 내가 그린 스케치대로만 지켜라'는 철칙을 가르쳐서, 흐트러짐 없이 선명하고 아름다운 고화질 채색 그림을 만들어내는 혁신적인 방법입니다."

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 이미지 기반 스케치 채색 (Image-referenced Sketch Colorization) 작업에서 발생하는 근본적인 문제인 **분포 편이 (Distribution Shift)**와 이로 인한 **공간적 얽힘 (Spatial Entanglement)**을 해결하는 데 중점을 둡니다.

• 분포 편이 (Distribution Shift): 기존 모델은 훈련 데이터 (스케치와 참조 이미지가 동일한 Ground Truth 에서 파생된 정렬된 쌍) 와 추론 데이터 (임의로 짝지어진 스케치와 참조 이미지) 간의 분포 차이로 인해 어려움을 겪습니다.
• 공간적 얽힘 (Spatial Entanglement): 모델이 훈련 과정에서 참조 이미지의 색상 정보뿐만 아니라 **공간적 구조 (Spatial Semantics)**까지 잘못 학습하게 됩니다. 이로 인해 스케치의 기하학적 구조와 참조 이미지의 구조가 혼재되어, 채색 결과물에 원치 않는 객체가 생성되거나, 색상이 경계를 넘어 번지는 (Color Bleeding), 구조적 왜곡 등의 아티팩트가 발생합니다.
• 기존 방법의 한계: 기존 연구들은 이러한 아티팩트를 완화하는 데 집중했으나, 분포 편이 문제를 근본적으로 해결하지 못해 고해상도 출력 시 품질 저하와 제어력 부족이 발생했습니다.

2. 제안 방법론 (Methodology)

저자들은 분포 편이를 명시적으로 모델링하고 해결하기 위해 이중 분기 특징 정렬 (Dual-Branch Feature Alignment, DBFA) 아키텍처를 제안합니다. 전체 프레임워크는 SDXL(Stable Diffusion XL) 을 백본으로 사용합니다.

가. 이중 분기 구조 (Dual-Branch Architecture)

훈련 과정에 두 개의 분기를 도입하여 분포 편이를 직접 모델링합니다.

1. 의미 정렬 분기 (Semantic-Aligned Branch): 훈련 데이터와 동일하게 Ground Truth 에서 파생된 스케치와 참조 이미지를 입력받아 훈련 과정을 시뮬레이션합니다.
2. 의미 불일치 분기 (Semantic-Misaligned Branch): 무작위로 샘플링된 서로 다른 스케치와 참조 이미지 쌍을 입력받아 추론 과정을 시뮬레이션합니다.

나. 그람 정규화 손실 (Gram Regularization Loss)

두 분기 간의 특징 맵에 그람 행렬 (Gram Matrix) 기반의 정규화 손실을 적용합니다.

• 목적: 의미 불일치 분기가 의미 정렬 분기의 특징과 정렬되도록 강제하여, 참조 이미지에서 공간적 구조 정보가 전이되는 것을 방지합니다.
• 원리: 두 분기 모두 동일한 스케치를 입력으로 받기 때문에, 생성된 공간적 특징이 참조 이미지에 의존하지 않고 스케치에만 의존하도록 강제합니다. 이를 통해 **기하학과 스타일의 분리 (Disentanglement)**를 달성합니다.
• 구현: U-Net 의 인코더와 디코더의 최종 트랜스포머 블록에서 계산되며, 'Self-anchoring' 메커니즘을 통해 외부 네트워크 없이 단일 훈련 단계 내에서 작동합니다.

다. WD-Tagger 네트워크 (Precise Attribution Control)

• SDXL 의 기존 CLIP-L 텍스트 인코더를 WD-Tagger(애니메이션 특화 태깅 네트워크) 로 대체합니다.
• 머리카락 색상, 의류 종류, 배경 테마 등 애니메이션 특유의 세밀한 속성 (Attribution) 을 정밀하게 제어할 수 있는 임베딩을 제공하여, 채색의 정확도와 일관성을 높입니다.

라. 플러그인 모듈 (Feature-level Plugin)

• 저수준 시각 특징 (Texture) 전달을 위해 별도의 인코더 모듈을 도입합니다.
• 특히 배경 영역의 스타일 일관성과 세부 질감을 향상시키고, 참조 이미지에 배경이 없을 때 발생하는 임의의 배경 생성 문제를 해결합니다.

3. 주요 기여 (Key Contributions)

1. 분포 편이 모델링 및 해결: 훈련 과정과 추론 과정을 각각 모델링하는 이중 분기 구조와 그람 정규화 손실을 통해 분포 편이 문제를 근본적으로 해결하고 공간적 얽힘을 제거했습니다.
2. 고해상도 및 정밀 제어: SDXL 백본과 애니메이션 특화 WD-Tagger 를 결합하여 고해상도 (1024px~1280px) 출력과 세밀한 속성 제어를 가능하게 했습니다.
3. 성능 입증: 정성적/정량적 비교 및 사용자 연구를 통해 기존 최첨단 (SOTA) 방법들보다 우수한 품질, 해상도, 제어력을 입증했습니다.

4. 실험 결과 (Results)

• 정성적 비교 (Qualitative):

  • 기존 방법들 (Yan et al., ColorizeDiffusion, MangaNinja 등) 은 고해상도에서 아티팩트 발생, 배경 왜곡, 색상 번짐 등의 문제가 있었습니다.
  • 제안된 방법은 배경의 무지개, 모자 색상, 하늘 색상 등 세부 속성을 정확하게 분리하여 제어하며, 아티팩트 없이 선명한 질감과 조화로운 색상을 생성했습니다.
  • 서로 다른 도메인 (예: 인물 스케치 + 풍경 참조) 간의 크로스 콘텐츠 채색에서도 높은 품질을 유지했습니다.

• 정량적 비교 (Quantitative):

  • FID (Fréchet Inception Distance): 8.28 로 기존 방법들 (Yan et al. 12.09, ColorizeDiff 13.42 등) 보다 현저히 낮아 생성된 이미지의 분포가 실제 데이터에 더 가깝습니다.
  • MS-SSIM, CLIP Score: 구조적 유사성과 의미적 정렬 측면에서도 최상위 성능을 기록했습니다.
  • 참고: MangaNinja 는 PSNR 에서 높은 점수를 받았으나, 이는 제한된 해상도 (512px) 와 복잡한 배경 생성 실패로 인한 평균화 효과로 해석됩니다.

• 사용자 연구 (User Study):

  • 30 명의 참가자를 대상으로 한 연구에서 제안된 방법이 모든 비교 대상 (6 개 방법) 에 대해 **가장 높은 선호도 (최대 79.6%)**를 기록했습니다.

5. 의의 및 결론 (Significance)

이 논문은 스케치 채색 분야에서 오랫동안 해결되지 않았던 분포 편이와 공간적 얽힘 문제를 체계적으로 분석하고, 이중 분기 구조와 그람 정규화를 통해 근본적으로 해결한 첫 번째 연구 중 하나입니다.

• 기술적 의의: 생성 모델이 훈련 데이터와 추론 데이터 간의 차이를 명시적으로 학습하고 보정할 수 있는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 애니메이션 및 디지털 일러스트레이션 제작 워크플로우에서 고해상도, 고품질, 정밀한 제어가 가능한 자동화 도구를 제공하여, 제작 시간 단축과 품질 향상에 기여할 것으로 기대됩니다.
• 오픈소스: 코드와 모델은 GitHub 에서 공개되어 재현성과 추가 연구에 기여하고 있습니다.

요약하자면, 이 연구는 고해상도와 해리된 (Disentangled) 속성 제어를 동시에 달성하여 스케치 채색 작업의 SOTA 를 재정의한 획기적인 논문입니다.