1. 문제 정의 (Problem Statement)

기존의 스케치 색칠 (Sketch Colourisation) 작업은 다음과 같은 한계점을 가지고 있습니다:

• 텍스트 프롬프트의 공간적 모호성: 텍스트 기반의 프롬프트는 의미론적으로는 강력하지만, 특정 영역에 정밀하게 색상을 적용하는 데 있어 공간적 제어력이 부족합니다.
• 수동 작업의 비효율성: 전통적인 방법은 사용자가 직접 영역을 지정하고 색상을 할당하는 수동 과정이 필요하여 시간이 많이 소요됩니다.
• 모델 미세 조정 (Fine-tuning) 의 필요성: 많은 기존 방법들은 특정 도메인에 맞춰 모델을 재학습하거나 미세 조정해야 하므로, 계산 비용이 높고 유연성이 떨어집니다.
• 정확성과 편의성의 트레이드오프: 기존 방법들은 정밀한 제어를 제공하지만 너무 번거롭거나, 빠르지만 색상 번짐 (Colour bleeding) 이나 의미론적 오류가 발생하는 경우가 많습니다.

이 논문은 학습 (Training) 이나 미세 조정 없이, 사용자가 직접 **영역 마스크 (Region Masks)**와 **색상 팔레트 (Colour Palettes)**를 지정하여 스케치의 특정 영역에 정밀하고 일관된 색상을 입히는 새로운 접근법을 제안합니다.

2. 제안 방법론 (Methodology: SketchDeco)

SketchDeco 는 학습이 필요 없는 (Training-Free) 접근법으로, 스케치를 컬러 이미지로 변환하는 작업을 잠재 공간 (Latent Space) 의 합성 문제로 재정의합니다. 전체 파이프라인은 두 단계로 나뉩니다.

A. 전역 스케치 색칠 (Global Sketch Colourisation)

• 입력: 스케치 이미지, 색상 팔레트 (16 진수 코드).
• 프로세스:
  1. 스케치 의미 예측: BLIP-2 를 활용한 시각 - 언어 (VQA) 모델을 사용하여 스케치에 포함된 객체의 클래스 (예: "고양이", "자동차") 를 추론합니다.
  2. 색상 이름 매핑: 사용자가 입력한 16 진수 색상 코드를 CSS3 표준 색상 이름 (예: "olive", "teal") 으로 변환하기 위해 K-D Tree 알고리즘을 사용합니다. 이는 CLIP 텍스트 인코더가 이해할 수 있는 형태로 만듭니다.
  3. 이미지 생성: Scribble ControlNet 과 Stable Diffusion 을 결합하여, 추론된 객체 클래스와 색상 이름을 프롬프트로 사용하여 스케치의 구조를 유지하면서 전역적으로 색칠된 이미지 ($I^G$) 를 생성합니다.
  4. 보조 이미지 생성: 색상 설명이 없는 보조 이미지 ($I^G_{P\phi}$) 도 생성하여 이후 합성 단계에서 배경으로 활용합니다.

B. 지역 스케치 색칠 (Local Sketch Colourisation)

사용자가 지정한 마스크 영역에 정확한 색상을 적용하고 경계를 자연스럽게 합성하는 핵심 단계입니다.

• 입력: 전역 색칠 결과물, 사용자 정의 영역 마스크, 색상 팔레트.
• 프로세스:
  1. 픽셀 공간 합성: 각 마스크 영역에 해당하는 전역 색칠 이미지를 잘라내어 배경 이미지와 픽셀 단위로 합성합니다 ($I^*$).
  2. ODE 역전파 (Inversion): 합성된 이미지 $I^*$를 **DPM-Solver++**를 사용하여 역방향 ODE (Ordinary Differential Equation) 를 통해 잠재 공간의 노이즈 ($z^*$) 로 변환합니다.
     • 중요: 역전파 시 안정성을 높이기 위해 일반적인 Null Prompt 대신 Exceptional Prompt를 사용하여 역전파 오차를 줄입니다.
  3. 가우시안 노이즈 주입: 합성된 이미지의 경계 영역 (Transition area) 에 가우시안 노이즈를 추가하여 생성 모델의 선천적 지식 (Generative Priors) 이 경계를 자연스럽게 채우도록 유도합니다.
  4. 자기 주의 (Self-Attention) 주입 및 guided sampling:
     • 합성된 이미지의 Self-Attention 맵을 추출하여 디노이징 과정에 주입합니다. 이는 스케치의 구조와 원래 색상을 유지하는 데 기여합니다.
     • **스케일링 팩터 ($\tau$)**를 도입하여 초기 단계에서는 구조 유지 (Self-Attention) 에 집중하고, 후기 단계에서는 텍스트 프롬프트에 기반한 색상 혼합 (Blending) 에 집중하도록 균형을 맞춥니다.
  5. 최종 생성: 가이드 샘플링을 통해 최종 컬러링된 이미지 ($I^L$) 를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 영역 기반의 정밀한 제어 프레임워크: 텍스트 프롬프트의 모호성을 극복하고, 마스크와 팔레트를 통해 사용자가 직접 특정 영역의 색상을 정밀하게 지정할 수 있는 새로운 프레임워크를 제시합니다.
2. 잠재 공간 합성 기술 (Latent-Space Composition): Diffusion 역전파 (Inversion) 와 가이드 샘플링을 결합하여, 지역적인 색상 충실도 (Fidelity) 와 전역적인 조화 (Harmony) 를 동시에 달성하는 기술을 개발했습니다.
3. 적응형 주의 메커니즘: 스케치 구조 보존과 제어된 색상 확산 사이의 균형을 자동으로 조절하는 맞춤형 Self-Attention 메커니즘을 도입했습니다.
4. 효율적인 학습 불필요 (Training-Free) 방법: 모델의 재학습이나 미세 조정 없이, 기존 사전 학습된 모델 (Stable Diffusion, ControlNet, BLIP-2) 만을 활용하여 소비자용 GPU(RTX 4090 등) 에서 15~20 단계를 거쳐 고품질 결과를 생성합니다.

4. 실험 결과 (Results)

• 데이터셋: AFHQ(동물), Place365(실내/실외), Danbooru2023(애니메이션), PascalVOC2012(다중 객체) 등 다양한 도메인에서 평가되었습니다.
• 성능:
  • 정량적 평가: FID(이미지 품질), DCCW(팔레트 유사성), PSNR, SSIM 등 여러 지표에서 기존 SOTA 방법들 (DiffBlender, T2I-Adapter, ColorizeDiffusion 등) 보다 우수한 또는 경쟁력 있는 성능을 보였습니다. 특히 전역 일관성과 지역 색상 정확도 모두에서 높은 점수를 기록했습니다.
  • 정성적 평가: 기존 방법들은 색상 번짐이나 구조 왜곡이 발생했으나, SketchDeco 는 스케치의 선명도를 유지하면서도 사용자가 지정한 색상이 정확한 영역에 자연스럽게 적용되는 결과를 보여주었습니다.
• 실제 적용: Freepik 에서 무작위로 추출한 실제 스케치에 대해서도 높은 적응성을 보였습니다.

5. 의의 및 결론 (Significance)

SketchDeco 는 전문적인 디자인 워크플로우와 직관적인 사용자 제어 사이의 간극을 해소합니다.

• 접근성: 별도의 학습 없이 소비자용 GPU 에서 빠르게 실행 가능하여, 디자이너나 아티스트에게 즉시 활용 가능한 도구를 제공합니다.
• 정밀성: 텍스트 프롬프트의 한계를 넘어, 마스크와 색상 팔레트를 통해 "어디에 어떤 색을 칠할지"를 명확히 지시할 수 있게 하여 창의적인 작업을 지원합니다.
• 기술적 혁신: Diffusion 모델의 잠재 공간에서 역전파와 합성을 결합하여 구조와 색상을 동시에 제어하는 새로운 패러다임을 제시했습니다.

결론적으로, 이 연구는 학습 비용 없이도 고품질의 정밀한 스케치 색칠이 가능함을 증명하며, 생성형 AI 를 활용한 디자인 도구로서의 가능성을 크게 확장했습니다.