SketchingReality: From Freehand Scene Sketches To Photorealistic Images

1. 문제 정의 (Problem Statement)

최근 생성형 AI 는 자연어 프롬프트를 기반으로 한 이미지 생성에서 괄목할 만한 성과를 거두었으나, 사용자의 제어를 위한 조건부 신호 (depth maps, edge maps 등) 로 다양한 입력 모달리티가 연구되고 있습니다. 이 중 **자유로운 손으로 그린 스케치 (Freehand Sketches)**는 복잡한 시각적 개념을 빠르게 전달할 수 있는 자연스러운 입력 수단이지만, 기존 방법론들은 이를 효과적으로 처리하지 못합니다.

• 기존 연구의 한계: 대부분의 기존 연구는 정밀한 **에지 맵 (Edge Maps)**이나 '스케치'라고 오인된 정렬된 선분에 초점을 맞추었습니다. 반면, 실제 인간의 손으로 그린 스케치는 추상화, 왜곡된 비율, 모호한 형태를 포함하고 있어 단일 정답 (Ground Truth) 이 존재하지 않습니다.
• 핵심 과제:
  1. 추상적 스케치 해석: 기존 모델 (ControlNet, T2I-Adapter 등) 은 스케치의 세부적인 에지 위치를 강하게 따르려다 보니, 추상적인 스케치의 의미 (Semantic) 를 놓치거나 비현실적인 이미지를 생성하는 경우가 많습니다.
  2. 픽셀 정렬의 부재: 자유로운 스케치와 실제 사진은 픽셀 단위로 정렬되어 있지 않으므로, 기존의 픽셀 기반 손실 함수 (Pixel-aligned loss) 를 적용하기 어렵습니다.

이 논문은 **자유로운 손으로 그린 스케치 (Freehand Sketch)**를 입력받아, 스케치의 의미적 구조를 유지하면서도 **광학적 사실감 (Photorealism)**이 높은 이미지를 생성하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 두 가지 핵심 기법을 제안하여 위 문제를 해결합니다.

A. 의미 기반 스케치 특징 추출 및 변조 네트워크 (Semantic Sketch Features & Modulation Network)

기존의 VAE 인코더나 합성곱 인코더는 스케치의 추상적 의미 이해에 한계가 있습니다. 이를 극복하기 위해 다음과 같은 아키텍처를 설계했습니다.

• CLIP 기반 스케치 인코더 활용: FS-COCO 데이터셋으로 학습된 사전 학습된 CLIP 기반 스케치 인코더를 사용하여, 스케치에서 **의미적 특징 (Semantic Features)**을 추출합니다. 이는 객체의 종류와 위치를 파악하는 데 중점을 둡니다.
• 미세 조정 (Fine-tuning): 추출된 특징의 정밀도를 높이기 위해 인코더의 마지막 3 개 레이어를 태스크에 맞게 미세 조정합니다.
• 변조 네트워크 (Modulation Network): 추출된 의미적 특징을 잠재 공간 (Latent Space) 의 확산 모델 (Diffusion Model) 에 주입하기 위한 전용 네트워크입니다.
  • 입력: 스케치 특징, 잠재 변수 ($z_t$), 예측된 노이즈 ($\epsilon_\theta$).
  • 출력: 스케일 맵 ($S_t$) 과 쉬프트 맵 ($B_t$).
  • 작동 원리: 예측된 노이즈를 $\epsilon'_\theta = \epsilon_\theta \odot (1 + S_t) + B_t$와 같이 변조하여, 텍스트 조건과 스케치의 의미적 맥락을 결합합니다. 이는 픽셀 정렬 없이도 의미론적 제어를 가능하게 합니다.

B. 픽셀 정렬이 불필요한 새로운 손실 함수 (Novel Loss Function)

자유로운 스케치에는 정렬된 참조 이미지가 없으므로, 기존 확산 모델의 노이즈 예측 손실만으로는 학습이 어렵습니다. 저자들은 **주의력 감독 (Attention Supervision)**을 기반으로 한 새로운 손실 함수를 제안합니다.

• 의미적 주의력 지도 (Semantic Attention Map): 사전 학습된 스케치 인코더를 사용하여 스케치의 각 픽셀이 어떤 객체 범주에 속할지 확률 (Likelihood) 을 계산하고, 이를 'Ground Truth' 주의력 맵 ($M_{grth}$) 으로 사용합니다.
• 교차 주의력 손실 (Cross-Attention Loss): 생성된 이미지의 잠재 표현에서 추출된 교차 주의력 맵 ($M$) 이 $M_{grth}$와 정렬되도록 유도합니다. 즉, 텍스트 토큰 (예: "bear") 이 스케치에서 해당 객체가 그려진 영역에 집중하도록 학습시킵니다.
• 학습 전략: 실제 자유로운 스케치와 알고리즘적으로 생성된 합성 스케치 (Synthetic Sketches) 를 혼합하여 학습합니다. 합성 스케치는 픽셀 정렬 정보를 제공하고, 자유로운 스케치는 의미적 추상화를 학습하게 합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 생성 방법론: 추상적이고 왜곡된 자유로운 손으로 그린 장면 스케치 (Freehand Scene Sketches) 에서 사실적인 이미지를 생성하는 새로운 방법을 제시했습니다.
2. 잠재 공간 의미 변조: CLIP 기반 스케치 인코더에서 추출한 의미적 특징을 변조 네트워크를 통해 확산 모델의 잠재 공간에 효과적으로 통합하는 아키텍처를 제안했습니다.
3. 새로운 학습 손실 함수: 픽셀 정렬된 Ground Truth 가 없는 상황에서도 스케치의 의미적 구조를 보존하며 학습할 수 있는 '주의력 기반 손실 함수 (Attention-based Loss)'를 개발했습니다.
4. 성능 입증: 기존 방법론 (ControlNet, T2I-Adapter 등) 보다 스케치 준수도와 이미지 사실감 (Photorealism) 모두에서 우수한 성능을 보임을 정량적/정성적 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: FS-COCO (Freehand Scene Sketches) 데이터셋의 475 개 테스트 샘플을 사용했습니다.
• 비교 대상: ControlNet (SD2.1, SDXL), T2I-Adapter, ControlNext, FreeControl 등 최신 SOTA 방법론과 비교했습니다.
• 정량적 평가:
  • FID (Fréchet Inception Distance): 제안된 방법이 121.973으로 가장 낮아 (가장 좋음), 생성된 이미지의 품질과 다양성이 뛰어남을 보였습니다. (ControlNet SD2.1: 135.595, T2I-Adapter: 137.982 등)
  • CLIP Similarity: 스케치와 생성된 이미지의 의미적 유사도가 1.291로 가장 높았습니다.
  • LPIPS: 지각적 유사도에서 0.739로 가장 우수했습니다.
• 정성적 평가:
  • 기존 방법들은 스케치를 너무 엄격하게 따르려다 이미지가 왜곡되거나, 반대로 사실감을 위해 스케치를 무시하는 경향이 있었습니다.
  • 제안된 방법은 스케치의 객체 위치, 방향, 형태 (예: 왼쪽을 향한 곰, 등선의 곡선) 를 잘 유지하면서도 사진처럼 자연스러운 이미지를 생성했습니다.
• 사용자 연구: 23 명의 참가자를 대상으로 한 평가에서, 제안된 방법은 **가장 좋은 균형 (Best Trade-off)**을 가진 방법으로 압도적으로 선호되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 생성형 AI 분야에서 **픽셀 정렬 (Pixel-aligned)**에 의존하던 기존 패러다임을 의미 인식 (Semantic-aware) 패러다임으로 전환하는 중요한 시도로 평가됩니다.

• 실용성: 사용자가 복잡한 설명 없이 몇 번의 선으로 구상한 아이디어를 바로 고품질의 사실적인 이미지로 변환할 수 있게 하여, 인간 중심의 인터랙티브 생성 도구로서의 가능성을 열었습니다.
• 기술적 혁신: Ground Truth 가 부재한 추상적인 입력 (Freehand Sketch) 에 대해 효과적으로 학습할 수 있는 새로운 손실 함수와 변조 메커니즘을 제시함으로써, 향후 다양한 비정형 입력 (Non-rigid inputs) 을 다루는 연구에 중요한 기초를 제공합니다.
• 확장성: SD2.1 뿐만 아니라 SDXL 백본에서도 우수한 성능을 발휘하여, 모델 아키텍처에 구애받지 않는 유연성을 입증했습니다.

요약하자면, 이 연구는 "그림이 어떻게 생각되는가 (What is in the scene)"에 집중하여, 인간의 직관적인 스케치를 고품질 이미지로 변환하는 새로운 기준을 제시했습니다.