Sketch-Guided Stylized Landscape Cinemagraph Synthesis

이 논문은 손으로 그린 스케치를 기반으로 텍스트 프롬프트와 결합하여 스타일화된 풍경의 공간적 요소와 유동적인 움직임 영역을 정밀하게 제어할 수 있는 'Sketch2Cinemagraph' 프레임워크를 제안합니다.

핵심

이 논문은 **"스케치로 움직이는 그림을 만드는 마법"**에 대한 이야기입니다.

기존에 정지된 사진에 물이나 연기 같은 '움직임'을 추가하는 작업은 전문가만 할 수 있는 어려운 일이었습니다. 하지만 이 연구팀이 개발한 **'스케치투시네마그래프 (Sketch2Cinemagraph)'**라는 새로운 기술은, 우리가 손으로 그린 단순한 스케치만으로도 아름다운 움직이는 그림을 만들어냅니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 요리사, 건축가, 그리고 마법사의 이야기를 통해 설명해 드릴게요.

---

1. 핵심 아이디어: "그림을 그리면, 그림이 살아납니다"

상상해 보세요. 여러분이 종이에 **강물 (물)**과 **산 (바위)**을 그림으로 그렸다고 칩시다.

• 기존 방식: 전문가가 컴퓨터로 일일이 물의 흐름을 계산하고, 바위를 고정해야 했습니다.
• 이 새로운 방식: 여러분이 그림에 화살표를 그려 "여기서 저쪽으로 물이 흘러가게 해줘"라고 지시하면, 컴퓨터가 알아서 그 흐름을 만들어냅니다. 마치 여러분의 그림이 살아서 움직이는 것처럼요!

2. 이 기술이 어떻게 작동할까요? (3 단계 요리 과정)

이 시스템은 크게 세 단계로 나뉩니다. 마치 요리사가 요리를 하듯 말이죠.

1 단계: 배경 요리하기 (스타일링)

먼저, 사용자가 그린 구조 스케치 (산, 강, 바다의 윤곽) 와 텍스트 (예: "모네 스타일의 달빛 아래 마을") 를 입력합니다.

• 비유: 요리사가 재료 (스케치) 를 보고 "오늘은 인상파 스타일의 요리를 해보자"라고 결정한 뒤, 아름다운 풍경 사진을 그립니다. 이때 중요한 건, 실제 사진처럼 보이는 버전과 예술적인 그림처럼 보이는 버전을 동시에 만든다는 점입니다.
• 왜? 실제 사진처럼 생긴 버전을 만들어야 물이 어떻게 흐르는지 (물리 법칙) 를 정확히 계산할 수 있기 때문입니다.

2 단계: 흐름 지도 그리기 (움직임 예측)

이제 가장 중요한 부분입니다. 사용자가 움직임 스케치 (흰색에서 검은색으로 이어지는 화살표) 를 그립니다. "물이 이쪽으로 소용돌이치게 해줘"라고요.

• 비유: 요리사가 "소스 (물) 는 이 방향으로 흘러가게 해줘"라고 지시하면, **마법 같은 지도 (운동장)**가 그려집니다. 이 지도는 물이 어떤 방향으로, 얼마나 빠르게 흐를지 정밀하게 계산합니다.
• 기술적 특징: 기존 기술은 화살표 하나만 주면 직선으로만 흐르게 했지만, 이 기술은 구불구불한 강물이나 소용돌이처럼 복잡한 흐름도 자연스럽게 따라갑니다.

3 단계: 완성된 요리를 접시에 담기 (시네마그래프 합성)

마지막으로, 앞서 그린 예술적인 풍경 그림에, 2 단계에서 계산한 흐름 지도를 적용합니다.

• 비유: 요리사가 완성된 요리를 접시에 담되, 바위나 나무는 움직이지 않고, 물과 연기만 부드럽게 흐르도록 처리합니다.
• 결과: 정지된 그림이지만, 물은 흐르고 연기는 피어오르는 살아있는 시네마그래프가 완성됩니다.

3. 왜 이 기술이 특별한가요? (기존 기술과의 차이)

• 기존의 문제점:

  • 텍스트만으로는 부족: "물이 위로 흐르게 해줘"라고 말하면, 물이 위로만 쭉 올라가는 단순한 움직임만 나옵니다. 복잡한 강물 흐름을 표현하기엔 부족합니다.
  • 화살표의 한계: 화살표 몇 개만 주면, 물이 갑자기 꺾이거나 끊어지는 어색한 모습이 나옵니다. 마치 끊어진 영화처럼요.

• 이 기술의 장점:

  • 자유로운 스케치: 사용자가 원하는 대로 구불구불한 선을 그으면, 컴퓨터는 그 선을 따라 자연스럽게 물이 흐르게 만듭니다.
  • 정밀한 제어: "여기서는 빠르게, 저기서는 느리게"라고 그림으로 지시하면, 그 부분만 정확히 반응합니다.
  • 실사 사진에도 적용 가능: 직접 찍은 여행 사진에 스케치만 추가하면, 그 사진 속 강물도 움직이게 만들 수 있습니다.

4. 결론: 누구나 예술가가 될 수 있습니다

이 기술은 **"움직이는 그림"**을 만드는 것을 전문가의 영역에서 누구나 할 수 있는 놀이로 바꾸었습니다.

• 전문가만 하던 일: "이 물결을 어떻게 움직일까?"라고 고민하며 수백 번의 시도를 해야 했습니다.
• 이제 누구나: "여기서 저쪽으로 흘러가게 해"라고 그림을 그리면, 컴퓨터가 알아서 완벽한 움직임을 만들어냅니다.

마치 **마법 지팡이 (스케치)**를 휘두르면, 정지된 풍경이 살아 움직이는 동화 속 세상으로 변하는 것과 같습니다. 이 기술은 앞으로 여행 사진, 예술 작품, 그리고 다양한 디지털 콘텐츠 제작에 큰 변화를 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 시네마그래프 (Cinemagraph) 는 정지 이미지와 동영상을 융합하여 특정 부분만 움직이는 매혹적인 시각 효과를 제공합니다.
• 현재의 한계:
  • 전문성 요구: 고품질 시네마그래프 제작은 이미지 편집 및 애니메이션 설계에 대한 높은 전문성과 시간이 필요합니다.
  • 제어의 비직관성: 기존 생성 모델 (GAN, Diffusion 등) 은 텍스트 프롬프트나 단순한 화살표/화살표 힌트 (arrows/hints) 에 의존합니다. 이는 복잡한 유체 (물, 연기, 구름 등) 의 비선형적이고 정교한 흐름을 사용자가 직관적으로 설계하는 데 한계가 있습니다.
  • 일반화 부족: 기존 방법들은 주로 참조 비디오나 물리 시뮬레이션에 의존하여, 보지 못한 새로운 시나리오나 다양한 흐름 패턴에 적용하기 어렵습니다.
• 목표: 사용자가 손으로 그린 스케치 (구조 스케치 및 운동 스케치) 를 통해 직관적이고 세밀하게 제어 가능한 스타일화된 풍경 시네마그래프를 생성하는 프레임워크 개발.

2. 제안 방법론 (Methodology: Sketch2Cinemagraph)

제안된 프레임워크는 구조 스케치 (Structural Sketch) 와 운동 스케치 (Motion Sketch) 를 입력받아 세 단계로 구성됩니다.

A. 스타일화된 풍경 이미지 생성 (Stylized Landscape Image Generation)

• 입력: 구조 스케치 (검은색 실선) 와 텍스트 프롬프트 (예: "바다", "폭포", "모네 스타일").
• 기술:
  • ControlNet 과 DreamBooth 결합: 기존 ControlNet 은 스케치 이해는 뛰어나지만 자연스러운 풍경 생성에는 한계가 있습니다. 이를 해결하기 위해 DreamBooth를 사용하여 풍경 데이터셋 (4,750 장) 의 특정 유체 텍스처 (강, 바다, 폭포) 에 대해 잠재 확산 모델 (LDM) 을 미세 조정 (Fine-tuning) 했습니다.
  • 이중 생성: 미세 조정된 LDM 은 동일한 구조 스케치와 텍스트 프롬프트를 기반으로 스타일화된 이미지와 리얼리즘 (실사) 버전 이미지를 동시에 생성합니다.
  • 목적: 리얼리즘 이미지는 이후 운동장 (Motion Field) 추정을 위한 물리적 참조로 사용되며, 구조 스케치는 두 도메인의 공간적 정렬을 보장합니다.

B. 스케치 유도 운동 예측 (Sketch-guided Motion Prediction)

• 핵심 모듈: 잠재 운동 확산 모델 (Latent Motion Diffusion Model, LMDM).
• 입력: 생성된 리얼리즘 이미지, 텍스트 프롬프트, 유체 영역 마스크, 운동 스케치 (흰색에서 검은색으로 그라데이션되는 선으로 흐름 방향 표시).
• 기술:
  • LMDM 구조: 기존 ControlNet 의 스케치 이해 능력을 활용하여, 희소한 운동 스케치를 밀집된 픽셀 단위 운동장으로 변환합니다.
  • 크로스 어텐션 (Cross-Attention): 생성된 리얼리즘 이미지의 특징을 텍스트 임베딩과 정렬시키기 위해 IP-Adapter 에서 영감을 받아 U-Net 의 각 레이어에 새로운 크로스 어텐션 레이어를 추가했습니다.
  • 마스크 추출: Grounded SAM 을 사용하여 텍스트 프롬프트로 유체 영역을 감지하고, 이를 운동 스케치와 교집합하여 불필요한 영역을 제거한 정밀한 유체 마스크를 생성합니다.

C. 스타일화된 시네마그래프 합성 (Stylized Cinemagraph Synthesis)

• 과정:
  1. 예측된 운동장 ($F_M$) 을 기반으로 유체 영역의 픽셀을 다음 프레임으로 이동 (Warping) 시킵니다.
  2. 오일러 적분 (Euler Integration): 반복 계산을 줄이고 연속성을 보장합니다.
  3. 대칭 스플래팅 (Symmetric Splatting): 심층 특징 공간 (Deep Feature Space) 에서 양방향 워핑을 수행하여 경계에서의 홀 (Holes) 을 방지하고 자연스러운 루핑을 구현합니다.
  4. 프레임 생성: U-Net 기반 프레임 생성기를 통해 특징 맵을 RGB 이미지로 디코딩하여 최종 시네마그래프 프레임을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 손으로 그린 스케치 (구조 및 운동) 에서 직접 스타일화된 풍경 시네마그래프를 생성하는 최초의 스케치 유도 프레임워크 제안.
2. LMDM (Latent Motion Diffusion Model): 입력된 운동 스케치를 기반으로 풍경 이미지의 유체 요소 운동장을 예측하는 확산 기반 네트워크 개발.
3. 구조 - 운동 결합 메커니즘: 구조 스케치를 공유 기하학적 제약으로 사용하여 스타일화된 이미지와 운동장 추정의 공간적 정렬을 강제함으로써, 배경의 왜곡이나 '운동 누출 (Motion Bleeding)'을 방지.
4. 실제 사진 적용 가능성: 초기 이미지 생성 단계를 건너뛰고 실제 풍경 사진에 운동 스케치만 입력하여 애니메이션을 적용할 수 있는 모듈러 구조 제공.

4. 실험 결과 (Results)

• 정성적 평가 (Qualitative):
  • 기존 방법 (Text2Cinemagraph, CAL, 3DC) 은 단순한 방향 제어나 선형 보간에 의존하여 곡선 흐름이나 복잡한 유체 역학을 표현하는 데 실패했습니다.
  • Sketch2Cinemagraph 는 복잡한 곡선 스케치에서도 매끄럽고 연속적인 흐름을 생성하며, 여러 유체 영역을 독립적으로 제어할 수 있음을 입증했습니다.
• 정량적 평가 (Quantitative):
  • 운동장 품질: Ground Truth 와 비교 시 PSNR, MS-SSIM 이 가장 높고, AEPE, MSE 가 가장 낮아 운동 예측의 정확도가 우수함을 보였습니다.
  • 시네마그래프 품질: FVD (Frechet Video Distance), LPIPS, VMAF 지표에서 기존 SOTA 방법들보다 더 자연스러운 움직임과 높은 시각적 충실도를 달성했습니다.
• 사용자 선호도: 30 명의 참가자를 대상으로 한 선호도 조사에서 시각적 품질과 운동 품질 모두에서 다른 방법론을 압도적으로 선호했습니다 (운동 품질 4.04/5.0).

5. 의의 및 결론 (Significance)

• 접근성 향상: 디자인 전문 지식이 없는 일반 사용자도 스케치와 텍스트만으로 고품질의 시네마그래프를 제작할 수 있게 하여 창작의 장벽을 낮췄습니다.
• 직관적 제어: 텍스트나 단순 화살표보다 훨씬 자유롭고 정교한 유체 흐름 (비선형, 다중 영역 등) 을 설계할 수 있는 새로운 패러다임을 제시했습니다.
• 확장성: 생성된 이미지뿐만 아니라 실제 촬영된 풍경 사진에도 적용 가능하여, 여행 사진이나 역사적 이미지를 애니메이션화하는 등 다양한 응용 가능성을 열었습니다.

한계점:

• 현재는 물리적으로 정확한 유체 시뮬레이션보다는 시각적으로 매력적인 스타일화된 결과에 중점을 둡니다.
• 생성 과정에서 유체 영역에 원치 않는 객체 (돌, 배 등) 가 포함될 수 있어, 이를 해결하기 위해 시드 값 (Seed) 조정이나 추가적인 필터링이 필요할 수 있습니다.

이 논문은 스케치 기반 생성 모델과 확산 모델을 결합하여 시네마그래프 제작의 직관성과 제어력을 혁신적으로 향상시킨 중요한 연구로 평가됩니다.