VideoSketcher: Video Models Prior Enable Versatile Sequential Sketch Generation

이 논문은 텍스트 기반의 순차적 지시를 통해 스키치 생성 과정을 모델링하기 위해 사전 학습된 텍스트 - 비디오 확산 모델과 LLM 을 결합하고, 최소한의 인간 스키치 데이터만으로 스키치 순서와 시각적 디테일을 학습하는 데이터 효율적인 접근법인 'VideoSketcher'를 제안합니다.

핵심

비디오 스케처 (VideoSketcher): "그림을 그리는 과정"을 배우는 인공지능

이 논문은 우리가 그림을 그릴 때처럼, AI 가 한 획 한 획 순서대로 그림을 그려내는 기술을 소개합니다. 기존 AI 들은 완성된 그림을 한 번에 뚝딱 만들어냈지만, 이 새로운 기술은 "어떻게 그리는지" 그 과정 자체를 보여줍니다.

이 기술을 쉽게 이해할 수 있도록 세 명의 캐릭터와 마법 같은 그림책에 비유해 설명해 드릴게요.

---

1. 문제: "완성된 그림"만 그리는 AI 들

기존의 AI 그림 도구들은 마치 마법 지팡이를 휘두르는 것과 비슷합니다. "고양이 그려줘"라고 말하면, 순식간에 고양이 그림이 완성됩니다. 하지만 어떻게 그렸는지, 어떤 순서로 그렸는지는 알 수 없어요. 마치 그림이 공중에서 갑자기 튀어나온 것처럼요.

그런데 인간은 그림을 그릴 때 다릅니다. 먼저 몸통을 그리고, 그 다음 다리를 그리고, 마지막으로 얼굴을 그리죠. 이 순서 (Process) 가 바로 아이디어를 발전시키고 수정하는 핵심입니다.

2. 해결책: 두 명의 전문가가 합심하다

이 연구팀은 AI 에게 그림을 그리는 순서를 가르치기 위해 두 명의 천재를 불러모았습니다.

• 1 등: 언어의 달인 (LLM, 대형 언어 모델)
  • 역할: "무엇을 그릴지"와 **"어떤 순서로 그릴지"**를 계획합니다.
  • 비유: 마치 건축 설계사처럼요. "먼저 기초를 다지고, 그다음 1 층을 짓고, 지붕을 올린다"라고 지시합니다. 하지만 막상 벽돌을 쌓는 기술은 부족합니다.
• 2 등: 영상 마법사 (비디오 생성 AI)
  • 역할: 설계사의 지시를 받아 화려하고 자연스러운 그림을 그립니다.
  • 비유: 실력 있는 화가입니다. "기초를 다져라"는 말만 들으면, 실제로 붓으로 기초를 그리는 모습을 자연스럽게 보여줍니다. 하지만 "무엇을 그릴지"는 잘 모릅니다.

VideoSketcher는 이 두 명을 연결했습니다. 설계사 (언어 모델) 가 "고양이 그려줘. 먼저 몸통, 다음에 다리, 마지막에 얼굴 순서로!"라고 지시하면, 화가 (비디오 AI) 가 그 지시를 따라 실시간으로 붓질이 이어지는 영상을 만들어냅니다.

3. 핵심 비법: "수업"을 두 단계로 나누다

이 화가 (비디오 AI) 는 원래는 영화나 자연 풍경을 그리는 데만 익숙했습니다. 갑자기 "연필로 스케치해"라고 하면 당황할 수 있죠. 그래서 연구팀은 화가에게 두 단계의 특별 훈련을 시켰습니다.

• 1 단계: 기하학 도형으로 '문법' 배우기
  • 복잡한 그림 대신, 원, 사각형, 삼각형 같은 단순한 도형만 그리는 연습을 시켰습니다.
  • "원 -> 사각형 -> 삼각형 순서로 그려"라고 지시하며, 순서대로 그리는 습관을 길러줬습니다. (이때는 그림의 예쁘기는 중요하지 않아요. 순서만 중요!)
• 2 단계: 실제 스케치로 '스타일' 익히기
  • 이제 순서는 다 배웠으니, 실제 인간이 그린 7 개의 스케치만 보여줬습니다.
  • "이렇게 연필 선이 흐르는 거야. 이 느낌으로 그려!"라고 가르쳤습니다.
  • 결과: 순서를 아는 머리와 예쁜 그림을 그리는 손이 합쳐져, 인간처럼 자연스럽게 그림을 그려내는 AI가 탄생했습니다.

4. 놀라운 기능들

이 기술은 단순히 그림을 그리는 것을 넘어, 다음과 같은 마법 같은 기능도 제공합니다.

• 붓질 스타일 조절: 그림 시작 전에 "이 붓으로 그려"라고 작은 예시 그림을 보여주면, AI 는 그 붓의 질감과 색을 따라 그림 전체를 그립니다. 마치 새로운 붓을 사서 그림을 그리는 것과 같습니다.
• 함께 그림 그리기 (Co-drawing): 사용자가 먼저 한 획을 그으면, AI 가 그다음 획을 이어 그립니다. 사용자가 "여기 좀 더 길게"라고 수정하면 AI 가 바로 반응합니다. 인간과 AI 가 한 캔버스 위에서 춤추듯 그림을 그리는 협업이 가능해졌습니다.

5. 왜 이 기술이 중요할까요?

이 기술은 AI 가 단순히 "결과물"을 주는 것을 넘어, 창의적인 과정에 참여하게 합니다.

• 아이디어 발전: 그림을 그리는 과정에서 생각을 정리하고 수정할 수 있습니다.
• 교육 및 치료: 아이들에게 그림 그리는 순서를 가르치거나, 치료 목적으로 그림을 그리는 과정을 관찰하는 데 쓰일 수 있습니다.
• 자연스러운 협업: 우리가 그림을 그릴 때처럼, AI 와 함께 아이디어를 구체화할 수 있습니다.

요약

VideoSketcher는 "완성된 그림"을 한 번에 뚝딱 만드는 마법 지팡이가 아니라, **인간처럼 순서대로, 한 획 한 획 생각하며 그림을 그려주는 '디지털 그림 친구'**입니다. 언어 모델이 '계획'을 세우고, 비디오 AI 가 '실제 그리기'를 수행하여, 우리가 상상하는 대로 그림을 그리는 과정 자체를 즐길 수 있게 해줍니다.

기술 요약

1. 문제 정의 (Problem)

기존의 생성형 AI 모델들은 스케치를 정적인 이미지로만 취급하거나, 순차적인 과정의 중요성을 간과하는 경향이 있었습니다.

• 기존 방법의 한계:
  • SketchRNN 등: 인간이 그린 수백만 개의 스케치 데이터에 의존하며, 학습된 카테고리나 스타일에 제한을 받음.
  • LLM 기반 (SketchAgent 등): 언어 모델이 무엇을 그리고 어떤 순서로 그릴지 계획하는 능력은 뛰어나지만, 시각적 렌더링 능력이 부족하여 결과물이 단순하고 시각적 품질이 낮음.
  • 비디오 모델: 시각적 품질과 시간적 일관성은 뛰어나지만, 스케치라는 추상적인 표현과 '필획 순서 (stroke ordering)'에 대한 내재적 이해가 부족함.
• 핵심 과제: 의미 있는 순서 (자연스러운 필획 순서) 를 따르면서도, 고품질의 시각적 디테일을 갖춘 순차적 스케치 생성 과정을 데이터 효율적으로 구현하는 것.

2. 방법론 (Methodology)

VideoSketcher 는 **텍스트 - 비디오 확산 모델 (Text-to-Video Diffusion Models)**의 강력한 시각적 사전 지식 (Priors) 을 스케치 생성에 적용합니다. 핵심 아이디어는 LLM 의 의미적 계획 능력과 비디오 모델의 고품질 렌더링 능력을 결합하는 것입니다.

2.1 스케치 표현 (Sketch Representation)

• 스케치 시퀀스를 짧은 비디오로 표현합니다.
• 빈 캔버스 위에 검은색 필획 (strokes) 이 점차적으로 그려지는 과정을 픽셀 공간 (pixel space) 에서 생성합니다.
• SVG(Scalable Vector Graphics) 데이터를 파싱하여 각 필획이 경로 따라 점차 나타나는 애니메이션으로 렌더링하여 학습 데이터를 구성합니다.

2.2 프롬프트 구성

• 텍스트 프롬프트는 '무엇을 그릴지'뿐만 아니라 **'어떤 순서로 그릴지'**를 명시합니다.
  • 예: "1. 전구, 2. 전등갓, 3. 받침대..."
• 고수준의 사용자 입력을 LLM 이 구조화된 그리기 계획 (drawing plan) 으로 변환하여 비디오 모델에 전달합니다.

2.3 두 단계 미세 조정 전략 (Two-Stage Fine-tuning Strategy)

모델이 순서와 모양을 동시에 학습하도록 돕기 위해 데이터 효율적인 두 단계 전략을 사용합니다.

1. 1 단계: 형태 구성의 문법 학습 (Learning Grammar of Shape Compositions)

   • 데이터: 원, 사각형, 삼각형 등 간단한 기하학적 도형으로 구성된 합성 데이터.
   • 목적: 시각적 스타일과 무관하게 **필획 순서 (Stroke Ordering)**와 텍스트 지시사항을 따르는 능력을 학습시킵니다.
   • 방법: 겹침, 포함, 인접 등 게슈탈트 원리에 기반한 도형 배치를 다양한 순서로 렌더링하여 모델에게 "무엇을 먼저 그리고 무엇을 나중에 그릴지"를 가르칩니다.

2. 2 단계: 스케치 외관 증류 (Distilling Sketch Appearance)

   • 데이터: 실제 인간이 그린 단 7 개의 스케치 (램프, 자동차, 의자 등).
   • 목적: 1 단계에서 학습한 순서 제어 능력을 유지하면서, **실제 스케치의 시각적 스타일 (질감, 선의 흐름)**을 학습합니다.
   • 효과: 극소량의 데이터로도 고품질의 스케치 스타일을 전이 (Transfer) 할 수 있습니다.

2.4 추가 기능

• 브러시 조건부 생성 (Brush Conditioning): 캔버스 왼쪽 상단에 예시 브러시 이미지를 제공하여, 학습되지 않은 브러시 스타일과 색상도 스케치 전체에 적용되도록 합니다.
• 자기회귀 생성 (Autoregressive Generation): 확산 모델 기반의 일괄 생성을 넘어, 프레임 단위로 순차적으로 생성하는 자기회귀 모델을 적용하여 **실시간 인간 - 모델 협업 (Co-drawing)**을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 데이터 효율성: 수백만 개의 스케치 데이터 없이, 단 7 개의 인간 스케치와 합성 기하 도형 데이터만으로 고품질의 순차적 스케치 생성 모델을 학습시켰습니다.
2. 순차적 과정의 모델링: 스케치를 정적 이미지가 아닌 시간적 흐름이 있는 비디오로 모델링하여, 필획의 자연스러운 순서와 시간적 일관성을 확보했습니다.
3. 다양한 제어 가능성:
   • 텍스트 프롬프트를 통한 필획 순서 제어.
   • 시각적 프롬프트 (브러시 예시) 를 통한 스타일/색상 제어.
   • 자기회귀 모델을 통한 실시간 상호작용 및 협업 드로잉.
4. 새로운 패러다임: 대규모 스케치 데이터셋이나 파라미터적 벡터 표현에 의존하지 않고, 기존 비디오 확산 모델의 사전 지식을 스케치 생성에 효과적으로 활용하는 방법을 제시했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (CLIP 기반 인식):
  • 생성된 스케치의 최종 프레임에 대한 CLIP Top-1 정확도는 **82%**로, 기존 LLM 기반 방법 (SketchAgent: 48%) 과 인간이 그린 QuickDraw 데이터 (52%) 를 크게 상회했습니다.
  • PaintsUndo(완성된 이미지 기반 복원) 는 높은 점수를 보였으나, 이는 텍스트에서부터 스케치를 생성하는 본 연구의 목표와는 다른 과제이므로 직접 비교는 제한적입니다.
• 순차적 과정의 질:
  • 생성된 비디오는 시간이 지남에 따라 의미 있는 필획이 추가되며, CLIP 점수도 점진적으로 상승하는 인간과 유사한 패턴을 보였습니다.
  • 반면, 기존 방법들은 초기에 대부분의 정보가 나타나거나 (PaintsUndo), 시간적 진행이 거의 없는 (Wan 2.1 naive) 결과를 보였습니다.
• 다양성과 제어:
  • 동일한 프롬프트에 대해 다양한 필획 순서와 브러시 스타일을 적용하여 다양한 결과를 생성할 수 있음을 입증했습니다.
  • 인간과 모델이 번갈아 가며 그리는 협업 드로잉이 자기회귀 모델을 통해 성공적으로 구현되었습니다.

5. 의의 및 결론 (Significance)

VideoSketcher 는 비디오 생성 모델이 단순한 영상 합성을 넘어, 창의적인 사고 과정 (드로잉) 을 모델링할 수 있는 강력한 도구임을 입증했습니다.

• 인간 - 기계 상호작용의 진화: 스케치는 아이디어를 탐색하고 정제하는 과정 그 자체이므로, VideoSketcher 는 시각적 브레인스토밍, 실시간 피드백, 협업 프로토타이핑 등 풍부한 인간 - 기계 상호작용을 가능하게 합니다.
• 데이터 효율적인 학습: 대규모 데이터 수집 없이도, 사전 학습된 비디오 모델의 강력한 표현력을 활용하여 복잡한 생성 태스크를 해결할 수 있음을 보여줍니다.
• 미래 전망: 이 연구는 비디오 확산 모델이 구조화되고 시간적 맥락을 가진 창의적 과정을 모델링하는 데 있어 보편적인 사전 지식 (General-purpose Prior) 으로 활용될 수 있음을 시사합니다.

---

요약: VideoSketcher 는 LLM 의 '계획' 능력과 비디오 모델의 '시각적 렌더링' 능력을 결합하여, 텍스트 지시에 따라 자연스러운 순서로 그려지는 고품질 스케치를 생성하는 혁신적인 프레임워크입니다. 이는 소량의 데이터로도 학습 가능하며, 실시간 협업 드로잉까지 지원하는 다목적 도구입니다.