💻 computer science

SketchFlow: Zero-Shot Vector Sketch Generation via GMM Prior Flow in CLIP Latent Space

SketchFlow는 텍스트-스케치 쌍 데이터 없이도 고품질의 인간다운 획 궤적을 생성하기 위해, CLIP 잠재 공간 내에서의 최적 운송 기반 조건부 흐름 매칭(Optimal Transport-based Conditional Flow Matching)을 가우시안 혼합 모델(Gaussian Mixture Model) 사전 확률 및 하이브리드 확산 디코더(Hybrid Diffusion Decoder)와 결합하여 활용하는 새로운 제로샷 벡터 스케치 생성 프레임워크이다.

원저자: Jin Zhou, Hongliang Yang, Pengfei Xu, Hui Huang

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin Zhou, Hongliang Yang, Pengfei Xu, Hui Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간은 언제나 몇 줄의 빠른 선으로 세상을 포착하는 방법을 찾아왔습니다. 냅킨 위의 스케치는 사진보다 더 빠르게 건물의 형태, 친구의 자세, 혹은 폭풍의 느낌을 전달할 수 있습니다. 이러한 그림들은 단순한 이미지가 아니라, 실시간으로 움직이는 손이 내린 결정의 연속이자 움직임의 기록입니다. 수십 년 동안 컴퓨터 과학자들은 기계에게도 이와 똑같이, 즉 단순한 텍text 설명으로부터 유동적이고 인간적인 필치를 생성하도록 가르치기 위해 노력해 왔습니다. 목표는 "행복한 고양이"와 같은 문구를 입력했을 때, 마치 사람이 방금 스케치한 것처럼 자연스러운 떨림과 생략이 담긴 그림을 만들어내는 디지털 예술가를 만드는 것입니다.

문제는 컴퓨터가 이전에 본 것을 복제하는 데는 뛰어나지만, 접해보지 못한 것을 상상하는 데는 매우 서툴다는 점이었습니다. 기존의 대부분의 도구는 방대한 예시 라이브러리에 의존합니다. 만약 컴퓨터가 특정 캐릭터나 독특한 사물의 그림을 본 적이 없다면, 아예 그리지 못하거나 딱딱하고 기계적인 결과물을 내놓곤 합니다. 더욱이, 이러한 시스템을 가르치기 위해 필요한 데이터는 매우 희귀합니다. 인터넷에는 텍스트와 결합된 수백만 개의 사진이 있지만, 상세한 설명과 결합된 손으로 그린 스케치의 예시는 매우 적습니다. 이러한 데이터의 부족은 컴퓨터가 할 수 있는 일과 인간이 상상할 수 있는 일 사이의 간극을 만들어냈습니다.

심천대학교(Shenzhen University)의 연구진은 이러한 간극을 메우기 위해, 컴퓨터가 명시적으로 배우지 않은 개념에 대해서도 고품질의 스케치를 생성할 수 있도록 하는 새로운 접근 방식을 개발했습니다. 그들이 '스케치플로우(SketchFlow)'라고 부르는 이 방법은 고정된 사물 목록을 암기하는 데 의존하지 않습니다. 대신, 인간의 직관을 모방하는 방식으로 단어와 형태 사이의 관계를 이해하는 영리한 전략을 사용합니다. 광범위한 범주로만 라벨링된 대규모 드로잉 컬렉션을 통해 학습함으로써, 이 시스템은 인간이 어떻게 그리는지에 대한 일반적인 "문법"을 배웁니다. 그런 다음 이 지식을 사용하여, 한 번도 본 적 없는 구체적인 팝 컬처 캐릭터나 추상적인 감정과 같은 완전히 새로운 아이디어에 대해 새로운 그림을 구성해 냅니다.

이 성과의 핵심은 연구진이 언어와 이미지 사이의 공간을 탐색하는 법을 컴퓨터에게 가르친 방식에 있습니다. 그들은 단어와 이미지가 서로 어떻게 연관되는지 이해하는 강력한 기존 도구, 즉 수백만 개의 개념 간 연결 고리를 이미 학습한 시스템을 활용했습니다. 그러나 단순히 이 시스템에 새로운 사물을 그려달라고 요청하는 것은 엉망인 결과를 초래하기 쉬운데, 왜냐하면 컴퓨터는 단어를 일련의 손 움직임으로 번역하는 방법을 모르기 때문입니다. 이를 해결하기 위해 연구진은 다리를 만들었습니다. 그들은 컴퓨터가 알고 있는 고립되고 별개인 라벨들—예를 들어 "고양이"나 "태양" 같은 것들—을 연속적인 풍경으로 부드럽게 다듬었습니다. 모든 알려진 사물이 도시인 지도 위에서, 연구진은 도시 사이의 빈 공간을 완만한 연속적 지형으로 채웠습니다. 이를 통해 컴퓨터는 엄격한 규칙이 아닌 지형의 모양을 따라, 하나의 알려진 개념에서 다른 개념으로, 혹은 미지의 영역인 새로운 아이디어로 부드럽게 이동할 수 있게 되었습니다.

컴퓨터가 이 지형을 항해할 수 있게 되자, 그림을 그리기 위한 특정 경로를 따르는 법을 배웠습니다. 최종 이미지를 한꺼번에 추측하는 대신, 시스템은 마치 종이 위를 움직이는 사람의 손처럼 선을 하나씩 그려 나가는 법을 배웠습니다. 빈 캔버스에서 시작하여 점진적으로 선을 추가하며 형태를 정교하게 다듬어 갑니다. 연구진은 컴퓨터의 내부적인 개념 이해를 일련의 좌표 시퀀스로 번역하는 역할을 하는 특화된 디코더를 설계했습니다. 이 디코더는 자연스러운 변화와 흐름을 갖춘 스트로크를 생성하도록 훈련되었으며, 기계적인 손길을 드러내는 경직되고 완벽한 선들을 피하도록 설계되었습니다.

결과는 놀랍습니다. 345개의 일반적인 드로잉 카테고리를 대상으로 테스트했을 때, 이 시스템은 이전 방식들보다 시각적으로 우수한 스케치를 생성했으며, 사실성과 인간의 선호도 측정에서 더 높은 점수를 받았습니다. 하지만 진정한 시험은 연구진이 한 번도 본 적 없는 것들을 그려보라고 요청했을 때 찾아왔습니다. 그들은 "커비(Kirby)", "피카츄(Pikachu)", "좀비(a zombie)", "춤추는 사람(a dancing human)"과 같은 이름을 입력했습니다. 이것들은 원래의 학습 목록에 없던 것들이었습니다. 그럼에도 불구하고, 시스템은 이 캐릭터들의 본질을 포착한 일관되고 인식 가능한 스케치를 만들어냈습니다. 시스템은 "달리는 고양이"를 "자는 고양이"와 다르게 그렸고, "슬픈 얼굴"은 선의 곡선을 통해 감정을 전달했습니다. 시스템은 단순히 템플릿을 복사한 것이 아니라, 단어의 의미론적 의미를 이해하고 인간의 드로잉 규칙을 적용하여 새로운 것을 만들어낸 것입니다.

연구진은 또한 이 시스템이 개념을 결합하거나 동작을 추가하는 것과 같은 복잡한 지시를 처리할 수 있음을 입증했습니다. "태양과 구름"을 요청했을 때, 시스템은 두 요소를 하나의 통합된 스케치에 그렸습니다. "기지개 켜는 고양이"를 요청했을 때, 동물(고양이)의 자세를 동작에 맞춰 변경했습니다. 이러한 유연성은 시스템이 단순히 패턴을 암기하는 것이 아니라, 드로잉에 대한 깊은 구조적 이해를 갖추었음을 시사합니다. 이는 시스템이 아이디어 사이를 보간(interpolation)하여 한 개념에서 다른 개념으로 매끄러운 전환을 만들어낼 수 있음을 나타내며, 시각적 세계에 대한 연속적인 정신 모델을 구축했음을 보여줍니다.

이 시스템이 완벽하지는 않으며 때때로 미완성이거나 약간 어긋난 그림을 생성하기도 하지만, 이는 중요한 진전입니다. 연구진은 시스템이 마치 인간 예술가가 선을 긋기 전에 몇 번의 시도적인 스트로크를 하는 것처럼, 어느 정도의 무작위성을 허용할 때 가장 잘 작동한다는 것을 발견했습니다. 또한 그들은 이 방법이 이미지를 처리하는 데도 적용될 수 있음을 보여주었는데, 특정 이미지에 대한 별도의 학습 없이도 사진을 스케치로 변환할 수 있었습니다. 이러한 다재다능함은 디지털 아트, 디자인, 그리고 인터랙티브 미디어 분야에 새로운 가능성을 열어줍니다.

이 연구는 컴퓨터에게 특정 주제를 본 적이 없더라도 인간의 손길을 담아 그리도록 가르치는 것이 가능하다는 것을 확인시켜 주었습니다. 단어와 형태 사이에 연속적인 다리를 구축함으로써, 연구진은 컴퓨터가 학습 데이터를 넘어 능력을 일반화할 수 있는 방법을 제시했습니다. 이 접근 방식은 데이터 집약적인 경직된 모델에서 벗어나, 적응하고 창조할 수 있는 시스템으로 분야를 이동시킵니다. 이는 디지털 도구가 인간의 창의성과 협력하여, 단순한 아이디어를 이전에는 불가능했던 속도와 일관성으로 표현력 있는 손그림 예술로 바꾸어 놓는 미래를 암시합니다. 기계는 이제 단순한 복제자가 아닙니다. 그것은 선의 논리를 이해하기 시작하고 있습니다.

기술 요약: SketchFlow

문제 정의

벡터 스케치는 추상적인 인간의 표현을 담는 간결한 매체이지만, 고품질의 인간다운 벡터 스트로크를 생성하는 것은 여전히 큰 과제로 남아 있습니다. 기존 방식들은 다음과 같은 세 가지 주요 한계점에 직면해 있습니다:

최적화 기반 방식(예: CLIPDraw, NeuralSVG)은 종종 느리고 불안정하며 노이즈에 취약하여, 실제 손으로 그린 듯한 스타일을 재현하는 데 실패합니다.
래스터 기반 방식은 스트로크 토폴로지 제약이 부족하여, 벡터 트레이싱을 방해하는 일관되지 않은 두께나 의도하지 않은 분기(branching)와 같은 아티팩트를 유발합니다.
직접 시퀀스 생성(예: LLM)은 스타일과 논리 측면에서 인간의 드로잉 습관에서 벗어난 궤적을 생성하는 경우가 많습니다.

나아가, 근본적인 데이터 부족 문제가 존재합니다: 고품질의 미세한 텍스트-투-벡터 스케치 쌍 데이터는 매우 희귀합니다. 가장 큰 가용 데이터셋인 QuickDraw는 345개의 이산적인 카테고리 레이블을 포함하고 있지만, 강력한 제로샷 모델을 훈련하는 데 필요한 풍부한 텍textual 설명이 부족합니다. 결과적으로, 현재의 방법론들은 특정 훈련 예시 없이는 미학적 변형이나 보지 못한 카테고리에 일반화하는 데 어려움을 겪습니다.

방법론

SketchFlow는 CLIP 잠재 공간 내에서 연속적인 매핑 문제로 교차 모달 정렬(cross-modal alignment)을 정식화함으로써 이러한 문제를 해결하며, 노동 집약적인 이미지 수준의 텍스트 주석의 필요성을 우회합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 하이브리드 확산 디코더 (Hybrid Diffusion Decoder)

대상 임베딩을 벡터 스트로크 시퀀스로 디코딩하기 위해, SketchFlow는 하이브리드 확산 디코더를 사용합니다.

표현: 스케치 궤적은 등간격 점 시퀀스 $(x_i, y_i, p_i)$ 로 표현되며, 여기서 펜 상태 지표 $p_i$ 는 이진 상태가 아닌 연속 변수(작은 분산 범위로 스케일링됨)로 취급됩니다. 이는 고노이즈 확산 단계 동안 이산 상태로 조기에 결정되는 것을 방지합니다.
아키텍처: 백본은 1D U-Net 컨볼루션 블록(국소적 기하학적 특징 추출 및 다중 해상도 처리를 위함)과 Transformer 레이어(장거리 전역 의존성 모델링을 위함)를 교차 배치합니다.
조건화(Conditioning): 디코더는 적응형 레이어 정규화(AdaLN)를 통해 확산 타임스텝과 대상 렌더링된 스케치 CLIP 임베딩에 의해 조건화됩니다.

2. CLIP 잠재 공간에서의 GMM 사전 분포 구축 (GMM Prior Construction in CLIP Latent Space)

이산적인 텍스트 개념과 연속적인 스케치 특징 사이의 간극을 메우기 위해, 저자들은 연속적인 사전 분포를 구축합니다.

이산에서 연속으로: 원시의 고립된 텍스트 임베딩을 초기 상태로 사용하는 대신, SketchFlow는 이산 카테고리 임베딩에 노이즈를 주입하여 가우시안 혼합 모델(GMM) 사전을 형성합니다.
정식화: 사전 분포 $p_0(z)$ 는 알려진 카테거리의 텍스트 임베딩을 중심으로 하는 가우시안 혼합으로 정의됩니다: $p_0(z) = \frac{1}{K}\sum_{k=1}^K \mathcal{N}(z; z^k_{text}, \sigma^2 I)$ . 이는 희소한 개념 앵커를 연속적인 확률 밀도 필드로 변환하여 매끄러운 시맨틱 매니폴드를 생성합니다.

3. 최적 운송 조건부 흐름 매칭 (Optimal Transport Conditional Flow Matching, OT-CFM)

핵심 생성 메커니즘은 GMM 사전 분포를 대상 스케치 특징 분포로 매핑하는 결정론적 벡터 필드를 학습하기 위해 최적 운송(OT)을 활용합니다.

벡터 필드 학습: 모델은 GMM 사전( $p_0$ )에서 대상 스스케치 분포( $p_1$ )로 샘플을 운송하는 벡터 필드 $v_\theta$ 를 학습합니다.
직선 경로 궤적: OT 커플링을 활용함으로써, 모델은 직선 경로의 등속 궤적( $z_0 \to z_1$ )을 형성하도록 학습됩니다. 이는 CLIP 잠재 공간에서의 시맨틱 방향을 보존하고 비교차 샘플링 경로를 보장하여, 보지 못한 쿼리가 시맨틱적으로 연관된 영역을 향해 운송 필드를 따를 수 있게 합니다.
적응형 분산: 적응형 사전 분산 메커니즘을 통해 모델이 특정 프롬프트에 따라 노이즈 스케일 $\sigma$ 를 동적으로 조절할 수 있게 하여, 다양한 개념에 대한 생성 충실도를 향상시킵니다.

주요 기여

CLIP 매개 로컬 제로샷 합성: 이 프레임워크는 사전 훈련된 CLIP 모델의 시맨틱 구조를 활용하여, QuickDraw 훈련 어휘에 없는 미학적 변형(예: "달리는 고양이") 및 보지 못한 개념 레이블에 대해 인식 가능한 스케치를 생성합니다.
새로운 교차 모달 매핑 프레임워크: 본 논문은 이산적인 텍스트 개념과 연속적인 스케치 특징 사이의 모달리티 격차를 효과적으로 메우기 위해 OT-CFM과 연속적인 GMM 사전을 결합한 모델을 소개합니다.
고충실도 스트로크 재구성: 1D U-Net과 Transformer를 융합한 하이브리드 확산 디코더 설계는 높은 시각적 품질과 인간의 드로잉 스타일에 대한 준수를 달성하여 기존 베이스라인을 능가합니다.

실험 결과

QuickDraw 데이터셋(345개 클래스)과 교차 도메인 전이 데이터셋(TU-Berlin, Creative-Mix)에 대해 광범ale한 실험이 수행되었습니다.

정량적 성능: SketchFlow는 시각적 충실도(FID)와 시맨틱 정렬(CLIP Score) 측면에서 베이스라인(SketchRNN, StrokeFusion, NeuralSVG, SketchAgent)을 실질적으로 능가합니다. 예를 들어, "Bus" 카테고리에서 SketchFlow는 StrokeFusion의 59.329와 비교하여 5.810의 FID를 달성했습니다.
제로샷 일반화: 훈련 어휘 외의 44개 프롬프트에 대해, SketchFlow는 0.2480의 평균 CLIP Score를 기록하며 Gaussian-Prior 베이스라인(0.2024)과 Interp CLIP(0.2034)을 크게 앞질렀습니다.
인간 유사성: 42명의 참가자가 참여한 사용자 연구에서, SketchFlow는 추상화 충실도, 시맨틱 정렬, 인간 유사성, 스트로크 합리성, 미적 품질의 다섯 가지 지표 모두에서 NeuralSVG 및 SketchAgent보다 선호되었습니다. 특히 인간 유사성 항목에서 **70.73%**의 선호도를 얻었습니다.
절제 연구(Ablation Studies): 실험을 통해 원시 텍스트 임베딩만으로는 구조화된 스케치 합성을 가이드하기에 불충분하며, GMM 기반의 OT-Flow Matching이 연속적인 생성 공간을 구축하는 데 필수적임을 확인했습니다. 이는 표준 조건부 베이스라인에서 나타나는 급격한 구조적 변화를 방지합니다.

의의 및 주장

본 논문은 SketchFlow가 정교한 텍sual 주석에 대한 의존도를 줄이면서 벡터 스케치 생성을 위한 실용적인 프레임워크를 제공한다고 주장합니다. 최적 운송 기하학을 활용함으로써, 이 방법은 레이블 전용 텍스트 감독 하에서도 CLIP 매개 제로샷 운송을 가능하게 합니다.

저자들은 자신들의 접근 방식이 단순히 이산적인 카테고리에 과적합되는 것이 아니라 연속적인 시맨틱 매니폴드를 성공적으로 학습한다는 점을 강조합니다. 이를 통해 서로 다른 개념 간의 매끄러운 연속적 시맨틱 보간(예: "사과"에서 "잎"으로 변형)과 보지 못한 개념에 대한 인간다운 드로잉 행동을 갖춘 스케치 생성이 가능해집니다. 비록 매핑이 완벽하지는 않지만(일부 출력은 인식 가능한 구조를 유지하면서도 일부를 누락하거나 텍스트 형태의 스트로크로 치우칠 수 있음), 이 프레임워크는 QuickDraw 어휘를 넘어선 유망한 로컬 제로샷 일반화 능력을 보여줍니다.