기술 요약: Draw This First

문제 정의

스케치 생성 분야는 매우 다양하며, 기존 방식들은 대개 드로잉 순서를 모델의 내재적 출력(자기회귀 또는 확산 모델을 통해)으로 취급하거나 표현되지 않은 요소로 간주합니다. 현재의 접근 방식들은 드로잉 순서를 자유로운 형식의 언어 조건 변수로 노출하는 데 실패하는 경우가 많습니다. 또한, 많은 시스템이 저품질의 "낙서(doodle)" 코퍼스에 의존하고 있으며, 사용자가 지정한 스트로크 순서에 엄격히 부합하는 벡터 스케치를 생성할 수 있는 시스템은 거의 없습니다. 과제는 텍스트나 이미지를 기반으로 정렬된 벡터 스트로크를 생성하면서도, 스케치의 기하학적 충실도를 해치지 않고 사용자가 명시적으로 지정한 순서(예: "머리를 먼저 그리고, 그다음 몸통을 그려라")를 따를 수 있는 시스템을 만드는 것입니다.

방법론

저자들은 일반적인 스케치 생성 과정을 역전시키는 새로운 정식화를 제안합니다. 즉, 모델이 스트로크를 순차적으로 예측하는 대신, 스트로크가 그려지는 순서를 정의하는 2D 필드를 예측하도록 합니다. 이 파이프라인은 세 가지 주요 구성 요소로 이루어집니다.

1. 데이터셋 및 어노테이션

모델은 기존의 낙서 데이터셋보다 훨씬 높은 품질인 47,318개의 고품질 수작업 아티스트 드로잉으로 구성된 커미션 데이터셋으로 학습됩니다.

• 계층적 어노테이션: 각 드로잉은 두 단계의 바운딩 박스 계층 구조(영역 및 피사체)로 어노테이션됩니다.
• 순서 캡션: 저자들은 명명된 영역을 방문하는 순서를 지정하는 순서 기술적 캡션(예: "box1 왼쪽, 그다음 box2, 그다음 box1 오른쪽 재방문")을 합성합니다.
• 치환 전략: 모델이 임의의 순서를 따르도록 학습시키기 위해, 영역 내의 자연스러운 순서(대략적인 외곽선에서 세부 묘사로)는 유지하면서 타겟 스트로크 순서를 치환합니다. 캡션은 치환된 순서에 맞춰 프로그래밍 방식으로 재생성되어 순서가 감독된 쌍(order-supervised pairs)을 생성합니다. 이는 학습 과정에서 순서와 기하학적 형상을 의도적으로 탈상관화합니다.

2. 색상으로서의 순서 중간 표현 (Order-as-Color Intermediate Representation)

사전 학습된 이미지 잠재 공간 내에서 학습을 가능하게 하기 위해, 저자들은 **색상으로서의 순서 코덱(order-as-color codec)**을 사용하여 이미지 네이티브 중간 표현을 구축합니다.

• 전역 호(Global Arc, $a$): 0에서 1까지의 전체 드로잉 진행도를 나타냅니다.
• 스트로크 내 호(Within-Stroke Arc, $u$): 특정 스트로크 내에서의 진행도를 나타냅니다.
• 인코딩: 스케치는 다음과 같은 HSV 이미지로 인코딩됩니다:
  • 색상(Hue, $H$): 전역 호($a \cdot 342/360$)를 인코딩합니다.
  • 채도(Saturation, $S$): 전경 마스크($1$)를 인코딩합니다.
  • 명도(Value, $V$): 스트로크 내 호($1 - u/2$)를 인코딩합니다.
    이 결과로 드로잉 순서가 색상 변화(color sweep)로 시각적으로 인코딩된 래스터화된 "코덱 이미지"가 생성됩니다.

3. 모델 아키텍처

시스템은 사전 학습된 잠재 흐름 매칭 트랜스포머(Qwen-Image-Edit-2509 기반)와 커스텀 디코더를 활용합니다.

• 생성기 (DiT): LoRA(Rank-64)로 적응된 확산 트랜스포머(Diffusion Transformer)가 텍스트 또는 이미지 조건으로부터 코덱 이미지의 잠재 표현을 생성하도록 학습됩니다.
• 순서 네이티브 디코더: 파인튜닝된 VAE 디코더는 생성된 잠재 값을 읽어 세 가지 타겟을 출력합니다:
  1. 전역 호 필드 ($a'$): 예측된 순서 필드.
  2. 전경 마스크 ($m'$): 스트로크 마스크.
  3. 인스턴스 임베딩 ($e'$): 스트로크 분할을 위한 8차원 임베딩.
• 벡터화: 디코더 출력은 학습된 트레이서(tracer) 없이 처리됩니다. HDBSCAN이 임베딩을 클러스터링하여 스트로크를 분할합니다. 이 클러스터들은 평균 예측 호 값에 따라 정렬됩니다. 각 클러스터 내에서 최근접 이웃 워크(nearest-neighbor walk)를 통해 픽셀을 추출하며, 추출된 픽셀은 Ramer-Douglas-Peucker(RDP)를 사용하여 매끄럽게 다듬고 단순화하여 최종적인 순서가 있는 벡터 폴리라인을 생성합니다.

주요 기여

1. 역전된 정식화: 본 논문은 모델이 스트로크의 시퀀스가 아닌 2D 순서 필드를 예측하는 방법을 도입하여, 순서를 제어 가능한 언어 조건 변수로 만듭니다.
2. 색상으로서의 순서 코덱: 드로잉 진행도를 HSV 색상 채널에 매핑하는 새로운 인코딩 방식을 통해, 사전 학습된 이미지 확산 모델을 순차적 스케치 생성에 사용할 수 있게 합니다.
3. 고품질 데이터셋: 계층적 바운딩 박스 어노테이션과 합성된 순서 캡션을 포함하는 47,000개 이상의 전문 아티스트 드로잉 데이터셋을 구축했습니다.
4. 지시 이행 능력: 드로잉 순서를 지정하는 텍스트 지시를 따르는 스케치를 생성할 수 있습니다(지시의 세밀도에 따라 준수 정도가 달라짐).

결과

모델은 학습 세트의 홀드아웃 데이터와 외부 데이터셋(Creative Birds, Creative Creatures, FS-COCO, QuickDraw)을 통해 평가되었습니다.

• 순서 정확도:
  • 순서 지시가 주어졌을 때, 모델은 인도메인(in-domain) 데이터에서 Kendall $\tau$ 0.449를, 아웃도메인(out-of-domain) 데이터에서 0.373을 달성하여 기하학 전용 베이스라인(0.096)을 크게 상회했습니다.
  • 지시를 역전시키면 드로잉 순서도 성공적으로 반전되어(Kendall $\tau$ $-0.267$), 텍스트가 이미지가 아닌 시퀀스를 주도함을 입증했습니다.
  • 준수도는 지시의 세밀도에 따라 크게 달라집니다. 영역 수준의 지시는 안정적으로 준수되지만($\tau \approx 0.84$), 파트(part) 수준에서는 0.46으로, 패스(pass) 수준에서는 0.44로 떨어집니다.
  • 제어는 캡션 구조에 의해서도 제한됩니다. 단일 후행 제약 조건은 종종 완전히 무시됩니다(예: 전체 캡션 뒤에 붙은 '먼저 그려진 이름진 영역'은 68.5%의 확률로 무시됨). 또한, 설명의 언급 순서와 상충하는 역전 지시를 내릴 경우 준수도가 크게 떨어집니다.
  • "디코더 천장(decoder ceiling)"(그라운드 트루스 잠재 값을 사용하는 경우)은 잠재적 Kendall $\tau$가 0.91–0.94임을 보여주며, 이는 병목 현상이 벡터화 과정이 아닌 생성 모델의 잠재 값 예측 능력에 있음을 나타냅니다.
• 기하학적 보존:
  • 순서 개입은 기하학적 형상을 변경하지 않습니다. 스트로크 일치율은 높은 수준(0.89–0.95)을 유지하며, 마스크 IoU 또한 순서 지시와 상관없이 안정적입니다.
  • 모델은 사전 학습된 프라이어의 오픈 보캐블러리 드로잉 능력을 유지하며, 미지의 QuickDraw 카테고리에 대해 0.70의 Top-1 CLIP 인식 점수를 달성했습니다.
• 관찰된 한계점:
  • 세밀도: 지시의 세밀도가 높아질수록 제어력이 크게 저하됩니다. 영역 수준의 순서는 신뢰할 수 있으나, 파트/패스 수준의 준수도는 $\approx 0.45$로 떨어지며, 유닛 내 순서 일치도는 거의 0에 가깝습니다.
  • 파편화: 벡터화 과정에서 실제 스트로크 수보다 1.7~2.5배 많은 경로를 복구하여 스트로크가 파편화되는 결과가 나타납니다.
  • 정보 손실: 본 목적 함수는 시간, 압력, 기울기, 브러시 너비를 버리고 1px의 가중치 없는 중심선을 출력합니다.
  • 내재적 프라이어 부재: 학습 전략으로 인해, 지시가 주어지지 않을 때 모델은 검증 가능한 인간다운 글로벌 순서 프라이어를 갖지 못하며, 휴리스틱이나 캡션의 언급 순서에 의존합니다.

의의 및 주장

본 논문은 스케치를 충실하게 **역렌더링(derender)**하면서도, 하단의 사전 학습된 모델이 가진 강력한 텍스트-투-스케치 생성 능력을 유지하는 동시에, 드로잉 순서에 대한 명시적 텍스트 지시를 따를 수 있는 새로운 능력을 제시한다고 주장합니다.

저자들은 이 접근 방식이 래스터 기반 생성과 벡터 출력 사이의 간극을 메우며, 순서가 자유로운 언어 변수가 되는 "재생 가능한 폴리라인 경로(replayable polyline paths)"를 가능하게 한다고 강조합니다. 또한, 모델이 기록된 아티스트의 시퀀스와 상충하는 순서를 지정하더라도 이를 따를 수 있음을 입증함으로써, 순서가 기하학으로부터 분리되어 자연어로 제어될 수 있음을 보여줍니다. 다만, 저자들은 제어 범위가 치환 학습에 사용된 단위 크기에 의해 제한된다는 점, 파트/패스 수준의 세밀도에서 준수도가 떨어진다는 점, 그리고 캡션의 후행 제약 조건이 자주 누락된다는 점을 인정하며 한계점에 대해 겸허한 태도를 보입니다. 또한 현재의 출력물이 원본 입력의 풍부한 스트로크 역동성(압력, 너비 등)을 결여하고 있다는 점도 언급했습니다.