Teaching an Agent to Sketch One Part at a Time

이 논문은 새로운 부분 단위 주석 데이터셋인 ControlSketch-Part 와 프로세스 보상 강화 학습을 활용하여 텍스트를 기반으로 한 벡터 스케치를 해석 가능하고 제어 가능하며 부분 단위로 편집 가능한 방식으로 생성하는 에이전트 학습 방법을 제안합니다.

핵심

이 논문은 **"AI 가 그림을 그릴 때, 한 번에 다 그리지 않고 하나씩 차근차근 그려내는 방법"**을 개발한 연구입니다.

기존의 AI 는 "사과 그려줘"라고 하면, 한 번에 전체 사과를 뿅 하고 만들어냈습니다. 하지만 이 방식은 그림이 조금이라도 잘못되면 (예: 줄기가 너무 길거나 잎이 이상하면) 처음부터 다시 그려야 하거나, 고치기가 매우 어렵습니다.

이 연구팀은 AI 에게 "화가"처럼 생각하게 하여, 그림을 부위별로 나누어 하나씩 그리고 수정할 수 있게 만들었습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 🎨 비유: "레고 조립" vs "진흙으로 한 번에 빚기"

• 기존 AI (진흙 공예):
  AI 에게 "의자 그려줘"라고 하면, AI 는 진흙을 한 덩어리 통째로 던져서 의자 모양을 한 번에 빚습니다. 만약 다 그렸는데 다리가 너무 짧다면? 진흙을 다시 밀어서 다시 시작해야 합니다.

• 이 연구의 AI (레고 조립):
  이 새로운 AI 는 레고 블록을 조립하듯 그림을 그립니다.

  1. 먼저 "등받이"를 그립니다.
  2. 그다음 "좌석"을 그립니다.
  3. 마지막으로 "다리"를 그립니다.

  만약 "등받이"가 마음에 안 들면, 등받이 부분만 지우고 다시 그릴 수 있습니다. 나머지 부분은 그대로 유지된 채로 수정할 수 있어 훨씬 유연합니다.

2. 🤖 비유: "현명한 건축가"와 "감시관"

이 AI 가 어떻게 그렇게 똑똑하게 하나씩 그릴 수 있게 되었을까요? 두 단계의 훈련을 거쳤습니다.

• 1 단계: "형식 배우기" (SFT - 감독 하에 연습)
  먼저 AI 에게 "이게 등받이야, 저게 다리야"라고 가르쳐 줍니다. 마치 레고 설명서를 보며 부위별로 조립하는 법을 배우는 단계입니다. 이때는 정답을 보여주며 "이렇게 그려"라고 가르칩니다.
• 2 단계: "스스로 고치기" (RL - 강화 학습)
  이제 AI 가 혼자 그릴 때, 그림이 예쁘게 나오면 칭찬하고, 이상하면 지적하는 감시관을 붙였습니다.
  • AI 가 "다리"를 그렸을 때, "아직 다리가 완성되지 않았는데 다리가 너무 짧네?"라고 중간 단계에서 피드백을 줍니다.
  • 마치 건축 현장에서, 벽을 쌓는 도중에도 "이 벽이 기울었으니 고쳐라"라고 말해주는 것과 같습니다. 이렇게 중간중간 피드백을 주니, AI 는 마지막에 완성된 그림이 훨씬 더 잘 나오게 됩니다.

3. 📝 비유: "자동 번역기"가 그림을 분석한 것

이 연구를 가능하게 한 가장 큰 비밀은 데이터였습니다. 기존에는 "어떤 선이 의자의 다리고, 어떤 선이 등받이인지" 알려주는 데이터가 없었습니다.

연구팀은 AI(빅모델) 를 고용해서 기존에 있던 수만 개의 그림을 분석하게 했습니다.

• "이 선은 의자 다리야, 이 선은 등받이야"라고 자동으로 분류하고 라벨을 붙이는 작업을 했습니다.
• 마치 수천 권의 레고 설명서를 AI 가 직접 읽고, "이 블록은 다리에 쓰이는 거야"라고 분류해 놓은 것과 같습니다.
• 이렇게 만든 거대한 데이터 (ControlSketch-Part) 를 바탕으로 AI 를 훈련시켰기 때문에, AI 는 그림의 부위를 정확히 이해하고 그릴 수 있게 되었습니다.

---

🌟 이 기술이 왜 중요할까요?

1. 수정이 쉽습니다: "의자 다리 좀 더 길게 해줘"라고 하면, 다리 부분만 고쳐줍니다. 전체를 다시 그릴 필요가 없습니다.
2. 창의적입니다: "등받이는 둥글게, 다리는 네모나게"처럼 부위별로 지시할 수 있어, 다양한 스타일을 실험해 볼 수 있습니다.
3. 실용적입니다: 디자이너나 예술가들이 아이디어를 빠르게 스케치하고 수정할 때, 이 AI 가 훌륭한 조력자가 될 수 있습니다.

한 줄 요약:
이 논문은 AI 에게 **"한 번에 다 그리지 말고, 레고처럼 부위별로 하나씩 그리면서 중간중간 고쳐가라"**는 새로운 훈련 방법을 가르쳐서, 훨씬 더 똑똑하고 수정하기 쉬운 그림을 그리는 AI 를 만들었습니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 텍스트 기반 벡터 스케치 (Vector Sketch) 생성 연구는 대부분 한 번에 전체 스케치를 생성 (One-shot generation) 하는 방식에 집중해 왔습니다. 이러한 접근 방식에는 다음과 같은 한계가 존재합니다:

• 조절 불가능성: 생성된 스케치의 특정 부분을 수정하거나 제거할 때, 개별 스토크 (stroke) 단위로 수정해야 하므로 비효율적입니다.
• 해석의 어려움: 의미 있는 '부품 (Part)' 단위로 그룹화되지 않아 인간이 스케치를 이해하거나 편집하기 어렵습니다.
• 복잡한 프롬프트의 실패: 긴 구성적 (compositional) 프롬프트를 한 번에 처리할 때, 국소적인 오류가 발생하더라도 이를 수정하기 어렵습니다.
• 기존 대안의 부족: 'SketchAgent'와 같은 일부 연구는 부분별 생성을 시도했으나, 폐쇄형 VLM 에 의존하거나 단순한 아이콘 스타일만 생성하여 고해상도 및 복잡한 도메인에는 적합하지 않았습니다.

따라서, 텍스트 지시를 기반으로 한 부분별 (Part-by-part) 점진적 생성과 로컬 편집 (국소 수정) 이 가능한 고품질 벡터 스케치 생성 모델의 부재가 주요 문제였습니다.

2. 방법론 (Methodology)

저자들은 멀티모달 언어 모델 (VLM) 기반 에이전트를 훈련시켜 텍스트 지시에 따라 캔버스를 점진적으로 채워가는 방식을 제안했습니다. 핵심 방법론은 다음과 같습니다.

가. 자동화된 부분 주석 파이프라인 (Automated Part Annotation Pipeline)

고품질의 부분별 주석 데이터가 부족하다는 문제를 해결하기 위해, 벡터 스케치 (SVG) 를 자동으로 분해하고 라벨링하는 7 단계 파이프라인을 개발했습니다.

1. 초기 분해 (Decomposition): 렌더링된 이미지를 기반으로 VLM 이 의미 있는 부품들을 나열합니다.
2. 비판 및 정제 (Critique & Refinement): VLM 이 생성된 부품 목록을 비판하고 (오류 식별), 수정된 목록을 생성합니다.
3. 경로 할당 (Path Assignment): 스케치의 각 SVG 경로 (Path) 를 특정 부품에 매핑합니다.
4. 경로 할당 비판 및 시각화: 색상 코딩된 진단 시각화 (Diagnostic Visualization) 를 통해 VLM 이 경로와 부품의 매핑 오류를 식별하고 수정합니다.
5. 캡션 생성: 최종적으로 전체 스케치를 요약하는 캡션과 부품별 설명을 생성합니다.
   이 과정을 통해 ControlSketch-Part라는 새로운 데이터셋을 구축했습니다.

나. 2 단계 훈련 프레임워크 (Two-Stage Training Framework)

모델 훈련은 지도 미세 조정 (SFT) 과 강화 학습 (RL) 의 두 단계로 구성됩니다.

1. Stage 1: Supervised Fine-Tuning (SFT)

   • 목적: 모델이 올바른 SVG 출력 형식을 학습하고, 단일 턴 (한 번의 부품 생성) 에서 캔버스를 확장하는 정책을 초기화합니다.
   • 데이터: 스케치의 부품 순서를 무작위로 섞어 (Permutation) 다양한 생성 순서로 학습시킵니다.

2. Stage 2: Multi-turn Process-Reward GRPO (Reinforcement Learning)

   • 목적: SFT 단계에서 발생하는 '오라클 (Ground Truth) 상태'와 실제 추론 시의 '자기 생성 상태' 간의 격차 (Distribution Gap) 를 해소하고, 시각적 품질을 극대화합니다.
   • 알고리즘: GRPO (Group Relative Policy Optimization) 를 적용합니다.
   • 프로세스 보상 (Process-Reward): 기존 강화 학습이 최종 결과물만 평가하는 것과 달리, 각 단계 (각 부품 생성 시점) 의 중간 상태에 대해 보상을 부여합니다.
     • DreamSim Reward: 생성된 캔버스의 렌더링 이미지와 Ground Truth 렌더링 간의 시각적 유사도 (DreamSim 메트릭) 를 계산하여 보상으로 사용합니다.
     • Path Count Reward: 생성된 경로 (Path) 의 수가 Ground Truth 와 적절히 일치하도록 정규화합니다.
   • 효과: 에이전트가 각 단계에서 시각적 피드백을 받으며 점진적으로 스케치를 완성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. ControlSketch-Part 데이터셋: 벡터 스케치를 의미 있는 부품으로 분해하고, 경로 - 부품 매핑을 포함한 구조화된 주석이 추가된 고품질 데이터셋을 공개했습니다.
2. 자동 주석 파이프라인: VLM 을 활용한 다단계 비판 및 정제 프로세스를 통해 대규모 벡터 스케치 데이터에 대한 자동 부분 주석을 가능하게 하는 확장 가능한 파이프라인을 제안했습니다.
3. 새로운 훈련 알고리즘: 텍스트 기반 다중 턴 벡터 스케치 생성을 위한 다중 턴 프로세스 보상 기반 GRPO 알고리즘을 개발하여, 점진적 생성과 로컬 편집을 지원하는 에이전트를 훈련시켰습니다.

4. 실험 결과 (Results)

저자들은 자동 메트릭과 사용자 연구를 통해 기존 방법론 (SketchAgent, Gemini 3.1 Pro, SDXL+SwiftSketch 등) 과 비교 평가했습니다.

• 자동 메트릭 (Long-CLIP Cosine Similarity): 제안된 모델 (SFT + RL) 이 텍스트와 생성된 스케치의 일치도에서 모든 베이스라인을 능가했습니다. 특히 SFT 만 사용한 모델보다 RL 단계가 추가된 모델이 성능이 우수함을 입증했습니다.
• 사용자 연구 (User Studies):
  • 전체 품질: 생성된 스케치의 전반적인 시각적 품질과 텍스트 충실도 측면에서 사용자들이 제안된 모델을 압도적으로 선호했습니다.
  • 단계별 품질: 부분별 생성 과정이 텍스트 설명을 얼마나 잘 따르는지에 대한 평가에서도 가장 높은 선호도를 보였습니다.
• 정성적 결과: 제안된 모델은 매끄러운 경로와 자연스러운 스타일을 가지며, 복잡한 객체 (동물, 기계 등) 의 특징을 잘 포착했습니다. 반면, 기존 방법들은 기하학적 단순성이나 왜곡된 형태를 보이는 경향이 있었습니다.
• 편집 기능: 생성된 스케치의 특정 부분을 제거하거나 교체하는 로컬 편집이 용이함을 시연했습니다.

5. 의의 및 결론 (Significance)

이 논문은 구조화된 부분별 (Part-level) 데이터와 시각적 피드백을 활용한 강화 학습이 텍스트 - 벡터 스케치 생성 분야에서 결정적인 역할을 함을 입증했습니다.

• 창작 워크플로우 혁신: 디자이너가 중간 단계에서 아이디어를 탐색하고, 특정 부분만 수정하거나 대체할 수 있는 상호작용적이고 제어 가능한 (Controllable) 스케치 생성 도구를 제공합니다.
• 미래 연구 방향: 시각적 피드백을 활용한 다중 턴 프로세스 학습의 중요성을 부각시켰으며, ControlSketch-Part 데이터셋과 훈련 프레임워크는 향후 구조화된 생성 작업 연구에 중요한 자원이 될 것으로 기대됩니다.

요약하자면, 이 연구는 "한 번에 그리는 것"이 아닌 "한 부분씩 그리고 수정하며 완성하는" 인간과 유사한 스케치 방식을 AI 에이전트에 구현하여, 더 정교하고 편집 가능한 벡터 아트워크 생성을 가능하게 한 획기적인 작업입니다.