1. 문제 정의 (Problem Statement)

기존의 시각 언어 모델 (VLM) 과 SVG(Scalable Vector Graphics) 생성 연구는 다음과 같은 한계를 가지고 있었습니다:

• 비현실적인 벤치마크: 기존 데이터셋은 주로 아이콘이나 기본 도형에 국한되거나, 합성된 (synthetic) 프로그래밍적 편집에 의존하여 실제 디자인 워크플로우를 반영하지 못했습니다.
• 전문성 부족: 복잡한 편집, 스케치 기반 생성, 심층적인 의미 이해가 필요한 작업에 대한 인간 수준의 골드 스탠다드 (Gold Standard) 어노테이션이 부재했습니다.
• 평가의 한계: 픽셀 기반의 시각적 유사성만으로는 SVG 코드의 구조적 유효성, 의미론적 정확성, 그리고 지시사항 준수 여부를 충분히 평가할 수 없었습니다.

이에 따라 실제 디자인 환경과 유사한 복잡성과 다양성을 가진 SVG 생성 및 조작을 평가할 수 있는 통합 벤치마크와 평가 체계가 필요했습니다.

2. 방법론 (Methodology)

A. VectorGym 벤치마크 구축

논문은 GitHub 의 실제 SVG 파일 (SVG-Stack) 에서 파생된 4 가지 핵심 태스크로 구성된 종합 벤치마크 VectorGym을 제안합니다. 모든 태스크는 전문가가 수작업으로 생성한 어노테이션을 기반으로 합니다.

1. VG-Sketch (Sketch2SVG): 손으로 그린 스케치 (비정형 비트맵) 를 정제된 SVG 코드로 변환하는 태스크. 공간 추론과 형태 인식 능력을 평가합니다.
2. VG-Edit (SVG Editing): 자연어 지시를 받아 기존 SVG 코드를 수정하는 태스크. 텍스트, 그라데이션, 애니메이션 등 고차원 원시 (primitives) 를 포함하는 복잡한 다단계 편집을 요구합니다.
3. VG-Text (Text2SVG): 자연어 설명을 바탕으로 완전한 SVG 코드를 생성하는 태스크.
4. VG-Cap (SVG Captioning): SVG 코드를 분석하여 시각적 내용과 스타일을 설명하는 자연어 캡션을 생성하는 태스크.

• 데이터 특성: 7,000 개의 후보 샘플에서 토큰 길이, 색상 엔트로피 등을 필터링하여 6,500 개의 학습 데이터와 300 개의 테스트 데이터를 구성했습니다. 20 명 이상의 디자인 및 코딩 전문가가 복잡한 편집 지시와 스케치를 생성했습니다.

B. 평가 지표 (Evaluation Metrics)

전통적인 이미지 재구성 지표 (MSE, LPIPS) 와 텍스트 생성 지표 (ROUGE) 외에 새로운 평가 방식을 도입했습니다:

• VLM-as-a-Judge (VLMAJ): SVG 생성 품질을 평가하기 위해 설계된 특수 프롬프트를 가진 VLM 을 심사관으로 활용합니다. 인간 평가자와의 상관관계를 통해 검증되었으며, 각 태스크 (스케치, 편집, 텍스트, 캡션) 에 맞춰 최적화된 심사관 모델을 선택했습니다.
• 종합 점수 (VectorGym Score): 4 가지 태스크별 점수 (VLM Judge, DINO, MSE, LPIPS, ROUGE 등) 를 정규화하여 가중 평균한 단일 점수를 산출합니다.

C. 강화 학습 기반 다태스크 최적화 (RL Training)

• 모델: Qwen3-VL 8B Instruct 모델을 기반으로 합니다.
• 방법론: 렌더링 기반 피드백을 활용한 강화 학습 (RLRF) 을 적용합니다.
  • 보상 함수: 생성된 SVG 와 정답 SVG 를 렌더링하여 픽셀 공간 거리 (MSE, LPIPS) 와 심층 특징 정렬 (DINO) 을 계산하거나, 텍스트 태스크의 경우 임베딩 유사도 (BGE-M3) 를 보상으로 사용합니다.
  • 알고리즘: GRPO (Group Relative Policy Optimization) 를 기반으로 하되, 배치 전체의 표준편차를 이용한 정규화와 커리큘럼 학습 (응답 길이에 따른 난이도 순서 학습) 을 도입하여 학습 안정성을 높였습니다.

3. 주요 기여 (Key Contributions)

1. VectorGym 벤치마크 출시: 실제 디자인 워크플로우를 반영한 4 가지 태스크 (스케치, 편집, 텍스트 생성, 캡션) 를 포함하는 최초의 종합 SVG 벤치마크를 제공합니다.
2. 새로운 태스크 및 데이터셋:
   • Sketch2SVG: 손으로 그린 스케치를 벡터 코드로 변환하는 새로운 태스크를 정의했습니다.
   • VG-Edit: 인간 전문가가 작성한 복잡한 의미론적 편집 (다단계 추론, 고차원 원시 사용) 이 포함된 최초의 데이터셋을 공개했습니다.
3. 성능 최적화 방법론 제안: 강화 학습 (RL) 과 커리큘럼 학습을 결합하여 8B 파라미터 모델이 235B 모델 및 GPT-4o 와 경쟁할 수 있는 성능을 달성하도록 하는 방법을 제시했습니다.
4. VLM-as-a-Judge 검증: SVG 생성 태스크에 특화된 자동 평가 지표를 개발하고 인간 평가와의 상관관계를 통해 검증했습니다.

4. 실험 결과 (Results)

• 종합 성능: 제안된 Qwen3-VL 8B Gym 모델은 오픈소스 모델 중 가장 높은 성능을 보였으며, GPT-4o를 능가하고 Qwen3-VL 235B보다 우수한 결과를 기록했습니다.
  • VectorGym 종합 점수: Qwen3-VL 8B Gym (66.05) > GPT-4o (64.93) > Qwen3-VL 235B (62.32).
• 태스크별 성과:
  • VG-Sketch: 8B Gym 모델은 70.72 점으로 GPT-4o(69.55) 보다 높았습니다.
  • VG-Edit: 8B Gym 모델은 82.81 점으로 GPT-4o(82.35) 를 상회하며 복잡한 편집 지시를 잘 따랐습니다.
  • VG-Text: 8B Gym 모델은 63.60 점으로 235B 모델 (59.68) 보다 우수했습니다.
  • VG-Cap: 키워드 기반 지표 (BGE-M3, ROUGE) 에서 8B Gym 이 모든 모델을 압도했으나, VLM 심사관 점수는 다소 낮았습니다.
• 최고 성능 모델: 전체 벤치마크에서 Gemini 3 Pro가 73.17 점으로 가장 높은 성능을 보였으며, GPT-5.1이 71.36 점으로 그 뒤를 이었습니다.
• 난이도 계층: Text2SVG (가장 쉬움) > SVG Editing > Sketch2SVG > SVG Captioning (가장 어려움) 순으로 난이도가 높았습니다.

5. 의의 및 결론 (Significance)

• 실용성: VectorGym 은 단순한 이미지 생성을 넘어, 실제 디자인 도구에서 필요한 구조화된 코드 생성 및 정밀 편집 능력을 평가하는 엄격한 프레임워크를 제공합니다.
• 모델 효율성: 대규모 모델 없이도 고품질의 인간 어노테이션과 강화 학습을 결합하면, 소규모 모델이 거대 모델과 경쟁할 수 있음을 입증했습니다.
• 연구 방향성: 기존 합성 데이터에 의존하던 평가 방식을 넘어, 의미론적 이해와 디자인 의도를 평가하는 새로운 표준을 제시하여 시각 코드 생성 분야의 발전을 촉진합니다.

이 논문은 SVG 생성 기술이 실제 산업 적용 (디자인 자동화, UI/UX 생성 등) 에 도달하기 위해 필요한 평가 기준과 학습 방법론을 체계적으로 정립했다는 점에서 중요한 의의를 가집니다.