VFig: 비전-언어 모델을 활용한 복잡한 도면의 벡터화 (Vectorizing Complex Figures in SVG with Vision-Language Models)

이 논문은 VFig라는 새로운 접근법을 제안하며, 이는 래스터화된 이미지 (PNG, JPEG 등) 를 복잡한 과학적 도면이나 기술적 그림으로 변환하여 편집 가능한 SVG(Scalable Vector Graphics) 코드로 복원하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

• 현황: 과학 논문, 엔지니어링 문서, 교육 자료 등에서 사용되는 복잡한 도면은 원래의 벡터 소스 파일 (SVG) 이 손실되거나 접근 불가능한 경우가 많습니다. 결과적으로 사용자는 수정이나 재사용이 어려운 평면적인 래스터 이미지 (PNG, JPEG) 만을 보유하게 됩니다.
• 과제: 이러한 이미지를 수동으로 재구성하는 것은 전문적인 지식이 필요하고 매우 노동 집약적입니다.
• 기술적 난제:
  • 단순한 아이콘이 아닌 복잡한 구조 (다중 패널, 계층적 그룹화, 정밀한 정렬, 연결성) 를 가진 도면은 벡터화가 어렵습니다.
  • 기존 방법들은 자연 이미지나 수학 공식과 같은 벡터화에 부적합한 요소를 포함하거나, 긴 토큰 시퀀스로 인해 생성의 안정성이 떨어집니다.
  • 단순한 픽셀 유사도만으로는 도면의 구조적 무결성 (화살표 연결, 레이아웃, 텍스트 배치 등) 을 보장하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 비전 - 언어 모델 (VLM) 기반의 접근법을 사용하여 이미지에서 SVG 코드를 생성하는 파이프라인을 구축했습니다.

2.1 데이터셋: VFig-Data

기존 데이터셋이 아이콘이나 단순 도형에 치중해 있던 한계를 극복하기 위해 66,000 개의 고품질 도면-SVG 쌍으로 구성된 대규모 데이터셋을 구축했습니다.

• 구성:
  1. VFig-Data-Complex-Diagrams: 실제 과학 논문 (arXiv 등) 에서 수집된 복잡한 도면을 2 단계 파이프라인 (이미지 설명 생성 → SVG 코드 생성) 을 통해 변환.
  2. VFig-Data-Shapes-and-Arrows: 프로그래밍적으로 생성된 다양한 모양, 화살표, 레이아웃을 가진 합성 데이터.
• 필터링: 자연 이미지, 수학 공식, 플롯 (그래프) 등은 제외하고, 구조적 의미 (기하학적 원시 요소) 를 가진 SVG 만 선별하여 학습 효율성을 높였습니다.

2.2 학습 전략: Coarse-to-Fine Curriculum

복잡한 도면 생성의 안정성을 확보하기 위해 두 단계의 학습 커리큘럼을 적용했습니다.

1. 초기 SFT (Supervised Fine-Tuning): 단순한 도형과 기본 레이아웃으로 모델을 학습시켜 원시 요소 (primitives) 생성 능력을 기릅니다.
2. 고급 SFT: 복잡한 과학 도면으로 학습을 확장하여 계층적 구조와 구성적 추론 능력을 습득합니다.

2.3 강화학습 (RL) with Visual Feedback

단순한 토큰 확률 최적화 (SFT) 는 시각적 품질과 구조적 정확도를 보장하지 못합니다. 이를 해결하기 위해 렌더링 인식 강화학습 (Rendering-aware RL) 을 도입했습니다.

• 알고리즘: GRPO (Group Relative Policy Optimization) 사용.
• 보상 함수 (Reward Design): 생성된 SVG 를 렌더링한 후, VLM (Gemini-3-Flash) 이 다음 4 가지 기준에 따라 점수를 매깁니다.
  • Presence: 모든 시각적 요소 (모양, 텍스트 등) 가 존재하는가?
  • Layout: 공간 배치와 정렬이 정확한가?
  • Connectivity: 화살표와 선이 올바른 지점을 연결하는가?
  • Details: 텍스트 정확도, 폰트, 색상 등 세부 스타일이 유지되는가?
• 특징: 픽셀 단위 거리 (L2, SSIM) 대신 구조적 의미와 인간 판단에 부합하는 고수준 보상을 사용하여 학습합니다.

2.4 평가 벤치마크: VFig-Bench

복잡한 도면의 구조적 무결성을 측정하기 위한 새로운 벤치마크를 제안했습니다.

• 다중粒度 (Multi-granularity) 평가: 픽셀 수준 (LPIPS), 구성 요소 수준 (규칙 기반 매칭), 이미지 수준 (VLM 저지) 평가를 결합합니다.

3. 주요 결과 (Results)

• 성능: VFig 는 오픈소스 모델 중 최고의 성능 (State-of-the-Art) 을 기록했습니다.
• 비교: Proprietary 모델인 GPT-5.2와 Gemini-3-Pro와 경쟁력 있는 성능을 보였습니다.
  • VFig-Bench 점수: VLM-Judge 점수 0.829를 기록하여 GPT-5.2(0.858) 에 근접하는 성과를 냈습니다.
• Ablation Study:
  • 2 단계 커리큘럼: 단순 도형 학습 후 복잡한 도면 학습으로 전환하는 방식이 구조적 안정성을 크게 향상시켰습니다.
  • RL 의 효과: 시각 피드백을 통한 RL 은 SFT 만 사용했을 때보다 렌더링 성공률과 구조적 정확도를 모두 향상시켰습니다.
  • 보상 설계: 픽셀 기반 손실 함수보다 구조적/의미적 보상 (Rubric-based) 이 복잡한 도면 최적화에 더 효과적이었습니다.

4. 의의 및 기여 (Significance)

1. 대규모 전문 도면 데이터셋: 과학적 도면과 복잡한 다이어그램에 특화된 최초의 대규모 데이터셋 (VFig-Data) 을 공개하여 추후 연구의 기반을 마련했습니다.
2. 구조적 정확도 최적화: 단순한 이미지 복원을 넘어, 편집 가능하고 의미론적으로 정합적인 (semantically editable) SVG 코드를 생성하는 데 중점을 둔 새로운 학습 패러다임을 제시했습니다.
3. 실용적 가치: 연구자, 디자이너, 엔지니어가 손실된 벡터 소스를 복원하고 워크플로우를 자동화할 수 있게 하여, 과학적 시각화의 접근성과 재사용성을 획기적으로 높였습니다.
4. 평가 체계 개선: 픽셀 유사도만으로는 부족했던 기존 평가 방식을 넘어, 도면의 구조적 무결성을 측정하는 새로운 벤치마크 (VFig-Bench) 와 지표를 제안했습니다.

결론적으로, VFig 는 비전 - 언어 모델이 복잡한 기술적 도면을 이해하고 고충실도 벡터 형식으로 변환할 수 있음을 입증하며, 오픈소스 모델이 대규모 독점 모델과 경쟁할 수 있는 가능성을 보여주었습니다.