Scientific Graphics Program Synthesis via Dual Self-Consistency Reinforcement Learning

1. 연구 배경 및 문제 정의 (Problem)

• 과제: 정적 래스터 이미지를 편집 가능한 TikZ (LaTeX 기반의 벡터 그래픽 언어) 코드로 역추적 (Reverse-engineering) 하는 그래픽 프로그램 합성 (Graphics Program Synthesis) 작업입니다.
• 중요성: TikZ 는 과학적 도면 (회로도, 흐름도 등) 의 사실적 표현과 프로그래밍 유연성으로 사실상 표준 (de facto standard) 으로 자리 잡았으나, 엄격한 공간적 정밀도와 문법적 요구사항을 충족해야 합니다.
• 현재의 한계 (Gaps):
  1. 데이터 품질 격차: 기존 이미지-TikZ 데이터셋은 실행 불가능한 코드가 많거나, 시각적 정렬 (Visual Alignment) 이 불완전하여 노이즈가 많습니다.
  2. 평가 기준 부재: 구조적 논리와 시각적 충실도를 모두 평가할 수 있는 포괄적인 벤치마크가 부족합니다.
  3. MLLM 의 한계: 멀티모달 대규모 언어 모델 (MLLM) 은 TikZ 의 엄격한 문법과 공간적 정밀도를 요구하는 작업에서 문법 오류, 의존성 누락, 기하학적 오정렬 등을 자주 발생시킵니다. 기존 방법론 (SFT 만 의존하거나 단순한 시각적 보상) 은 구조적 일관성을 보장하지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 폐루프 (Closed-loop) 프레임워크를 제안하며, 크게 데이터 엔진, 평가 벤치마크, 그리고 새로운 강화학습 알고리즘으로 구성됩니다.

A. SciTikZ-230K: 실행 중심 데이터 엔진 (Execution-Centric Data Engine)

• 목적: 고품질의 실행 가능한 TikZ 데이터셋 구축.
• 프로세스:
  1. 소스 집계: HuggingFace, arXiv, StackExchange 등 다양한 소스에서 원시 데이터 수집.
  2. 능동적 복구 (Active Remediation): 컴파일 실패 시 MLLM(Qwen3-VL) 을 활용해 오류 로그를 분석하고 문법/의존성 오류를 자동 수정 (약 60% 복구율).
  3. 정제 (Purification):
     • Coarse-grained: 길이, 중복도, 외부 의존성 제거.
     • Fine-grained: MLLM Judge 를 통해 정확성, 레이아웃, 가독성, 과학적 타당성, 복잡도 등 5 가지 차원에서 점수화하여 고품질 데이터 (230K 개) 선별.
• 특징: 11 개의 과학 분야를 아우르며, 100% 컴파일 가능하고 시각적으로 정렬된 데이터셋.

B. SciTikZ-Bench: 포괄적 평가 벤치마크

• 구성: 611 개의 수동 검증된 과학 도면으로 구성.
• 평가 지표:
  • 시각적 충실도: SigLIP, CLIP (의미적 정렬), LPIPS, SSIM, DreamSim (구조적/감각적 정밀도).
  • 코드 품질: CrystalBLEU (보일러플레이트 제거), Token Edit Distance (TED, 구조적 차이).
  • 실행성: 컴파일 성공률 (Compile Success Rate).

C. Dual Self-Consistency Reinforcement Learning (DSC-RL)

기존의 일방향 생성을 넘어, **이중 자기 일관성 (Dual Self-Consistency)**을 강화학습에 도입한 핵심 알고리즘입니다.

• 2 단계 학습 전략:
  1. Stage 1 (시각적 정렬): 컴파일 성공 여부와 시각적 유사도 (SigLIP, LPIPS) 를 기반으로 한 보상을 통해 실행 가능한 코드 생성을 학습.
  2. Stage 2 (자기 일관성 정제):
     • Round-Trip Verification (왕복 검증): 생성된 코드 ($\hat{y}$) 를 렌더링하여 이미지 ($\hat{I}$) 를 만든 후, 다시 그 이미지를 입력으로 주어 코드를 재구성 ($\hat{y}'$) 합니다.
     • 일관성 보상: 원본 코드 $\hat{y}$와 재구성된 코드 $\hat{y}'$ 간의 구조적/의미적 유사도 (TED, CrystalBLEU) 를 계산하여 보상으로 활용합니다.
     • Fidelity Gate: 시각적 정렬이 일정 임계값을 넘어야만 일관성 보상이 활성화되어, 저품질의 "해킹"된 코드가 학습되는 것을 방지합니다.
• 효과: 모델이 단순히 시각적으로 비슷하게 만드는 것을 넘어, 논리적으로 일관되고 구조적으로 정제된 코드를 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. SciTikZ-230K 데이터셋: 실행 중심 데이터 엔진을 통해 구축된 대규모 고품질 TikZ 데이터셋과 이를 평가하는 SciTikZ-Bench 벤치마크 공개.
2. Dual Self-Consistency (DSC) RL: 시각적 충실도와 구조적 논리를 통합하는 새로운 강화학습 패러다임 제안. 라벨이 없는 데이터에서도 논리적 자기 일관성을 확보할 수 있게 함.
3. SciTikZer 모델: 4B 및 8B 파라미터 규모의 오픈소스 모델 공개.

4. 실험 결과 (Results)

• 성능 (SciTikZ-Bench):
  • SciTikZer-8B는 **97.2%**의 컴파일 성공률을 기록하며, 235B 파라미터의 Qwen3-VL-235B(92.1%) 와 88.9% 의 Gemini-2.5-Pro 를 능가했습니다.
  • 시각적 정밀도 (SigLIP, LPIPS) 와 구조적 정확도 (TED) 에서 모든 기존 모델 (Proprietary 및 Open-Source) 보다 최상위 (SOTA) 성능을 달성했습니다.
• 일반화 능력 (DaTikZ-v3): 학습 데이터와 다른 외부 데이터셋에서도 94.46% 의 컴파일 성공률과 우수한 시각적 유사도를 보여주어 과적합이 없음을 입증했습니다.
• 점진적 학습 분석:
  • SFT 만으로는 문법 학습에 그쳤으나, Stage 1 RL 을 통해 시각적 정렬이 크게 개선되었고, Stage 2 (DSC) 를 통해 컴파일 성공률과 구조적 일관성이 추가적으로 향상되었습니다.
• 휴먼 평가: 300 개의 샘플에 대한 블라인드 평가에서 인간 평가자들이 SciTikZer-8B를 59% 의 선호도로 가장 높은 품질의 모델로 선정했습니다.
• 크로스 언어 일반화: DSC 프레임워크를 Python 기반 차트 생성 (ChartMimic) 에 적용했을 때도 성능이 향상되어 방법론의 범용성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 과학적 시각화의 자동화: 복잡한 과학 도면을 편집 가능한 코드로 변환하는 데 있어, MLLM 의 한계를 극복하고 실용적인 수준의 정확도를 달성했습니다.
• 검증 가능한 생성 (Verifiable Generation): 컴파일러 피드백과 왕복 검증 (Round-Trip Verification) 을 결합하여, 생성된 코드가 단순히 "보이는 것"이 아니라 "논리적으로 일관된 것"임을 보장하는 새로운 강화학습 패러다임을 제시했습니다.
• 오픈소스 생태계 기여: 고품질 데이터셋, 벤치마크, 그리고 SOTA 성능의 오픈소스 모델 (SciTikZer) 을 공개함으로써 과학적 그래픽 합성 연구의 기반을 마련했습니다.

이 연구는 멀티모달 AI 가 단순한 이미지 이해를 넘어, 실행 가능하고 구조적으로 엄격한 프로그래밍 언어를 생성하는 데 있어 데이터 품질과 검증 가능한 강화학습의 중요성을 강조합니다.