VisCoder2: 다국어 시각화 코딩 에이전트 구축 (VisCoder2: Building Multi-Language Visualization Coding Agents) 기술 요약

이 논문은 대규모 언어 모델 (LLM) 기반의 시각화 코딩 에이전트가 직면한 한계를 극복하고, 다양한 프로그래밍 언어에서 실행 가능한 시각화 코드를 생성하고 자가 수정 (self-debug) 할 수 있는 새로운 프레임워크를 제안합니다. 저자들은 VisCode-Multi-679K(대규모 데이터셋), VisPlotBench(새로운 벤치마크), VisCoder2(모델 패밀리) 라는 세 가지 핵심 요소를 통해 이 목표를 달성했습니다.

1. 문제 정의 (Problem)

기존의 LLM 기반 코딩 에이전트들은 시각화 작업에서 다음과 같은 심각한 한계를 겪고 있습니다:

• 제한된 언어 지원: 대부분의 기존 데이터셋과 벤치마크가 Python 이나 Vega-Lite 등 소수의 언어에 집중되어 있어, LaTeX, LilyPond, Asymptote 와 같은 심볼릭 (symbolic) 이나 컴파일러 의존적 언어를 지원하지 못합니다.
• 실행 불확실성: 생성된 코드가 실행되지 않거나, 오류가 발생하거나, 의도한 시각적 결과를 산출하지 못하는 경우가 빈번합니다.
• 반복적 수정 메커니즘 부재: 실제 워크플로에서는 초기 생성 후 실행 피드백을 통해 코드를 수정하는 과정이 필수적이지만, 기존 연구들은 주로 1 회 생성 (single-round generation) 에만 초점을 맞추고 있어 자가 디버깅 능력을 평가하거나 훈련하기 어렵습니다.
• 검증된 데이터 부족: 실행 가능한 코드와 렌더링된 이미지를 쌍으로 가진 검증된 데이터가 부족하여 모델의 신뢰성을 높이기 어렵습니다.

2. 방법론 (Methodology)

저자들은 세 가지 상호 보완적인 리소스를 개발하여 위 문제를 해결했습니다.

2.1 VisCode-Multi-679K (데이터셋)

• 규모 및 구성: 12 가지 프로그래밍 언어 (Python, LaTeX, LilyPond, SVG, HTML, Asymptote, Mermaid, Vega-Lite, R, JavaScript, C++, TypeScript) 를 아우르는 679,000 개의 실행 가능한 시각화 코드 샘플과 66,000 개의 다턴 (multi-turn) 수정 대화를 포함합니다.
• 데이터 파이프라인:
  1. 소스 수집: The-Stack-V2, svg-diagrams, CoSyn-400K 등 오픈소스 리포지토리에서 코드를 수집합니다.
  2. 코드 추출 및 필터링: GPT-4.1-mini 를 활용하여 독립적으로 실행 가능한 코드 블록을 추출하고, 필요한 경우 더미 데이터를 주입합니다.
  3. 런타임 검증 (Runtime Validation): Jupyter 환경에서 코드를 실행하여 오류를 확인하고, 유효한 이미지 파일 (단색이 아니며 10KB 이상) 이 생성된 경우만 선별합니다.
  4. 지시문 생성 (Instruction Generation): 생성된 코드와 이미지를 기반으로 GPT-4.1 을 사용하여 자연어 지시문 (Setup, Data, Output, Style 등 5 가지 구성 요소) 을 생성합니다.
  5. 자가 수정 데이터 통합: Code-Feedback 데이터셋의 다턴 대화 데이터를 통합하여 모델이 실행 피드백을 바탕으로 코드를 수정하는 능력을 학습시킵니다.

2.2 VisPlotBench (벤치마크)

• 범위: 8 가지 언어와 13 가지 시각화 카테고리 (Bars, Lines, 3D, Music, Hierarchies 등) 로 구성된 888 개의 태스크를 제공합니다.
• 평가 프로토콜:
  • 실행 통과율 (Execution Pass Rate): 코드가 오류 없이 실행되고 유효한 시각화를 생성하는지 평가합니다.
  • 태스크 점수 (Task Score) & 비주얼 점수 (Visual Score): LLM 판정자를 사용하여 생성된 시각화가 지시사항을 얼마나 잘 따르는지 (의미적 일치) 와 기준 이미지와 얼마나 유사한지 (시각적 유사성) 를 평가합니다.
  • 자가 디버깅 (Self-Debug): 최대 3 회까지 실행 피드백을 바탕으로 코드를 수정하는 과정을 평가하여 에이전트의 회복 능력을 측정합니다.

2.3 VisCoder2 (모델)

• 아키텍처: Qwen2.5-Coder (3B, 7B, 14B, 32B) 를 베이스로 하여 VisCode-Multi-679K 로 파인튜닝된 모델 패밀리입니다.
• 학습 전략: 실행 가능한 코드 생성과 실행 피드백 기반의 다턴 수정 대화를 모두 학습하여, 초기 생성 능력과 자가 수정 능력을 동시에 향상시킵니다.

3. 주요 결과 (Key Results)

VisPlotBench 를 통한 실험 결과는 VisCoder2 의 우수성을 입증했습니다.

• 성능 향상: VisCoder2-32B 는 오픈소스 베이스라인 (Qwen2.5-Coder-32B) 대비 전체 실행 통과율을 약 15% 포인트 향상시켰으며, **82.4%**의 통과율을 기록하여 상용 모델인 GPT-4.1 과 유사한 성능을 달성했습니다.
• 자가 디버깅의 효과: 자가 디버깅 (Self-Debug) 을 적용하면 성능이 추가로 크게 향상됩니다. 특히 LilyPond, LaTeX, Asymptote 와 같은 심볼릭 언어에서 오류 수정 능력이 두드러지게 개선되었습니다.
  • 예: VisCoder2-32B 의 LilyPond 실행 통과율은 초기 56.4% 에서 자가 디버깅 후 69.1% 로 상승했습니다.
• 다국어 지원: Python 과 Vega-Lite 뿐만 아니라, 기존 모델들이 취약했던 Mermaid, SVG, Asymptote 등 다양한 언어에서 높은 성능을 보여주며 진정한 다국어 에이전트임을 입증했습니다.
• 오류 분석: 구조적 오류 (구문 오류 등) 는 자가 디버깅을 통해 효과적으로 수정되지만, 심층적인 의미적 오류나 런타임 환경 의존적 오류는 여전히 해결이 어려운 것으로 나타났습니다.

4. 기여도 및 의의 (Significance)

이 연구는 시각화 코딩 에이전트 개발에 다음과 같은 중요한 기여를 합니다:

1. 첫 번째 대규모 다국어 실행 가능 데이터셋: 12 가지 언어를 포괄하고 실행 검증이 된 679K 개의 데이터를 제공함으로써, 다국어 시각화 코딩 연구의 기반을 마련했습니다.
2. 종합적인 평가 체계: 단순 생성뿐만 아니라 실행, 렌더링, 자가 수정까지 평가하는 VisPlotBench 를 통해 에이전트의 실제 활용 가능성을 체계적으로 검증할 수 있게 되었습니다.
3. 상용 모델 대비 경쟁력 있는 오픈소스 모델: VisCoder2 는 상용 모델 (GPT-4.1) 에 필적하는 성능을 내면서 오픈소스로 공개되어, 데이터 분석 및 리포팅 워크플로우에서 신뢰할 수 있는 코딩 어시스턴트 개발을 가속화할 것입니다.
4. 반복적 수정의 중요성 강조: 실행 피드백을 통한 자가 디버깅이 특히 심볼릭 언어와 같은 복잡한 작업에서 필수적임을 입증하고, 이를 위한 학습 데이터의 중요성을 부각시켰습니다.

결론적으로, VisCoder2 프로젝트는 시각화 코딩 에이전트가 단순한 코드 생성기를 넘어, 다양한 언어 환경에서 실행 가능한 결과를 도출하고 스스로 오류를 수정할 수 있는 지능형 에이전트로 진화하는 데 필요한 핵심 인프라를 제공합니다.