JANUSCODER: 코드 지능을 위한 통합 비주얼-프로그래밍 인터페이스 구축

ICLR 2026 발표 논문 기술 요약

이 논문은 텍스트 기반 소스 코드를 넘어 프로그램이 생성하는 풍부한 시각적 출력까지 포괄하는 **다중 모달 코드 지능 (Multimodal Code Intelligence)**의 새로운 지평을 제시합니다. 저자들은 텍스트 명령, 시각적 입력, 또는 둘의 조합을 통해 코드를 생성하는 통합된 인터페이스인 JANUSCODER 시리즈와 이를 뒷받침하는 대규모 데이터셋 JANUSCODE-800K를 소개합니다.

---

1. 문제 정의 (Problem)

기존의 코드 지능 연구는 주로 텍스트 기반 소스 코드 생성에 집중해 왔으나, 실제 응용 분야 (데이터 시각화, 인터랙티브 웹 UI, 과학적 애니메이션 등) 에서는 프로그램이 생성하는 시각적 결과물이 핵심입니다. 그러나 이 분야의 발전은 다음과 같은 주요 장벽에 직면해 있었습니다:

• 고품질 다중 모달 데이터의 부재: 코드, 자연어 지시사항, 그리고 해당 코드가 실행된 시각적 결과 (이미지, 애니메이션 등) 가 모두 정렬된 고품질 데이터의 부족.
• 데이터 합성의 어려움: 시각적 결과의 품질을 평가하고 검증하는 데 필요한 복잡한 실행 환경 및 품질 관리 프로세스의 부재.
• 분리된 모델 접근법: 기존 연구들은 차트 생성, 웹 UI 생성, 애니메이션 생성 등 특정 작업에 특화된 모델을 개별적으로 개발하여, 모델의 일반화 능력과 확장성이 제한적이었습니다.

2. 방법론 (Methodology)

저자들은 데이터와 모델링 두 측면에서 혁신적인 접근법을 제시했습니다.

A. JANUSCODE-800K 데이터 합성 툴킷 및 데이터셋 구축

대규모 고품질 다중 모달 코드 코퍼스를 구축하기 위해 자동화된 합성 툴킷을 개발했습니다.

• 데이터 소싱: StackV2, WebCode2M, Wolfram Demonstrations, 3Blue1Brown 애니메이션 등 다양한 공개 리포지토리에서 원시 데이터를 수집했습니다.
• 다양한 합성 전략:
  • Guided Evolution: 고수준 개념 (예: 차트 유형 변경, 위젯 추가) 을 기반으로 지시사항을 진화시켜 데이터의 복잡성과 다양성을 높임.
  • Re-contextualization: 기존 코드를 분석하여 암묵적 논리를 파악하고 더 정교한 지시사항을 생성.
  • Reverse Instruction: 코드를 기반으로 자연어 지시사항을 역추적하여 생성 (Code-to-Instruction).
  • Bidirectional Translation: R, Mathematica, Manim 등 서로 다른 도메인 간의 코드와 지시사항을 상호 변환하여 데이터 확장.
• 품질 관리 (Quality Control): 생성된 코드가 실행 가능한지 검증한 후, **LLM 및 VLM (Vision-Language Model) 기반 보상 모델 (Reward Modeling)**을 도입하여 지시사항 준수 여부, 코드 품질, 시각적 명확성 등을 5 점 척도로 평가했습니다. 낮은 점수의 데이터는 필터링되었습니다.
• 결과물: JANUSCODE-800K (약 80 만 개의 샘플) 는 텍스트 중심 (50.9%) 과 비전 중심 (49.1%) 데이터를 균형 있게 포함하며, 차트, 웹 UI, 과학적 시연, 애니메이션 등 다양한 도메인을 아우릅니다.

B. JANUSCODER 및 JANUSCODERV 모델 아키텍처

• 통합 인터페이스: 특정 작업에 특화된 모델 대신, 텍스트, 이미지, 코드를 모두 입력받아 다양한 비주얼-프로그래밍 작업을 수행하는 단일 통합 모델을 설계했습니다.
• 베이스 모델: Qwen3 (8B, 14B) 및 Qwen2.5-VL/InternVL3.5 를 백본으로 활용하여 훈련했습니다.
  • JANUSCODER: 텍스트 중심 작업에 최적화.
  • JANUSCODERV: 시각적 입력 (이미지) 을 포함한 다중 모달 작업에 최적화.

3. 주요 기여 (Key Contributions)

1. 다목적 데이터 합성 툴킷 공개: 이질적인 도메인과 프로그래밍 언어를 아우르는 다중 모달 코드 데이터를 자동 합성하고 검증하는 포괄적인 파이프라인을 구축 및 공개했습니다.
2. JANUSCODE-800K 데이터셋: 현재까지 가장 크고 포괄적인 다중 모달 코드 지능 코퍼스로, 애니메이션 및 과학적 시연 데이터를 대량으로 포함합니다.
3. 통합 비주얼-프로그래밍 모델: JANUSCODER 시리즈는 텍스트 기반 코드 생성, 이미지 기반 코드 복원 (Chart-to-Code), 웹 UI 편집, 동적 애니메이션 생성 등 다양한 작업을 단일 모델로 처리하며, 기존 분리된 모델들의 한계를 극복했습니다.
4. 새로운 벤치마크 (DTVBENCH): 동적 정리의 시각화 (Manim, Wolfram Mathematica) 능력을 평가하기 위한 새로운 벤치마크를 제안하고 평가 프로토콜을 정립했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (PandasPlotBench, ArtifactsBench, ChartMimic, WebCode2M, DTVBENCH 등) 에서 광범위한 실험을 수행했습니다.

• 성능 우위: JANUSCODER (7B~14B) 는 텍스트 중심 및 비전 중심 작업 모두에서 기존 오픈소스 모델 (Qwen, Llama, InternVL 등) 을 크게 상회했습니다.
• 상용 모델 대비 경쟁력: 7B~14B 규모의 모델이 GPT-4o와 유사하거나 일부 작업 (예: 웹 UI 구조 정확도, 과학적 시연) 에서 이를 능가하는 성능을 보였습니다.
  • WebCode2M: 구조적 정확도 (TreeBLEU) 에서 오픈소스 모델 중 가장 높은 점수를 기록하며 상용 모델들을 앞섰습니다.
  • Chart-to-Code: ChartMimic 벤치마크에서 GPT-4o 를 크게 능가하는 성능을 보였습니다.
• 일반적 코딩 능력: 시각화 작업에 특화되었음에도 불구하고, LiveCodeBench, BigCodeBench 와 같은 일반 코딩 벤치마크에서도 우수한 성능을 유지하여 모델의 균형 잡힌 능력을 입증했습니다.
• 분석 결과:
  • 데이터 시너지: 특정 도메인 (예: 애니메이션) 의 데이터가 부족하더라도, 관련 도메인 (예: 웹 UI, 과학적 코드) 의 데이터를 활용하면 성능이 향상됨을 확인했습니다.
  • 보상 모델의 중요성: 단순히 실행 가능한 코드만 필터링하는 것보다, VLM 기반의 보상 모델로 품질을 선별하는 것이 최종 성능에 결정적인 영향을 미쳤습니다.

5. 의의 및 결론 (Significance)

이 논문은 **코드와 시각적 표현 간의 격차 (Perceptual-Symbolic Gap)**를 해소하는 데 중요한 이정표가 됩니다.

• 범용성: 특정 작업에 국한되지 않고, 데이터 시각화부터 복잡한 인터랙티브 웹 애플리케이션, 수학적 애니메이션 생성까지 다양한 작업을 하나의 모델로 처리할 수 있음을 입증했습니다.
• 오픈소스 생태계 기여: JANUSCODER 시리즈와 JANUSCODE-800K 데이터셋은 오픈소스 커뮤니티에 강력한 기반 모델과 고품질 데이터를 제공하여, 향후 다중 모달 코드 지능 연구의 표준을 제시합니다.
• 미래 지향성: 이 연구는 AI 가 단순히 코드를 작성하는 것을 넘어, 사용자의 의도를 시각적으로 구현하고 복잡한 개념을 동적으로 설명하는 '시각적 프로그래밍 에이전트'로 발전할 수 있는 토대를 마련했습니다.

요약하자면, JANUSCODER 는 데이터 합성 툴킷과 대규모 코퍼스를 기반으로 구축된 통합 모델로서, 텍스트와 비전을 아우르는 코드 생성 분야에서 새로운 State-of-the-Art 를 달성하고 상용 모델과 경쟁 가능한 수준에 도달했음을 보여줍니다.