ChartNet: 견고한 차트 이해를 위한 백만 규모 고품질 멀티모달 데이터셋

이 논문은 시각적 패턴, 구조화된 수치 데이터, 자연어 간의 통합적 추론이 필요한 **차트 **(Chart)의 한계를 극복하기 위해 제안된 대규모 멀티모달 데이터셋인 ChartNet을 소개합니다. 현재 비전 - 언어 모델 (VLM) 들이 복잡한 차트 이해 및 추론 작업에서 여전히 부진한 이유를 데이터의 부재와 품질 문제로 분석하고, 이를 해결하기 위한 체계적인 데이터 생성 파이프라인과 실험 결과를 제시합니다.

1. 문제 정의 (Problem)

차트는 과학, 금융, 비즈니스 분야에서 정량적 정보를 전달하는 핵심 수단입니다. 그러나 차트를 이해하려면 시각적 패턴 인식, 수치 데이터 추출, 자연어 해석이 긴밀하게 결합되어야 합니다. 기존 연구들은 다음과 같은 한계를 겪고 있습니다:

• 데이터의 규모와 다양성 부족: 기존 데이터셋은 규모가 작거나 특정 차트 유형 (막대, 선, 원형 등) 에만 국한되어 있습니다.
• 모달리티의 불완전성: 많은 데이터셋이 질문 응답 (QA) 이나 캡션 생성과 같은 단일 작업에 집중하며, 차트 생성 코드, 원본 데이터 테이블, 추론 과정 (Reasoning traces), 그라운딩 (Grounding) 정보 등 필수적인 모달리티를 포함하지 않습니다.
• 모델 성능의 정체: 이러한 데이터 부족으로 인해 오픈소스 모델은 복잡한 차트 추론 작업에서 상용 모델 (Proprietary models) 에 비해 크게 뒤처집니다.

2. 방법론 (Methodology)

저자들은 **코드 기반 **(Code-guided)을 통해 150 만 개의 고품질 멀티모달 튜플을 생성했습니다. 이 파이프라인은 다음과 같은 5 단계로 구성됩니다:

1. **차트-to-코드 재구성 **(Chart-to-Code Reconstruction)
   • TinyChart 와 같은 기존 데이터셋에서 15 만 개의 시드 (Seed) 차트 이미지를 선택합니다.
   • 비전 - 언어 모델 (VLM) 에게 이미지를 분석하여 해당 차트를 재현할 수 있는 실행 가능한 Python 코드를 생성하도록 프롬프트합니다.
2. **코드 기반 차트 증강 **(Code-Guided Chart Augmentation)
   • 생성된 코드를 입력으로 받아 대형 언어 모델 (LLM) 을 통해 반복적으로 코드를 수정하고 증강합니다.
   • 차트 유형 (24 종), 플롯팅 라이브러리 (6 종), 데이터 값, 스타일 등을 다양하게 변경하여 시각적, 의미적 다양성을 확보합니다.
3. **차트 렌더링 **(Chart Rendering)
   • 생성된 모든 코드를 실행하여 실제 차트 이미지를 생성합니다. 실행에 성공한 코드와 이미지만을 유지합니다.
4. **품질 필터링 **(Quality Filtering)
   • VLM 을 사용하여 생성된 이미지의 시각적 결함 (겹치는 텍스트, 잘린 레이블, 흐린 요소 등) 을 자동으로 감지하고 제거합니다.
   • 인간 평가와 비교 시, 필터링 후 시각적 오류가 14.9% 에서 5.9% 로 크게 감소함을 확인했습니다.
5. **코드 기반 속성 생성 **(Code-Guided Attribute Generation)
   • 코드와 이미지를 기반으로 데이터 테이블 (CSV), 자연어 요약, 그리고 **Chain-of-Thought **(CoT)이 포함된 QA 쌍을 생성합니다.
   • 또한, 차트 요소의 위치를 명시하는 **그라운딩 **(Grounding) 정보와 안전성 (Safety) 관련 데이터를 추가하여 데이터셋을 확장했습니다.

3. 주요 기여 (Key Contributions)

1. 코드 기반 자동 생성 파이프라인: 구조화된 데이터 합성과 자동 품질 필터링을 통합하여, 시각적 충실도, 의미적 정확성, 표현적 다양성을 보장하는 대규모 데이터 생성 방식을 제안했습니다.
2. ChartNet 데이터셋 공개:
   • 규모: 150 만 개의 고품질 멀티모달 튜플 (이미지, 코드, CSV, 텍스트, CoT 기반 QA).
   • 다양성: 24 가지 차트 유형, 6 가지 플롯팅 라이브러리, 다양한 주제.
   • 보완 데이터: 인간이 직접 검증한 데이터 (9 만 6 천 개), 실세계 데이터 (3 만 개), 그라운딩 QA, 안전성 데이터 (7 천 개) 를 포함합니다.
   • 이는 현재까지 공개된 가장 큰 규모의 합성 차트 데이터셋입니다.
3. 실험적 유효성 입증: 다양한 크기의 VLM 에서 ChartNet 으로 파인튜닝했을 때, 차트 재구성, 데이터 추출, 요약, 복잡한 추론 등 모든 작업에서 일관된 성능 향상을 보였으며, 더 큰 규모의 모델이나 GPT-4o 를 능가하는 결과를 달성했습니다.

4. 실험 결과 (Results)

저자들은 ChartNet 으로 파인튜닝된 모델들을 다양한 벤치마크에서 평가했습니다.

• 성능 향상: 파인튜닝은 모든 모델 크기 (256M ~ 7B) 에서 일관된 성능 향상을 가져왔습니다.
  • **차트 재구성 **(Chart-to-Code) 코드 실행률, 데이터 충실도, 코드/이미지 유사도가 크게 개선되었습니다. 예를 들어, 7B 모델 (LLaVA-7B) 은 코드 데이터 충실도에서 +42.4 점의 향상을 보였습니다.
  • **데이터 추출 **(Chart-to-Table) 파인튜닝된 Granite-Vision-2B 모델은 70.3% 의 정확도를 기록했으며, 이는 GPT-4o(46.7%) 보다 월등히 높은 수치입니다.
  • 차트 요약 및 QA: 모든 모델에서 요약 품질과 CoT 추론 정확도가 향상되었으며, 2B 모델이 72B 모델이나 GPT-4o 보다 우수한 성능을 보였습니다.
• 규모의 비효율성 극복: 시각, 수치, 언어 정보가 긴밀하게 결합된 도메인에서는 모델의 크기 확대보다는 **고품질의 코드 정렬 멀티모달 감독 **(Code-aligned multimodal supervision)이 더 효과적임을 입증했습니다.
• 일반화 능력: ChartNet 으로 학습된 모델들은 ChartCap(요약), ChartMimic-v2(코드 생성) 와 같은 외부 공개 벤치마크에서도 우수한 일반화 성능을 보여주었습니다.

5. 의의 및 결론 (Significance)

ChartNet 은 차트 이해 분야에서 다음과 같은 중요한 의의를 가집니다:

• 새로운 표준 설정: 이미지, 코드, 수치 데이터, 텍스트, 추론 과정을 통합한 대규모 고품질 데이터셋을 제공함으로써, 차트 이해를 위한 새로운 기준을 제시합니다.
• 모델 능력의 한계 돌파: 코드 기반의 감독 학습을 통해 모델이 차트의 시맨틱과 구조적 정보를 더 잘 내재화하도록 하여, 단순한 차트 묘사를 넘어 구조화된 정보의 이해를 가능하게 합니다.
• 오픈 소스 생태계 강화: GPT-4o 와 같은 상용 모델을 능가하는 성능을 오픈소스 모델로 달성할 수 있음을 보여줌으로써, 연구 커뮤니티의 접근성과 재현성을 높입니다.

결론적으로, ChartNet 은 수치 추론, 시각화 이해, 문서 지능, 코드 정렬 멀티모달 모델링 연구의 확장 가능한 기반을 제공하며, 차트 데이터의 구조적 정보를 이해하는 차세대 모델 개발을 가속화할 것입니다.