ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats

이 논문은 디지털, 인쇄, 손으로 그린 시나리오 전반에 걸친 8가지 차트 패밀리와 형식에 구애받지 않는 평가 프로토콜을 특징으로 하는 포괄적인 이중 언어 벤치마크인 ChartArena를 소개하며, 이를 통해 다양한 차트 유형을 파싱하는 데 있어 26개의 선도적인 멀티모달 거대 언어 모델의 현재 능력과 한계를 체계적으로 평가하고 밝히고자 한다.

핵심

당신에게 차트, 그래프, 다이어그램이 가득한 거대한 도서관이 있다고 상상해 보세요. 어떤 것은 깔끔한 컴퓨터 그림이고, 어떤 것은 지저집 사무실에서 찍은 종이 사진이며, 또 어떤 것은 화이트보드에 대충 그린 스케치입니다. 이제 당신은 로봇에게 이 그림들을 읽고 사실 목록(예: 스프레드시트)이나 연결 구조(예: 가계도)로 변환하는 법을 가르치고 싶습니다.

이 논문은 서로 다른 로봇(AI 모델)들이 이 작업에 얼마나 능숙한지 테스트하기 위해 설계된 거대하고 새로운 "테스트 트랙"인 ChartArena를 소개합니다.

다음은 비유를 사용한 이 논문의 요약입니다:

1. 문제점: "언어 장벽"과 "클린룸" 이슈

이 논문이 나오기 전, 이 로봇들을 테스트하는 것은 마치 다음과 같은 조건에서 달리기 경주를 하는 선수들을 비교하는 것과 같았습니다:

• 규칙의 변화: 한 선수는 영어로 답을 써야 하고, 다른 선수는 스페인어로, 세 번째 선수는 모스 부호로 답을 써야 했습니다. 답이 너무 다르게 보이기 때문에 누가 더 빠른지 쉽게 비교할 수 없었습니다.
• 가짜 트랙: 대부분의 테스트는 완벽하게 컴퓨터로 생성된 차트만을 사용했습니다. 이는 마치 운전자에게 매끄럽고 빈 트랙에서만 운전하는 법을 가르친 뒤, 비가 오거나 울퉁불퉁한 흙길에서도 완벽하게 운전하기를 기대하는 것과 같습니다. 현실 세계에는 흐릿한 사진, 기울어진 각도, 지저분한 손글씨가 존재하지만, 기존의 테스트들은 이를 무시했습니다.
• 좁은 범위: 테스트는 주로 단순한 막대그래프와 파이 차트에 집중되었습니다. 이는 의사결정 트리(flowcharts)나 마인드맵처럼 단순한 숫자보다는 아이디어의 얽힌 그물망에 가까운 복잡한 다이어그램들을 간과했습니다.

2. 해결책: ChartArena (궁극의 장애물 코스)

저자들은 위의 모든 문제를 해결하는 새롭고 매우 포괄적인 테스트인 ChartArena를 구축했습니다.

• 8가지의 서로 다른 "장애물": 이 테스트는 단순한 숫자 차트(막대, 선, 파이)부터 복잡한 구조적 다이어그램(플로우차트, 마인드맵)까지 8가지 유형의 차트를 다룹니다.
• 3가지 "기상 조건": 모든 차트는 세 가지 방식으로 테스트됩니다:
  1. 디지털(Digital): 완벽하고 선명한 컴퓨터 이미지.
  2. 인쇄물(Printed): 종이 문서를 찍은 사진 (약간 흐릿하거나 기울어져 있을 수 있음).
  3. 손으로 그린 스케치(Hand-Drawn): 화이트보드나 노트에 그린 스케치 사진 (지저분한 잉크, 불균일한 선).
• 2개 국어: 이 테스트는 영어와 중국어를 모두 다루는 이중 언어 체계입니다.
• "인간-에이전트" 팀: 정답이 확실히 맞는지 확인하기 위해 팀 접근 방식을 사용했습니다. AI가 첫 번째 초안을 만들면, 인간 전문가들이 이를 여러 번 검토하고 수정했습니다. 이를 통해 "골드 스탠다드(표준)" 정답의 신뢰성을 확보했습니다.

3. 채점 시스템: "만능 번역기"

서로 다른 로봇들이 서로 다른 형식으로 결과물을 출력할 때(어떤 것은 코드를 쓰고, 어떤 것은 표를 쓰고, 어떤 것은 리스트를 쓸 때), 어떻게 공정하게 점수를 매길 수 있을까요?

저자들은 **만능 번역기(Universal Translator)**를 만들었습니다.

• 숫자 차트의 경우: 로봇이 파이썬 스크립트, CSV 파일, 또는 마크다운 표 중 무엇을 작성했더라도, 시스템은 이를 모두 간단한 "누가, 무엇을, 얼마나(Who, What, How Much)"의 목록(Triples)으로 변환합니다.
• 다이어그램의 경우: 로봇이 Mermaid, Graphviz, 또는 PlantUML 중 무엇을 사용했더라도, 시스템은 이를 점과 선의 지도(Directed Graph)로 변환합니다.

모든 것이 이 공통 언어로 번역되면 시스템은 점수를 매깁니다. 단순히 단어가 정확히 일치하는지만 확인하는 것이 아니라, 구조가 타당한지를 확인합니다. 이는 학생의 에세이를 채점하는 것과 같습니다. 철자가 완벽하지 않더라도 적절한 유의어를 사용하고 핵심 내용을 잘 파악했다면 점수를 주는 방식입니다.

4. 결과: 누가 경주에서 승리했는가?

저자들은 이 새로운 트랙에서 26개의 서로 다른 AI 모델을 테스트했습니다. 결과는 다음과 같습니다:

• "빅테크" 로봇들이 앞서고 있다: 가장 발전된 유료 모델들(Gemini 3.1 Pro 등)이 현재 이 작업에서 가장 뛰어납습니다. 하지만 우수한 무료 오픈 소스 모델들도 매우 빠르게 추격하고 있습니다.
• "문서 판독기"들은 한 가지 기능만 잘한다: 일부 모델은 문서와 단순한 숫자 차트를 읽는 데는 뛰어나지만, 복잡한 플로우차트나 마인드맵을 보여주면 길을 잃습니다. 이들은 아이디어가 어떻게 연결되는지 이해하는 "세상 지식(world knowledge)"이 부족합니다.
• "전문가"들은 너무 전문화되어 있다: 차트를 위해 특별히 만들어진 모델들이 있습니다. 이들은 단순한 막대그래프에는 괜찮지만, 다이어그램이나 손으로 그린 스케치를 마주하면 완전히 실패하곤 합니다. 이들은 현실 세계를 다룰 만큼 충분한 다양성을 학습하지 못했습니다.
• 가장 어려운 과제들:
  • 레이더 차트(Radar Charts): 이 원형 차트(거미줄 형태)는 모든 모델에게 가장 어려운 과제입니다.
  • 손으로 그린 스케치: 입력값이 지저분한 스케치 사진일 경우, 모든 모델의 성능이 현저히 떨어집니다.

5. 시사점

이 논문은 AI가 차트를 읽는 능력이 향상되고 있지만, 완벽한 실험실 환경에서 할 수 있는 일과 지저분한 현실 세계에서 할 수 있는 일 사이에는 여전히 큰 격차가 있다고 결론짓습니다.

ChartArena는 진전을 측정할 수 있는 공정하고 통일된 방법을 제공합니다. 또한 로봇이 어디에서 실패하는지(복잡한 다이어그램, 지저분한 사진 등)를 정확히 보여줌으로써, 개발자들이 진정으로 신뢰할 수 있는 차트 판독 AI를 만들기 위해 어디에 집중해야 하는지 알려줍니다.

요약하자면, 우리는 마침내 실제 세계의 장애물이 포함된 공정한 경주 트랙을 갖게 되었으며, 이제 어떤 로봇이 실전에 투입될 준비가 되었고 어떤 로봇이 더 많은 훈련이 필요한지 정확히 알게 되었습니다.

기술 요약

기술 요약: ChartArena

문제 정의

멀티모달 거대 언어 모델(MLLM)의 차트 파싱 기술이 급격히 발전하고 있음에도 불구하고, 이 분야에는 통합적이고 포괄적인 평가 프레임워크가 부족합니다. 현재의 연구는 세 가지 복합적인 파편화 문제로 인해 어려움을 겪고 있습니다:

1. 출력 불호환성: 모델들이 서로 호환되지 않는 구문 형식(예: Markdown, JSON, CSV, Python 코드, SVG, Mermaid)으로 결과를 생성하여, 직접적인 모델 간 비교가 불가능합니다.
2. 좁은 벤치마크 범위: 기존 벤치마크는 주로 제한된 종류의 수치형 차트(막대, 선, 파이 차트)에 집중되어 있으며, 그래프 수준의 이해를 요구하는 구조적으로 구별되는 다이어그램형 차트(플로우차트, 마인드맵)는 대부분 간과하고 있습니다.
3. 이상적인 데이터 조건: 데이터셋이 깨끗한 디지털 렌더링에 치중되어 있어, 인쇄된 사진(조명/원근 왜곡 포함)이나 손으로 그린 스케치(잉크 불일치 및 노이즈 포함)와 같은 실제 환경의 시각적 섭동을 반영하지 못합니다.

이러한 격차로 인해 커뮤니티는 다양한 차트 유형, 언어 및 시각적 시나리오 전반에 걸친 모델의 능력을 정직하게 평가하는 데 한계를 느끼고 있습니다.

방법론

이러한 과제를 해결하기 위해 저자들은 포괄적인 이중 언어 벤치마크인 ChartArena와 포맷 불가지론적(format-agnostic) 평가 프로토콜을 도입합니다.

1. ChartArena 벤치마크

• 범위: 이 벤치마크는 8가지 차트 패밀리를 아우릅니다: 6가지 수치형 유형(막대, 선, 파이, 레이더, 박스 플롯, 혼합 차트)과 2가지 다이어그램 유형(플로우차트, 마인드맵).
• 시각적 시나리오: 각 차트 유형은 세 가지 뚜렷한 시각적 조건에서 평가됩니다:
  • 디지털 렌더링 (깨끗함).
  • 인쇄된 사진 (물리적 문서에서 캡처됨).
  • 손으로 그린 사진 (화이트보드/노트에 스케치됨).
• 언어: 모든 콘텐츠는 영어와 중국어로 모두 제공됩니다.
• 데이터셋 구축: 데이터셋은 2,400개의 샘플(설정당 50개)로 구성됩니다. 이는 인간-에이전트 협업 주석 파이프라인을 통해 구축되었습니다:
  • MLLM이 초안(수치형은 Markdown, 다이어그램은 Mermaid)을 생성합니다.
  • 인간 주석가가 구조적 요소(노드, 엣지, 축)와 의미적 내용(레이블, 값)을 수정하기 위해 다단계 검증을 수행합니다.
  • 모호한 값에 대한 이견은 높은 신뢰성을 보장하기 위해 여러 명의 주석가에 의해 조정됩니다.

2. 포맷 불가지론적 평가 프로토콜

이질적인 출력을 가진 모델 간의 공정한 비교를 위해, 이 프로토콜은 점수를 매기기 전 모든 예측을 두 가지 정형적인 의미 공간으로 정규화합니다:

• 정규화된 트리플 뷰 (수치형 차트): 모든 출력(Markdown, CSV, JSON, Code 등)은 일련의 의미적 트리플 (header, entity, value)로 매핑됩니다. 이 단계에는 어휘 및 숫자 정규화(예: "3.0"과 "3"을 동일하게 취급)가 포함됩니다.
• 방향성 그래프 뷰 (다이어그램형 차트): 다이어그램 언어(Mermaid, Graphviz, PlantUML 등)는 레이블이 지정된 노드와 엣지를 가진 방향성 그래프로 정규화되어, 구문적 차이를 추상화하고 위상 및 계층 구조를 포착합니다.

채점 지표:

• 구조 인식 지표: 점수는 문자열 유사성이 아닌 구조적 정확성을 기반으로 합니다.
  • 수치형: 텍스트에 대해서는 레벤슈타인 거리(Levenshtein distance)를, 숫자에 대해서는 상대 오차 임계값을 사용하는 트리플 집합의 교집합(Intersection-over-Union, IoU).
  • 다이어그램형: 헝가리안 알고리즘(Hungarian algorithm)을 통한 노드 및 엣지 매칭을 사용하며, 위상적 오류를 방지하기 위해 엣지에 더 높은 가중치를 부여합니다.
• 집계: 결과는 세 가지 허용 오차 수준(strict, slight, high)에 따른 Exact Match (EM) 및 **평균 정밀도(mAP)**로 보고됩니다. 주요 보고 지표는 mAPhigh입니다.

주요 결과

저자들은 26개의 선도적인 모델을 범용 MLLM, 문서 파싱 MLLM, 전문 차트 파서 카테고리로 분류하여 평가했습니다.

1. 독점 모델 vs 오픈 소스 모델: 최첨단 독점 모델(예: Gemini 3.1 Pro)이 전체적으로 앞서 있습니다 (평균 mAP 영어 59.2 / 중국어 73.2). 그러나 가장 강력한 오픈 소스 시스템(예: Qwen3.5-35B-A3B, Kimi K2.5)이 빠르게 격차를 줄이며 최상위권에서 경쟁력 있는 점수를 달성하고 있습니다.
2. 수치형 vs 다이어그램형 성능:
   • 문서 파싱 MLLM(예: HunyuanOCR)은 수치형 차트는 적절히 처리하지만, 다이어그램 구조(플로우차트, 마인드맵)에서는 크게 뒤처집니다. 이는 암시적인 노드와 계층 구조를 추론하는 데 더 큰 일반 목적 모델이 가진 넓은 세상 지식이 필요함을 시사합니다.
   • 전문 차트 파서는 여전히 좁은 차트 패밀리에 국한되어 있습니다. 많은 전용 파서(예: ChartAst, TinyChart)는 다이어그램형 차트를 전혀 처리하지 못하며, 이를 처리할 수 있는 모델(예: RRVF)조차 전체적인 성능 면에서 일반 목적 MLLM에 비해 크게 뒤처집 있습니다.
3. 특정 과제:
   • 레이더 차트: 모든 모델에서 가장 어려운 수치형 카테고리로 식별되었으며, 이는 각도 값을 추정하는 어려움과 학습 데이터의 부족 때문인 것으로 보입니다.
   • 손으로 그린 시나리오: 디지털 렌더링에 비해 손으로 그린 입력값에 대해 성능이 크게 저하됩니다.
   • 포맷 안정성: 평가 프로토콜은 대부분의 포맷(Markdown, JSON, Mermaid)에 대해 견고하지만, SVG(수치형 차트용)와 PlantUML(플로우차트용)은 상당한 성능 저하를 보여 특정 포맷-구조 호환성 문제를 나타냅니다.

의의 및 주장

본 논문은 ChartArena가 전체 차트 유형, 시각적 시나리오 및 언어 스펙트럼 전반에 걸쳐 차트 파싱을 평가하기 위한 최초의 통합된 기반을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 역량 격차 노출: 현재의 "전문" 파서들이 아직 범용적이지 않으며, 선도적인 모델들조차 다이어그램 구조와 비이상적인 시각적 조건에서 어려움을 겪고 있음을 밝혀냈습니다.
• 평가 표준화: 결정론적이고 포맷 불가지론적인 정규화 프로토콜을 도입함으로써, 파편화되고 포맷 중심적인 기존 벤치마크에서 벗어나 공정한 교차 패러다임 비교를 가능하게 했습니다.
• 현실적인 평가: 인쇄 및 손으로 그린 시나리오를 포함함으로써, 평가의 초점을 통제된 실험실 환경에서 실제 배포 조건으로 전환했습니다.

저자들은 ChartArena를 더 신뢰할 수 있고 재현 가능하며, 진정으로 범용적인 차트 이해 시스템을 향한 미래 연구를 안내할 "지속적인 테스트베드"로 포지셔닝합니다.