기술 요약: ChartAct: 동적 차트 이해를 위한 벤치마크

문제 제기

기존 차트 이해 벤치마크는 주로 모든 정보가 단일하고 변하지 않는 이미지 내에 제시되는 정적 차트에 중점을 둡니다. 그러나 실제 세계의 데이터 시각화는 웹페이지나 대시보드에 내장된 동적이고 인터랙티브한 차트를 종종 포함합니다. 이러한 시나리오에서 중요한 정보 (예: 정확한 데이터 값, 특정 시리즈 세부 사항) 는 자주 숨겨져 있으며, 호버링, 클릭, 확대/축소, 드래그와 같은 사용자 상호작용 후에야 비로소 표시됩니다.

현재의 멀티모달 대형 언어 모델 (MLLM) 과 GUI 에이전트는 이러한 동적 특성에 직면하여 어려움을 겪습니다:

1. 상호작용 요구사항: 모델은 시각적 콘텐츠를 인식할 뿐만 아니라 숨겨진 증거를 드러내기 위해 적절한 인터페이스 동작을 선택해야 합니다.
2. 상태 진화: 모델은 지속적으로 변화하는 차트 상태를 추론하고, 여러 상호작용 단계에서의 관찰 결과를 통합해야 합니다.
3. 위치 특정: 모델은 복잡한 페이지 레이아웃 속에서 툴팁, 범례, 슬라이더와 같은 인터랙티브 요소를 정확하게 찾아야 하며, 차트가 더 넓은 대시보드 컨텍스트에 내장되어 있을 때 이는 특히 어렵습니다.

기존의 정적 벤치마크는 이러한 능력을 평가하지 못합니다. 왜냐하면 이러한 벤치마크는 모델에게 순차적인 동작 수행이나 상태 변화 관찰을 요구하지 않기 때문입니다.

방법론

1. ChartAct 벤치마크

저자들은 동적 차트 이해를 평가하기 위해 설계된 인터랙티브 벤치마크인 ChartAct를 제안합니다. 이 벤치마크는 다음으로 구성됩니다:

• 데이터 수집: 8 개의 실제 차트 라이브러리 (예: Apache ECharts, Highcharts, Plotly, AntV G2) 에서 673 개의 동적 차트를 크롤링했습니다. 이러한 차트들은 명확한 데이터 의미, 풍부한 인터랙티브 행동, 그리고 분석적 가치를 보장하기 위해 수동으로 필터링되었습니다.
• 질문 구성: 1,440 개의 고품질 질문 - 답변 쌍이 구성되었습니다. 질문들은 GPT-5 를 사용하여 생성되었으며, 엄격하게 검토되어 다음 조건을 충족하도록 보장되었습니다:
  • 초기 정적 뷰만으로는 답변할 수 없어야 함 (상호작용 필요).
  • 관찰 가능한 UI 상호작용을 통해 접근할 수 없는 숨겨진 HTML/데이터에 의존하지 않아야 함.
  • 다양한 작업을 포괄해야 함: 가시 상태 QA, 상호작용을 통해 드러난 정보, 상태 간 비교, 다중 차트 증거 통합.
• 평가 환경: 각 샘플은 서로 다른 난이도 수준을 테스트하기 위해 두 가지 구별된 환경에서 인스턴스화됩니다:
  • 동적 차트 (DC): 차트가 페이지에 직접 표시되는 깔끔한 환경.
  • 대시보드 차트 (DB): 동일한 차트가 제목, 지표 카드, 기타 시각적 모듈을 포함하는 생성된 대시보드 페이지에 내장된 환경. 이는 모델이 목표 차트를 찾고 시각적 방해 요소를 무시하는 능력을 테스트합니다.

2. 실험 설정

이 벤치마크는 11 개의 고급 멀티모달 모델과 GUI 에이전트 (Claude-Opus-4.7, GPT-5.5 와 같은 독점 모델과 Kimi-K2.5, Qwen 시리즈, Gemma 와 같은 오픈소스 모델 포함) 를 평가합니다.

• 통합 프레임워크: 모든 모델은 OSWorld 프레임워크 기반의 통합 인터랙티브 환경 내에서 작동합니다. 모델은 스크린샷을 관찰하고, pyautogui 동작 (클릭, 호버, 스크롤) 을 실행하며, 최종 답변을 제출합니다.
• 평가 지표: 성능은 모델의 최종 답변과 정답을 비교하는 LLM 판정자 (DeepSeek-v4-pro) 에 의해 결정되는 성공률로 측정됩니다. 안정성을 보장하기 위해 다수결 투표 메커니즘 (3 표 중 2 표 이상) 이 사용됩니다.
• 서브셋 구성: 비용이 높은 모델의 경우, 난이도 분포와 차트 유형 커버리지를 유지하면서 평가 비용을 절감하기 위해 파일럿 모델 성능에 기반한 탐욕적 선택 알고리즘을 사용하여 300 개의 샘플로 구성된 대표 서브셋이 구성되었습니다.

주요 결과

1. 전체 성능

동적 차트 이해는 현재 모델들에게 여전히 중요한 과제로 남아 있습니다:

• 최고 성능자: Claude-Opus-4.7이 **84.5%**의 최고 평균 성공률을 달성했습니다.
• 성능 격차: 상위 모델과 다른 모델들 사이에는 명확한 격차가 존재합니다. GPT-5.5 는 58.3% 를 기록한 반면, 대부분의 오픈소스 모델과 기타 독점 모델은 60% 미만 (예: Qwen3.6-Plus 는 39.2%, Gemma-4-31B-IT 는 23.1%) 을 기록했습니다.
• 오픈소스 한계: 대규모 Kimi-K2.5(66.0%) 를 제외하면, 최상위 오픈소스 모델 (Qwen3.5-122B-A10B) 은 41.9% 에 그쳐 오픈소스 커뮤니티에는 상당한 개선 여지가 있음을 시사합니다.

2. 환경의 영향 (DC 대 DB)

깔끔한 동적 차트 (DC) 환경에 비해 대시보드 차트 (DB) 환경은 모든 모델의 성능을 일관되게 저하시켰습니다.

• 맥락 민감성: Gemini-3.1-Pro 와 Qwen3.6-Plus 와 같은 모델들은 DB 환경에서 각각 30.0% 와 30.8% 의 막대한 하락을 겪었으며, 이는 모델들이 깔끔한 차트에서 복잡한 대시보드 컨텍스트로 기술을 이전하는 데 어려움을 겪고 있음을 시사합니다.
• 견고성: 가장 강력한 모델인 Claude-Opus-4.7 은 DB 환경에서 1.7% 의 하락만 보여 가장 높은 회복 탄력성을 보였습니다.

3. 차트 유형 분석

• 선 그래프: 연속된 축을 따라 툴팁을 트리거하고 혼란스러운 레이아웃에서 인접한 선을 구분하는 복잡성으로 인해 DC 에서 DB 로 이동할 때 가장 큰 성능 하락을 보였습니다.
• 원 그래프: 전반적으로 성능이 낮았지만, DB 에서의 하락폭은 가장 작았습니다. 그러나 많은 모델들이 정확한 데이터를 드러내기 위해 상호작용하지 않고 가시적인 백분율로부터 값을 과신하여 추측함으로써 원 그래트에서 실패했습니다.
• 고정된 순서 부재: 차트 유형의 난이도는 모델 아키텍처에 따라 다양했습니다. 예를 들어, Claude-Opus-4.7 은 원 그래트에서 가장 잘 수행한 반면, GPT-5.5 는 박스 플롯에서 가장 잘 수행했습니다.

4. 실패 분석

저자들은 세 가지 주요 실패 모드를 식별했습니다:

1. 증거 추출 실패: 모델들이 필요한 상호작용을 트리거하지 않고 초기 스크린샷에서 직접 답변했습니다.
2. 잘못된 위치 특정 상호작용: 모델들은 상호작용의 필요성을 올바르게 추론했지만 잘못된 요소를 대상으로 했습니다 (예: 인접한 데이터 포인트에 호버링).
3. 목표 객체 오인식: 대시보드 환경에서 모델들은 목표 차트를 주변 구성 요소 (예: 지표 카드 또는 제목) 와 혼동했습니다.

중요성과 주장

이 논문은 ChartAct가 실제 인터랙티브 환경에서의 차트 이해를 연구하기 위해 필요한 새로운 테스트베드를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 실제 세계의 데이터 분석에 필요한 상호작용, 관찰, 추론의 전체 주기를 평가하기 위해 정적 이미지 분석을 넘어선 접근.
• 한계 드러내기: 최첨단 모델들, 심지어 가장 강력한 독점 모델들조차도 미세한 조작과 증거 획득 측면에서 동적 차트 이해에 명확한 한계가 있음을 입증.
• 평가 표준화: 실제 차트의 복잡성을 유지하면서도 체계적인 벤치마킹을 가능하게 하는 통제 가능하고 재현 가능하며 현실적인 환경 (OSWorld 기반 프레임워크를 통해) 제공.

저자들은 동적 차트가 정적 차트 이해를 넘어선 평가 요구사항을 도입하며, 전략적 상호작용과 상태 추적이 가능한 모델을 필요로 한다고 결론지었습니다.