ChartAnno: Evaluating MLLMs for Chart Annotation Generation

당신이 우주선의 함장이라고 상상해 보십시오. 당신의 컴퓨터가 방금 아름답고 복잡한 별 지도를 그려냈습니다. 그 지도는 완벽하지만, 정적만이 흐릅니다. 별들은 보여주지만, 왜 그곳에 있는지, 어떤 별이 가장 위험한지, 혹은 어디에 보물이 숨겨져 있는지는 알려주지 않습니다. 이 지도를 유용하게 만들기 위해서는 주석, 화살표, 라벨 등을 추가해야 합니다. 이것을 **차트 어노테이션(chart annotation)**이라고 부릅니다. 이는 단순한 그림을 누구나 이해할 수 있는 하나의 이야기로 바꾸는 기술입니다.

인공지능의 세계에는 **멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)**이라는 매우 똑똑한 로봇들이 있습니다. 이 로봇들은 텍스트를 읽고, 그림을 보고, 동시에 컴퓨터 코드를 작성할 수 있다고 생각하면 됩니다. 우리는 이미 이들에게 차트를 이해하고 처음부터 새로 그리는 법까지 가르쳤습니다. 하지만 까다로운 간극이 하나 있습니다. 이 로봇들이 기존의 차트를 보고 적절한 주석을 달아 설명할 수 있을까요? 그것은 단순히 선을 긋는 것이 아닙니다. 그 선이 무엇을 '의미'하는지 파악한 다음, 그 의미가 담긴 라벨을 정확한 위치에 배치하기 위한 코드를 작성하는 일입니다. 이것이 바로 이 논문이 다루는 과제입니다. AI에게 단순한 지도 제작자가 아니라, 데이터의 친절한 가이드가 되는 법을 가르치는 것입니다.

여기에 연구자들이 AI 로봇들이 이 특정 업무를 얼마나 잘 수행하는지 테스트하기 위해 만든 새로운 "훈련장", CHARTANNO가 등장합니다. 연구진은 뉴스 그래픽부터 과학 논문에 이르기까지 1,200개의 실제 차트로 구성된 방대한 라이브러리를 구축했고, 각 차트에 일련의 지침을 짝지었습니다. 그들은 로봇에게 단 한 가지 유형의 지시만 내린 것이 아니라, 마치 난이도가 높아지는 비디오 게임처럼 세 가지 수준의 상세함을 테스트했습니다:

1. "모호한 목표" 단계: 로봇에게 "가장 중요한 추세를 강조하라"고 명령합니다. 로봇은 그것이 무엇을 의미하는지, 어떻게 보여줘야 할지를 스스로 추측해야 합니다.
2. "실행 계획" 단계: 로봇에게 "1890년부터 1900년 사이의 구간에 보라색 상자를 그리고 그 중앙에 라벨을 넣으라"고 명령합니다. 무엇을 해야 할지는 알지만, 정확한 색상과 크기는 스스로 파악해야 합니다.
3. "설계도" 단계: 로봇에게 레시피를 줍니다: "x=0에서 x=10까지 특정 보라색 색조의 상자를 그리고, 텍스트를 좌표 (4, 15)에 배치하라."

연구진은 10가지 서로 다른 AI 모델(대형 기술 기업의 모델과 오픈 소스 모델 포함)에게 이러한 주석을 추가하는 컴퓨터 코드를 작성하도록 요청했습니다. 그들은 코드가 실제로 작동하는지, 차트가 제대로 보이는지, 의미가 명확한지, 그리고 디자인이 아름다운지를 확인했습니다.

결과는 다음과 같았으며, 이는 다소 복합적이었습니다. 우선, 대형 기술 기업의 모델들(구글이나 OpenAI와 같은 곳의 모델)은 여전히 챔피언입니다. 이들은 일반적으로 "모호한 목표"를 이해하고 아름다운 디자인을 만드는 데 가장 뛰어난 성능을 보였습니다. 하지만 일부 오픈 소스 모델들도 빠르게 추격하고 있으며, 그중 Kimi K2.5라는 모델은 값비싼 폐쇄형 모델들과 거의 대등한 성능을 보여주었습니다.

이 연구는 또한 이 로봇들이 어떻게 생각하는지에 대한 놀라운 진실을 밝혀냈습니다. 지시가 매우 구체적일 때("설계도" 단계), 로봇들은 아주 잘 해냈습니다. 하지만 지시가 모호할 때("모의한 목표" 단계), 로봇들은 종종 비틀거렸으며, 차트에서 실제로 가장 중요한 부분이 무엇인지 추측하는 데 어려움을 겪었습니다. 이는 요리사에게 정확한 계량을 포함한 레시피를 주는 것과 그냥 "맛있는 것을 만들어 봐"라고 말하는 것의 차이와 같습니다. 로봇들은 레시피를 따르는 데는 능숙하지만, 아직 창의적인 요리사가 되는 법을 배우는 중입니다.

또 다른 흥한 발견은 로봇이 무엇을 보아야 하는가에 대한 것이었습니다. 여러분은 로봇에게 차트 이미지를 보여주는 것이 큰 도움이 될 것이라고 생각할 수도 있습니다. 하지만 연구진은 로봇에게 차트를 생성한 코드를 제공하는 것이 훨씬 더 중요하다는 것을 발견했습니다. 이미지는 주석을 예쁘게 만드는 데 약간의 도움을 주었지만, 실제 데이터 숫자와 구조가 담긴 코드 없이는 로봇들이 길을 잃었습니다. 실제로, 이미지로만 보여주고 코드를 숨겼을 경우, 로봇의 성능은 급락했습니다. AI 로봇들에게는 이미지를 보는 것보다 그 이미지 뒤에 숨겨진 '수학'을 아는 것이 훨씬 더 유용하다는 사실이 드러났습니다.

마지막으로, 연구진은 차트가 복잡해질수록 작업이 훨씬 더 어려워진다는 점에 주목했습니다. 만약 차트에 데이터 포인트가 많거나 주석을 추가하기 위해 길고 복잡한 코드 수정이 필요하다면, 가장 똑똑한 로봇조차 실수를 하기 시작합니다. 그들은 실행되지 않는 코드를 작성하거나, 라벨을 엉뚱한 곳에 배치하기도 합니다.

요약하자면, CHARTANNO는 AI가 차트를 그리고 읽는 데는 매우 능숙해지고 있지만, 주석을 통해 차트를 '설명'하는 법을 가르치는 것은 여전히 진행 중인 과제임을 보여줍니다. 로봇들은 엄격한 지시를 따르는 데는 탁월하지만, 스스로 "전체적인 그림"을 파악하는 데는 여전히 도움이 필요합니다. 연구진은 이 새로운 테스트가 언젠가 모든 혼란스러운 차트를 명확하고 유익한 이야기로 바꿔줄 수 있는 더 나은 AI 도구를 만드는 데 도움이 되기를 희망하고 있습니다.