Bar-JEPA: Extracting Values from Bar Chart with Joint-Embedding Predictive Architecture

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신이 가진 유일한 단서는 일련의 색채 가득한 그림들뿐입니다. 이 그림들은 뉴스 기사나 학교 보고서에서 볼 수 있는 막대그래프들로, 서로 다른 높이의 막대들이 숫자에 대한 이야기를 들려줍니다. 인간에게 이것을 읽는 것은 쉽습니다. 우리는 그저 막대의 높이를 보고 숫자를 짐작하면 되니까요. 하지만 컴퓨터에게 차트는 그저 픽셀로 이루어진 그림일 뿐입니다. 컴퓨터는 저 파란색 직사각형이 "500달러"를 의미한다거나, 옆에 있는 작은 눈금 하나가 "100"을 의미한다는 것을 알지 못합니다. 기계에게 데이터는 예술 속에 숨겨져 있습니다.

여기서 "컴퓨터 비전"이라는 분야가 등장합니다. 이는 컴퓨터에게 이미지를 "보고" 이해하는 법을 가르치는 과학의 한 분야입니다. 보통 컴퓨터에게 차트를 읽는 법을 가르치려면, 사람이 이미 정답을 적어 놓은 수천 개의 예시를 보여주어야 합니다. 이것은 마치 선생님이 컴퓨터 옆에 앉아 모든 막대를 가리키며 "이것은 50이고, 이것은 100이야"라고 말하며 몇 시간 동안 가르치는 것과 같습니다. 하지만 현실 세계에서 완벽한 정답이 적혀 있는 수천 개의 차트를 찾는 것은 매우 어렵고 느린 일입니다. 그것은 마치 건초더미에서 바늘을 찾는 것과 같은데, 그 건초더미는 종이로 만들어져 있고 바늘은 보이지 않는 상황과 같습니다. 이 논문은 사람이 모든 예시에 일일이 라벨을 붙여주지 않고도 컴퓨터에게 차트를 읽는 법을 가르치는 영리한 새로운 방법을 탐구합니다.

독일 울름 대학교의 푸남 푸남(Poonam Poonam)과 그녀의 팀은 "차트 디렌더링(chart de-rendering)" 문제를 해결하고자 했습니다. 이는 "차트 사진을 찍어 그것이 원래 가지고 있던 가공되지 않은 숫자들로 다시 되돌리는 것"을 뜻하는 멋진 표현입니다. 연구진은 컴퓨터가 고양이 나 자동차를 인식하는 데는 뛰어나지만, 차트의 특정한 기하학적 구조, 특히 차트의 크기가 제각각이거나 배경이 지저�한 경우를 처리하는 데 어려움을 겪는다는 점에 주목했습니다.

이를 해결하기 위해 그들은 JEPA(Joint-Embedding Predictive Architecture)라고 불리는 특별한 종류의 AI 아키텍처를 사용했습니다. JEPA를 정답을 암기하는 학생이 아니라, 추측 게임을 하며 배우는 호기심 많은 탐험가라고 생각해 보세요. AI는 "이 막대는 50이다"라는 말을 듣는 대신, 차트 이미지의 큰 부분을 가려놓은(마스킹된) 상태로 보여집니다. 그러면 AI는 보이는 부분을 바탕으로 가려진 부분이 어떻게 생겼을지 추측해야 합니다. 이 게임을 수백만 개의 차트를 대상으로 반복해서 수행함으로써, AI는 차트가 작동하는 "규칙"—막대가 눈금과 어떻게 연관되는지, 축이 어떻게 그려지는지, 그리고 수학적인 관점에서 "막대"란 실제로 무엇인지—을 학습하게 됩니다. 이것을 "자기 지도 학습(self-supervised learning)"이라고 부르는데, 이는 컴퓨터가 사람의 교과서를 기다리는 대신 데이터에서 발견한 패턴을 사용하여 스스로를 가르치기 때문입니다.

연구팀은 "Bar-JEPA"라고 부르는 파이프라인을 구축했습니다. 먼저, 이 AI 탐험가를 10만 개의 컴퓨터 생성 막대그래프 라이브러리로 훈련시켰습니다. 그들은 단순히 표준 이미지를 사용한 것이 아니라, 차트가 길고 가늘거나 짧고 넓더라도 혼란을 겪지 않도록 다양한 모양과 크기의 차트를 처리할 수 있도록 AI를 수정했습니다. AI가 차트의 "언어"를 익히고 나면, 그 뒤에 단순하고 가벼운 "디코더(decoder)"를 부착합니다. 이 디코더의 역할은 AI의 이해도를 바탕으로 막대와 숫자가 정확히 어디에 있는지 짚어내는 것입니다.

결과는 꽤 유망했습니다. 연구진이 실제 차트(신문 등에서 볼 수 있는 종류)로 시스템을 테스트했을 때, 이 자기 지도 추측 게임을 통해 학습한 AI는 이러한 방식으로 훈련받지 않은 일반적인 AI보다 막대를 찾고 숫자를 읽는 능력이 훨씬 뛰어났습니다. 사실, 이 특별한 훈련 없이는 컴퓨터가 거의 완전히 길을 잃어 어떤 값도 찾아내지 못했습니다. 하지만 JEPA 훈련을 거친 후에는 훨씬 높은 정확도로 데이터를 복구할 수 있었습니다. 이 논문은 이 방법이, 특히 사전에 라벨링된 방대한 데이터가 없을 때 컴퓨터가 차트를 이해하도록 만드는 강력하고 효율적인 방법임을 시사합니다.

하지만 저자들은 이것이 최종적이고 완벽한 해결책이라고 주장하지 않도록 주의를 기울였습니다. 그들은 자신들의 시스템이 여전히 다소 단순하며, 수직 막대그래프만 읽을 수 있고 누적 막대그래프나 3D 차트와 같은 더 복잡한 유형에는 어려움을 겪는다는 점을 인정했습니다. 또한 아직 세계 최고의 시스템도 아니지만, 차트의 구조를 먼저 "추측"하도록 가르치는 것이 강력한 기술이라는 점을 입증했습니다. 그들은 향-후 이 똑똑한 "탐험가" AI가 대규모 언어 모델(LLM)과 같은 더 강력한 도구와 결합되어, 단순히 숫자를 읽는 것을 넘어 "어떤 막대가 가장 큰가?" 또는 "전체 합계는 얼마인가?"와 같은 데이터에 관한 질문에 답할 수 있을 것이라고 제안합니다. 하지만 현재로서는, Bar-JEPA는 컴퓨터에게 보는 법을 가르치는 가장 좋은 방법은 때때로 퍼즐을 스스로 풀도록 내버려 두는 것임을 보여줍니다.