💬 NLP

Self-Ensembling Vision-Language Models for Chart Data Extraction

본 논문은 차트에서 테이블로의 데이터 추출 정확도와 신뢰성을 향상시키기 위해 여러 샘플링된 테이블 출력을 집계하는 자기 앙상블 비전 - 언어 모델 방법을 제안하며, 이는 단일 패스 접근법보다 유의미한 성능 향상을 보여주는 새로운 복잡한 벤치마크(WB-ChartExtract)로 검증되었다.

원저자: Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

게시일 2026-05-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

문제: 차트는 '잠긴' 이미지입니다

PDF 보고서나 웹사이트에 아름다운 다채로운 차트가 있다고 상상해 보세요. 그 차트는 판매 수치, 온도 변화, 또는 인구 증가를 보여줍니다. 인간에게는 그 추세를 한눈에 보고 이해하기 쉽지만, 컴퓨터에게 그 차트는 단순히 그림 (래스터화된 이미지) 일 뿐입니다. 실제 숫자는 픽셀 안에 갇혀 있습니다.

만약 그 숫자들을 수학 계산에 사용하거나 다른 데이터와 비교하거나 새로운 모델을 구축하고 싶다면, 단순히 복사해서 붙여넣을 수 없습니다. 직접 손으로 일일이 입력해야 하는데, 이는 느리고 지루하며 오타가 발생하기 쉽습니다.

현재의 해결책 (그리고 그 결함)

최근 우리는 '비전 - 언어 모델 (VLM)'을 구축했습니다. 이는 그림을 보고 '읽을 수 있는' AI 두뇌입니다. AI 에게 "이 차트의 숫자는 무엇인가요?"라고 물으면, AI 는 그 숫자들을 표로 작성해 보려고 노력합니다.

그러나 이러한 AI 는 시험을 보는 긴장한 학생과 비슷합니다. 같은 학생에게 같은 질문을 두 번 하면, 두 번의 답변이 약간씩 다를 수 있습니다.

1 회 실행: "판매량은 100, 105, 102 였습니다."
2 회 실행: "판매량은 100, 104, 103 였습니다."

때로는 AI 가 숫자를 완전히 놓치기도 하고, 다른 때는 존재하지 않는 숫자를 만들어내기도 합니다. 현재의 방법들은 보통 AI 가 내놓는 첫 번째 답변만 취하고 최선의 결과를 기대합니다. 이는 그 단일 추측이 틀릴 수 있기 때문에 위험합니다.

새로운 아이디어: '전문가 위원회'

이 논문의 저자들은 다음과 같은 교묘한 해결책을 제안합니다: 하나의 추측을 믿지 말고, 많은 추측들의 평균을 믿으십시오.

그들은 자기 앙상블 (Self-Ensembling) 이라는 방법을 만들었습니다. 다음과 같이 생각해 보세요:

여론조사: AI 에게 한 번만 묻는 대신, 같은 차트 질문을 20 번 물어봅니다.
군중: 20 개의 서로 다른 표가 돌아옵니다. 어떤 것은 100 이고, 어떤 것은 101 이며, 어떤 것은 99 입니다.
합의: 시스템은 20 개의 모든 표를 나란히 배치합니다. 표 안의 각 숫자마다 20 개의 버전을 모두 살펴보고 중앙값 (중간 값) 을 선택합니다.
- 19 명이 "100"이라고 하고 1 명이 "1000"(실수) 이라고 하면, 시스템은 이상치를 무시하고 100 으로 결론 내립니다.
- AI 가 혼란스러워하여 서로 다른 숫자를 내놓으면, 그 "중간 지점"이 단일 추측보다 훨씬 더 정확한 경우가 많습니다.

추가 기능: 언제 멈출지 알기, 그리고 얼마나 확신하는지 알기

이 논문은 이 과정에 두 가지 똑똑한 도구를 추가합니다:

정지 신호 (수렴 감지): AI 에게 20 번이나 묻는 것은 시간과 비용이 듭니다. 시스템은 몇 번의 추측마다 "답변들이 안정화되고 있는가?"를 확인합니다. 최근 몇 번의 답변이 모두 기본적으로 같다면, 시스템은 "좋습니다, 확실한 답변이 나왔으니 멈추겠습니다"라고 말합니다. 이는 쉬운 차트의 경우 비용을 절감해 줍니다.
신뢰도 게이지 (불확실성 추정): AI 의 20 번 추측이 모두 서로 매우 가깝다면, 시스템은 자신이 확신한다고 판단합니다. 만약 추측들이 제각각이라면 (어떤 것은 50, 어떤 것은 90), 시스템은 해당 숫자를 "신뢰할 수 없음"으로 표시합니다. 이는 사용자가 데이터의 어떤 부분을 신뢰할 수 있고, 어떤 부분은 인간이 다시 확인해야 하는지 알 수 있게 도와줍니다.

새로운 테스트: '하드 모드'

저자들은 이러한 AI 를 점검하는 데 사용된 표준 테스트 (예: ChartQA) 가 너무 쉬웠다는 것을 깨달았습니다. 그것은 빈 주차장에서 운전 면허 시험을 보는 것과 같았습니다. 차트들은 단순했고, 숫자들은 종종 막대 위에 직접 인쇄되어 있어 AI 가 차트를 실제로 이해하기보다는 단순히 텍스트를 '읽는' 것으로 쉽게 통과할 수 있었습니다.

이를 해결하기 위해 WB-ChartExtract라는 훨씬 더 어려운 새로운 테스트를 구축했습니다.

출처: 세계은행의 실제 데이터를 사용했습니다.
난이도: 이러한 차트들은 복잡하고 혼잡하며, 숫자가 인쇄되어 있지 않습니다. AI 는 숫자를 추측하기 위해 막대의 높이나 선의 위치를 실제로 측정해야 합니다.
다양성: 네 가지 다른 차트 유형과 네 가지 다른 소프트웨어 도구를 사용하여 차트를 그렸으므로, AI 가 하나의 스타일만 외우는 것을 방지했습니다.
규모: 평균적으로 이러한 차트들은 이전 테스트보다 7 배 더 많은 데이터 포인트를 가지고 있습니다.

결과

그들이 "전문가 위원회" 방법을 쉬운 테스트와 새로운 어려운 테스트 모두에 적용했을 때:

모든 곳에서 작동: 이 방법은 시도한 거의 모든 AI 모델의 정확도를 향상시켰습니다.
어려운 차트에서의 큰 향상: 어려운 새로운 테스트에서 이 방법은 AI 에게 한 번만 묻는 것에 비해 정확도를 최대 23% 까지 향상시켰습니다.
비용 대비 효과: AI 에게 더 자주 묻는 것은 비용이 조금 더 들지만, 시스템은 쉬운 차트의 경우 일찍 멈추므로 전체 비용은 매우 낮게 유지됩니다 (전체 데이터셋의 경우 종종 15 달러 미만).

요약

이 논문은 다음과 같이 말합니다: "AI 는 차트를 읽는 데 뛰어나지만 일관성이 없습니다. 같은 질문을 여러 번 물어보고 중간 답변을 취하면 훨씬 더 정확한 결과를 얻을 수 있습니다. 또한 우리는 이것이 실제 세계의 복잡한 데이터에서 작동함을 증명하기 위해 더 어려운 테스트를 구축했고, 언제 AI 를 신뢰해야 하는지 알 수 있도록 '신뢰도 게이지'를 추가했습니다."

중요한 참고 사항: 저자들은 명시적으로 이 방법이 AI 의 자체적인 실수에 의해 제한된다고 밝힙니다. AI 가 특정 유형의 차트를 일관되게 오해한다면, 20 번 물어본다고 해서 그 문제가 해결되지는 않습니다. 또한, 그들의 새로운 테스트는 합성 (컴퓨터 생성) 이므로 실제 데이터를 모방하지만, 스캔된 저품질 문서에서 발견될 수 있는 모든 기이한 아티팩트까지 잡아내지는 못할 수 있습니다.

기술적 요약: 차트 데이터 추출을 위한 자기 앙상블 비전 - 언어 모델

문제 제기
차트는 과학 및 정책 맥락에서 정량적 정보를 전달하는 주요 매체이지만, 근본적인 데이터는 종종 래스터화된 이미지 형식에 잠겨 있어 검색, 결합 또는 하위 분석을 위해 접근할 수 없습니다. 수동 디지털화가 가능하지만 느리고 오류가 발생하기 쉽습니다. 자동 차트 - 테이블 추출이 해결책으로 등장했으며, 최근 접근법들은 비전 - 언어 모델 (VLM) 을 활용하여 차트를 직접 '읽고' 텍스트 기반 테이블 표현을 생성합니다. 그러나 기존 VLM 기반 방법들은 취약성을 보입니다: 단일 순전파는 종종 데이터 포인트 누락, 값 환각, 또는 축 오독과 같은 일관성 없는 결과를 초래합니다. furthermore, 현재 벤치마크 (예: ChartQA) 는 제한적인 스타일 변이와 인쇄된 값 레이블을 가진 단순한 플롯을 특징으로 하여, 실제 세계의 복잡한 도표의 난이도를 반영하지 못하는 포화 상태의 성능 지표를 초래합니다.

방법론
저자들은 추출 정확도와 신뢰성을 향상시키기 위해 VLM 의 확률적 특성을 활용하는 모델 중립적 자기 앙상블 방법을 제안합니다. 핵심 워크플로는 다음과 같습니다:

반복 샘플링: 주어진 차트 이미지에 대해 기본 VLM 을 특정 샘플링 온도에서 반복적으로 쿼리하여 TSV 형식의 여러 후보 테이블 출력을 생성합니다.
구문 분석 및 정규화: 원시 출력을 TSV 로 구문 분석하며, 필요시 행/열을 수리합니다. 셀은 통화 기호 같은 아티팩트를 제거하고 숫자 값으로 변환되며, 비숫자 문자열은 누락된 것으로 처리됩니다.
행 및 열 정렬: 레이블 철자와 순서가 샘플 간에 다를 수 있으므로, 이 방법은 평균 정규화 레벤슈타인 유사도 (ANLS) 를 사용하여 행 및 열 레이블을 독립적으로 클러스터링합니다. 레이블은 유사도 임계값을 충족하고 동일한 샘플링된 테이블에서 유래하지 않는 경우 (테이블 내 중복 방지) 표준 클러스터로 그룹화됩니다. 20% 미만의 테이블에 나타나는 가짜 클러스터는 제거됩니다.
셀 단위 집계: 각 정렬된 셀 (행, 열) 에 대해 샘플링된 테이블에서 모든 숫자 예측을 수집합니다. 합의 값은 이러한 값들의 중앙값으로 계산됩니다.
수렴 감지: 샘플링 과정에는 조기 종료 메커니즘이 포함됩니다. 일련의 업데이트 횟수에 대해 집계된 셀 값의 최소 95% 가 1% 상대 허용 오차 이내로 변하지 않으면 샘플링이 중단됩니다. 이는 계산 비용과 한계 정확도 향상 사이의 균형을 맞춥니다.
불확실성 추정: 신뢰성을 평가하기 위해 이 방법은 각 셀에 대해 **상대 중앙값 절대 편차 (MAD)**를 계산합니다. 샘플 간의 높은 분산은 낮은 추출 신뢰도를 나타내며, 사용자가 결과를 확인하거나 더 많은 샘플을 요청하도록 하는 신호를 제공합니다.

주요 기여

자기 앙상블 프레임워크: 셀 수준에서 여러 VLM 출력을 집계하여 더 정확한 합의 테이블을 생성하고, 이상치 예측과 환각을 억제하는 모델 중립적 접근법.
수렴 감지: 추가 샘플이 집계된 결과를 변경할 가능성이 없을 때를 식별하는 메커니즘으로, 실용적인 조기 종료를 가능하게 함.
불확실성 정량화: 추출 정확도와 반비례하는 앙상블 기반 불확실성 추정치 (상대 MAD) 로, 사용자가 신뢰성을 판단하는 데 도움을 줌.
WB-ChartExtract 벤치마크: 세계은행 시계열 데이터에서 구축된 새로운 벤치마크로, 1,000 개의 합성 차트를 포함함. 기존 데이터셋과 달리 다음과 같은 특징을 가짐:
- 높은 복잡성: ChartQA 의 차트보다 평균적으로 7 배 더 많은 데이터 포인트를 포함.
- 스타일 다양성: Matplotlib, Seaborn, Plotly, Bokeh 네 가지 라이브러리를 사용하여 선, 영역, 그룹화 막대, 누적 막대 네 가지 차트 유형으로 렌더링되며, 폰트, 색상, 레이아웃이 무작위화됨.
- 인쇄된 레이블 부재: 값이 차트에 직접 인쇄되지 않아 모델이 OCR 단축키에 의존하는 대신 축과 기하학으로부터 데이터를 추론하도록 강제함.

결과
이 방법은 OneChart, TinyChart, DePlot 과 같은 전문 차트 추출기 및 Qwen3-VL, Llama 4 Scout, Seed 1.6 Flash, GPT-5.1, Claude Opus 4.6, Gemini 2.5 Pro 와 같은 범용 오픈소스 및 폐쇄소스 VLM 을 포함한 다양한 기본 모델에 대해 표준 ChartQA와 새로운 WB-ChartExtract벤치마크에서 평가되었습니다.

정확도 향상: 자기 앙상블은 단일 패스 베이스라인 대비 추출 정확도 (상대 매핑 유사도, RMSF1 로 측정) 를 일관되게 향상시켰습니다.
- WB-ChartExtract에서 상대적 향상은 TinyChart 의 2.7% 에서 Seed 1.6 Flash 의 23.1% 까지 다양했습니다.
- ChartQA에서는 범용 모델에서 향상 (예: Qwen3-VL 은 91.43 에서 93.21 로 향상) 이 관찰되었으나, 도메인 내 훈련 분포에서 이미 포화 상태였던 TinyChart 에서는 향상이 미미했습니다.
오류 분석: 앙상블에 의해 수정된 주요 실패 모드는 값 오류(숫자 불일치) 와 누락된 데이터 포인트였습니다. 레이블 오류는 미미했습니다. 이 방법은 복잡한 차트 (예: 영역 및 선 차트) 에서 누락된 구조를 복원하는 데 특히 효과적이었습니다.
비용 효율성: 앙상블은 API 비용을 증가시키지만 (모델에 따라 약 4~16 배), 수렴 감지 메커니즘은 더 쉬운 샘플의 경우 조기 종료를 통해 이를 크게 완화합니다. WB-ChartExtract 에서 조기 종료는 평균 1.24 배 적은 샘플을 사용하면서도 앙상블의 정확도 향상의 99% 를 유지했습니다.
불확실성 상관관계: 제안된 불확실성 지표 (상대 MAD) 는 RMSF1 과 유의미한 음의 상관관계 (Spearman $\rho \approx -0.34$ 에서 $-0.37$) 를 보였으며, 이는 더 높은 앙상블 불일치가 더 낮은 추출 정확도를 신뢰성 있게 예측함을 확인시켜 주었습니다.

의의 및 주장
이 논문은 이 접근법이 단일 패스 VLM 생성의 취약성과 현재 벤치마크의 한계를 해결함으로써 차트 - 테이블 추출을 실제 세계 배포에 더 가깝게 만든다고 주장합니다. WB-ChartExtract 를 도입함으로써 저자들은 데이터 밀도 및 스타일 변이와 관련하여 모델 간 진정한 시각적 추론 능력 차이를 드러내는 더 엄격한 테스트베드를 제공합니다. 자기 앙상블 방법은 이전에 차트 이미지에 고립되어 있던 테이블 데이터를 Quantified 신뢰성과 함께 하위 분석을 가능하게 하는 실용적이고 모델 중립적인 전략을 제공합니다.

한계
저자들은 이 방법이 기본 VLM 의 실패 모드에 의해 제한된다고 인정합니다. 체계적인 오류는 수정되기보다 강화될 수 있습니다. 수렴 기준은 숫자 안정성에 초점을 맞추고 테이블 구조의 의미적 불일치를 놓칠 수 있습니다. 또한, 불확실성 추정은 휴리스틱이며 정확도의 보정된 확률이 아닙니다. 마지막으로, WB-ChartExtract 는 다양하지만 합성적으로 렌더링되었으며 저해상도 스캔이나 비표준 레이아웃과 같은 모든 실제 세계 아티팩트를 포착하지 못할 수 있습니다.