기술 요약: EpiCurveBench 및 EpiCurveSimilarity

문제 제기

비전 - 언어 모델 (VLM) 이 차트 이미지에서 구조화된 수치 데이터를 추출하기 위해 점점 더 널리 배포되고 있습니다. 그러나 현재 평가 프레임워크는 실제 세계의 밀집된 시계열 차트, 특히 전염병 곡선 (epicurves) 에는 부적합합니다. ChartQA 와 같은 기존 벤치마크는 단순한 합성 인포그래픽에 의존하는데, 여기서 최첨단 VLM 들은 이미 89% 이상의 정확도를 기록하여 진전을 위한 여지가 점점 줄어들고 있습니다. 또한, 상대적 매핑 유사성 (RMS) 과 SCRM 과 같은 표준 지표는 추출된 데이터를 순서가 없는 키 - 값 쌍으로 취급합니다. 이 접근 방식은 시계열의 시간적 구조를 무시하며, 미세한 시간적 이동이나 헤더 불일치를 치명적으로 처벌하여, 값은 정확하지만 시점이 이동된 추출 결과를 완전히 잘못된 결과와 혼동하게 만듭니다. 결과적으로, 커뮤니티는 밀집된 시계열 추출을 위한 엄격한 스트레스 테스트 벤치마크와 역학 분석을 위한 추출 데이터의 하류 활용도를 반영하는 지표를 보유하고 있지 않습니다.

방법론

1. EpiCurveBench: 실제 세계 벤치마크

저자들은 14 가지 질병, 37 개 국가, 1849 년부터 2025 년까지를 아우르는 1,000 개의 실제 세계 공개 라이선스 전염병 곡선 이미지 데이터셋인 EpiCurveBench를 소개합니다. 이 데이터셋은 기존 벤치마크보다 훨씬 더 도전적으로 설계되었으며, 밀집된 데이터 포인트 (차트당 중앙값 156 개, 최대 8,592 개), 겹치거나 쌓인 시계열, 회전된 텍스트, 저해상도 스캔, 그리고 얇은 막대 등을 특징으로 합니다.

벤치마크는 두 가지 세트로 구성됩니다:

• 세트 1 (900 개 차트): 기계 판독 가능한 표 형식의 정답 (ground truth) 을 제공하는 출처 (예: CDC 보고서) 에서 선별되었습니다. 무작위 표본 20% 를 인간 주석자가 감사하여 이미지와 출처 표 간의 100% 정합성을 확인했습니다.
• 세트 2 (100 개 차트): WebPlotDigitizer 를 사용하여 수동으로 주석 처리되어 스타일의 다양성을 보장하고 표 형식 데이터가 존재하지 않는 경우의 일반화를 테스트합니다. 이들은 시각적 비유사성 선택, 중복 제거를 위한 DINOv2 임베딩 클러스터링, 수동 검증을 포함하는 3 단계 프로토콜을 통해 선별되었습니다.

2. EpiCurveSimilarity (ECS): 시간 인식 지표

키 - 값 지표의 한계를 해결하기 위해, 저자들은 Edit Distance with Real Penalty (ERP) 기반의 평가 지표인 **EpiCurveSimilarity (ECS)**를 제안합니다. ECS 는 동적 프로그래밍을 통해 예측 시계열과 정답 시계열을 정렬하며 세 가지 주요 확장을 통합합니다:

1. 레이블 유사성 매칭: Normalized Levenshtein Similarity (NLS) 를 사용하여 레이블 텍스트에 기반하여 시계열을 매칭하며, 순서나 명칭이 다를 수 있는 다중 시계열 차트를 수용합니다.
2. 시계열별 Y 축 정규화: 치환 패널티를 각 시계열의 특정 Y 축 범위로 정규화하여 서로 다른 스케일 간 비교 가능성을 보장합니다.
3. 허용 임계값 및 갭 패널티: 이 지표는 국소적인 시간적 이동과 갭 (삽입/삭제) 을 허용하지만 비례하여 패널티를 부과합니다. 매칭되지 않은 점에 대해서는 갭 패널티 ($\lambda = 1$) 가 적용되며, 치환 비용은 Y 축 범위의 임계값 ($\theta = 0.01$) 을 초과할 경우 잘립니다.

시계열에 대한 최종 ECS 점수는 1 - \frac{C(M, N)}{\text{#matches} + \text{#gaps}}이며, 여기서 $C(M, N)$은 정렬 비용입니다.

3. 실험 설정

저자들은 EpiCurveBench 에서 여섯 가지 방법을 평가했습니다:

• 세 가지 최첨단 폐쇄형 VLM: GPT-5.2, Claude Opus 4.5, Gemini 2.5 Pro.
• 하나의 오픈형 VLM: Qwen3-VL-235B-A22B-Instruct.
• 두 가지 특화 시스템: OneChart 및 TinyChart.

모델들은 최소 추론, 고도 추론, 그리고 이미지 자르기/확대를 위한 Python 코드 실행을 포함한 고도 추론의 세 가지 구성에서 테스트되었습니다.

주요 결과

모델 성능

가장 강력한 모델인 Gemini 2.5 Pro(고도 추론 노력) 조차 전체 벤치마크에서 52.3% ECS만 달성했습니다. 특화 차트 추출 시스템은 합성 훈련 데이터에서의 분포 변화와 낮은 모델 용량으로 인해 부진한 성능을 보였습니다 (OneChart: 9.4%, TinyChart: 11.4%). 범용 VLM 중에서는 Gemini 2.5 Pro 가 가장 높았으며, 그 뒤를 GPT-5.2 와 Claude Opus 4.5 가 이었고, 오픈 가중치인 Qwen3-VL 은 고도 노력에서 27.5% 를 달성했습니다.

지표 구분력

• 키 - 값 지표 (RMS/SCRM): 네 가지 범용 VLM 을 좁은 약 5 포인트 밴드로 압축했습니다 (예: RMS 편차: 4.8 포인트). 또한 시간적 이동을 한 모델과 값 오류를 범한 모델을 구분하지 못해 Claude Opus 4.5 를 최상위 수행자로 잘못 식별했습니다.
• 시간 지표 (ECS/DTW): 네 가지 VLM 을 25 포인트 범위로 분산시켰으며 (ECS 편차: 24.8 포인트; DTW 편차: 20.7 포인트), Gemini 2.5 Pro 를 리더로 올바르게 식별했습니다.
• ECS 대 DTW: 두 시간 지표 모두 잘 구분했지만, ECS 는 네 가지 하류 역학 통계 (총계, 피크 시기, 피크 크기, 성장률 충실도) 와 DTW 보다 1.5~3.6 배 더 강하게 상관관계를 보였습니다. 이는 ECS 의 명시적 갭 패널티로 인해 정답의 부분 집합에 자유롭게 왜곡되어 매칭되는 잘린 예측이 높은 점수를 받는 것을 방지하기 때문입니다.

오류 분석

범용 VLM 의 경우, 가장 큰 오류 원인은 수치적 부정확성(손실의 20~30%) 과 누락된 데이터 포인트였습니다. 특화 모델은 주로 누락된 데이터 포인트 (종종 더 거친 시간 해상도로 추출) 와 시계열 레이블 불일치로 실패했습니다. 도구 사용 (코드 실행) 은 일관되지 않은 결과를 낳았으며, 때로는 차트 영역의 부정확한 자르기 때문에 성능이 저하되기도 했습니다.

중요성 및 주장

이 논문은 EpiCurveBench와 EpiCurveSimilarity가 시계열 차트 추출을 위한 VLM 평가의 중요한 격차를 해소한다고 주장합니다:

1. 실제 세계 스트레스 테스트: 벤치마크는 선도적인 VLM 들조차 실제 세계 공중보건 차트에서 사용 가능한 추출 품질에 크게 미치지 못함을 드러냈으며, 밀집되고 노이즈가 많은 시각 환경에서 개선된 견고성이 필요함을 강조합니다.
2. 하류 관련성: ECS 는 유도된 역학 통계의 정확도와 강하게 상관관계가 있는 지표로 검증되었습니다. DTW 와 같은 갭이 없는 지표와 달리, ECS 는 전염병 모니터링에서 치명적인 실패인 잘림과 누락된 데이터를 패널티로 부과합니다.
3. 일반 적용 가능성: 전염병 곡선을 위해 개발되었지만, 벤치마크와 지표는 모든 구조화된 시계열 차트 추출 상황에 적용 가능하며, 현재 키 - 값 접근법보다 더 세밀한 평가 프레임워크를 제공합니다.

저자들은 현재 모델이 출판된 도표에 갇힌 수십 년간의 전염병 데이터를 해제하기 위해 상당한 진전이 필요하며, 향후 진전은 밀집된 시계열에서의 수치적 정밀도와 길고 잘린 시계열 처리를 해결해야 한다고 결론지었습니다.