PlotPick: AI-powered batch extraction of numerical data from scientific figures

기술 요약: PlotPick – 과학적 그림에서 AI 기반 수치 데이터 배치 추출

문제 제기
생물의학 분야의 체계적 문헌고찰과 메타분석은 종종 병목 현상에 직면합니다. 중요한 수치 데이터가 기계 판독 가능한 표가 아닌 과학적 그림 내에 exclusively(배타적으로) 보고되는 경우가 많기 때문입니다. 기존 소프트웨어 도구들 (예: WebPlotDigitizer) 은 수동 추정보다 개선을 제공하지만, 모든 데이터 시리즈에 대해 수동으로 포인트를 클릭해야 하며 하류 통계 분석에 적합한 구조화된 레이블 출력을 생성하지 못하기 때문에 대규모 연구에는 비효율적입니다. 또한, 전용 차트-to-테이블 모델 (DePlot 및 TinyChart 등) 은 생물의학 문헌에서 발견되는 다양한 차트 유형, 특히 특정 학습 분포에 포함되지 않은 유형에 대한 일반화 성능이 낮습니다.

방법론
저자들은 모델 학습이나 수동 주석이 필요 없이 과학적 그림에서 구조화된 표 형식 데이터를 자동으로 추출하도록 설계된 오픈 소스 단일 파일 Streamlit 애플리케이션인 PlotPick을 제시합니다. 소프트웨어 아키텍처는 다음과 같이 작동합니다:

1. PDF 파싱: 업로드된 PDF 는 PyMuPDF 를 사용하여 텍스트 블록과 해당 바운딩 박스를 추출합니다.
2. 그림 감지: 시스템은 정규 표현식을 사용하여 그림 캡션 (예: "Figure 1") 을 식별하여 자르기 영역을 고정합니다. 이러한 영역은 같은 페이지의 인근 래스터 이미지와 벡터 그래픽을 포함하도록 확장됩니다.
3. VLM 추출: 잘라낸 각 그림 이미지는 최소한의 백엔드 중립적 프롬프트를 통해 비전 - 언어 모델 (VLM) 로 전송됩니다: "이 차트의 데이터를 탭으로 구분된 표로 추출하십시오."
4. 출력: 결과는 행별 신뢰도 점수가 포함된 편집 가능한 표로 표시되며, 통계 워크플로우로의 통합을 용이하게 하기 위해 여러 형식 (Excel, CSV, LaTeX, JSON, R 스크립트) 으로 내보낼 수 있습니다.

이 시스템은 백엔드 중립적으로 설계되어 기본적으로 Claude Haiku 를 사용하지만 이미지 입력을 허용하는 모든 VLM 을 지원합니다. 배치 처리를 지원하여 단일 세션에서 여러 그림을 처리할 수 있습니다.

주요 기여

• 도구 개발: PDF 에서 자동 그림 감지와 VLM 기반 추출을 결합하여 수동 포인트 클릭이나 프롬프트 엔지니어링의 필요성을 제거하는 PlotPick 도구 개발.
• 경험적 평가: 두 가지 확립된 벤치마크인 ChartX와 PlotQA에서 전용 차트 -to-테이블 모델 DePlot 에 대해 Anthropic, Google, OpenAI 의 세 공급업체에서 제공된 여섯 가지 VLM 에 대한 포괄적 평가.
• 벤치마킹 통찰: 이 연구는 전용 모델의 학습 데이터에 포함되지 않은 차트 유형을 포함하여 모든 테스트된 차트 유형에서 범용 VLM 이 전용 모델보다 우수함을 보여줍니다.

결과
평가에는 두 가지 주요 지표가 사용되었습니다: Recall(5% 상대 허용 오차 내에서 회수된 실제 값의 비율) 과 RMSF1(정밀도와 재현율의 조화 평균인 상대 매핑 유사성 F1).

• ChartX 벤치마크 (n=300): 막대 차트, 선 차트, 박스 플롯, 히스토그램으로 제한되었으며, 여섯 가지 VLM 모두 DePlot 보다 우수했습니다.
  • Recall: VLM 은 **88–96%**를 달성한 반면 DePlot 은 **71%**였습니다. 평가된 가장 작은 VLM(Claude Haiku 4.5) 조차 DePlot 보다 18 퍼센트 포인트를 초과했습니다.
  • 일반화 격차: 성능 격차는 DePlot 의 학습 데이터에 포함되지 않은 차트 유형에서 가장 두드러졌습니다. 박스 플롯의 경우 DePlot 은 24% RMSF1을 달성한 반면, VLM 은 **83–97%**를 달성했습니다.
• PlotQA 벤치마크 (n=529): DePlot 이 이 데이터셋에 대해 특별히 학습되었음에도 불구하고 PlotPick 의 VLM 이 DePlot 보다 우수했습니다.
  • RMSF1: VLM 은 **86–99%**를 달성한 반면 DePlot 은 **94%**였습니다.
• 프롬프트 엔지니어링: 이 연구는 단순한 프롬프트가 복잡한 다중 규칙 프롬프트와 1–3 퍼센트 포인트 이내의 결과를 산출한다는 것을 발견했는데, 이는 정확도가 복잡한 프롬프트 엔지니어링보다는 VLM 의 고유한 비전 능력에 주로 의해 결정됨을 시사합니다.
• 관찰된 한계: 정확도는 차트 유형과 모델 크기에 따라 여전히 의존적입니다. 축 스케일 판독이 필요한 차트는 덜 정밀하며, 작은 모델은 때때로 크기를 오해석합니다 (예: "230 만"을 "2300"으로 읽음). 겹치는 시각적 요소를 분해해야 하는 스택형 및 그룹형 막대 차트는 체계적으로 어렵습니다.

의의 및 주장
이 논문은 전용 차트 -to-테이블 모델에 비해 단순한 프롬프트를 통해 접근하고 특수한 학습 없이도 범용 VLM 이 과학적 그림에서 데이터를 추출하는 데 더 나은 해결책을 대표한다고 주장합니다. 이러한 우월성은 세 가지 요인에 기인합니다:

1. 학습 데이터 규모: VLM 은 전용 모델보다 수직적으로 더 많은 데이터로 학습되어 더 넓은 시각적 이해를 제공합니다.
2. 차트 유형 커버리지: 주로 막대 차트와 선 차트로 학습된 전용 모델과 달리, VLM 은 특정 학습 없이도 다양한 차트 유형 (예: 박스 플롯, 히스토그램) 을 처리합니다.
3. 레이블된 데이터: 수치 값이 이미지 내에 직접 나타날 때 추출 정확도가 가장 높습니다 (≥98% 정확도). 이는 명시적 레이블의 존재가 모델 크기나 프롬프트 설계보다 성공의 더 강력한 예측 변수임을 시사합니다.

저자들은 PlotPick 을 생물의학 분야의 체계적 문헌고찰과 메타분석을 위한 데이터 추출을 가속화하는 도구로 위치시킵니다. 이 도구는 현재 코펜하겐 생물학 및 정밀 정신의학 연구센터에서 정신의학 연구의 지속적인 증거 종합을 지원하기 위해 사용 중입니다. 소프트웨어는 MIT 라이선스 하에 오픈 소스로 공개되었습니다.