PlotPick: AI-powered batch extraction of numerical data from scientific figures

技術的概要：PlotPick – 科学図表からの数値データの AI 駆動バッチ抽出

問題提起
生物医学分野におけるシステマティックレビューやメタ分析では、頻繁にボトルネックに直面します。重要な数値データは、機械可読な表ではなく、科学図表内にのみ記載されていることが多いためです。既存のソフトウェアツール（例：WebPlotDigitizer）は手動推定よりも改善をもたらしますが、各データ系列ごとに手動でポインタをクリックする必要があるため大規模研究には非効率的であり、下流の統計分析に適した構造化されたラベル付き出力を生成できないという点で、依然として非効率です。さらに、専用チャートから表への変換モデル（DePlot や TinyChart など）は、生物医学文献に見られる多様なチャートタイプ、特に特定のトレーニング分布に存在しないタイプへの汎化性能が劣ります。

手法
著者らは、モデルのトレーニングや手動アノテーションを必要とせず、科学図表から構造化された表形式データを抽出する自動化を目的とした、オープンソースの単一ファイル Streamlit アプリケーション「PlotPick」を提示します。ソフトウェアアーキテクチャは以下の通り動作します。

1. PDF パース: アップロードされた PDF は PyMuPDF を使用して処理され、テキストブロックとそのバウンディングボックスが抽出されます。
2. 図表検出: システムは、正規表現を用いて図表キャプション（例：「Figure 1」）を識別し、切り取り領域の基準点とします。これらの領域は、同じページ上の近傍のラスター画像およびベクターグラフィックを含むように拡張されます。
3. VLM 抽出: 切り取られた各図表画像は、最小限でバックエンド非依存のプロンプト「このチャートからデータを抽出し、タブ区切りの表として出力してください。」を介して、ビジョン・ランゲージモデル（VLM）に送信されます。
4. 出力: 結果は、行ごとの信頼度スコアを備えた編集可能な表として表示され、Excel、CSV、LaTeX、JSON、および R スクリプトなど、統計ワークフローへの統合を容易にする複数の形式でエクスポート可能です。

このシステムはバックエンド非依存に設計されており、デフォルトでは Claude Haiku を使用しますが、画像入力をサポートする任意の VLM をサポートします。また、単一のセッションで複数の図表を処理できるバッチ処理をサポートしています。

主な貢献

• ツールの開発: PDF からの自動図表検出と VLM ベースの抽出を組み合わせ、手動のポインタクリックやプロンプトエンジニアリングの必要性を排除するツール「PlotPick」の作成。
• 実証的評価: 2 つの確立されたベンチマーク「ChartX」と「PlotQA」において、3 つのプロバイダー（Anthropic、Google、OpenAI）から提供される 6 つの VLM と、専用チャートから表への変換モデル DePlot との包括的な評価。
• ベンチマークの知見: 本研究は、専門モデルのトレーニングデータに含まれていないチャートタイプを含む、すべてのテストされたチャートタイプにおいて、汎用 VLM が専用モデルを上回ることを実証しました。

結果
評価には 2 つの主要な指標が使用されました。リコール（5% の相対許容度内で回収されたグラウンドトゥルース値の割合）とRMSF1（相対マッピング類似性 F1、精度とリコールの調和平均）です。

• ChartX ベンチマーク（n=300）: バーチャート、ラインチャート、ボックスプロット、ヒストグラムに限定され、すべての 6 つの VLM が DePlot を上回りました。
  • リコール: VLM は**88–96%を達成し、DePlot は71%**でした。評価対象の中で最小の VLM（Claude Haiku 4.5）であっても、DePlot より 18 ポイント上回りました。
  • 汎化ギャップ: 性能ギャップは、DePlot のトレーニングデータに存在しないチャートタイプで最も顕著でした。ボックスプロットにおいて、DePlot はわずか24% の RMSF1しか達成できませんでしたが、VLM は**83–97%**を達成しました。
• PlotQA ベンチマーク（n=529）: DePlot がこのデータセットに特化してトレーニングされているにもかかわらず、PlotPick の VLM は DePlot を上回りました。
  • RMSF1: VLM は**86–99%を達成し、DePlot は94%**でした。
• プロンプトエンジニアリング: 本研究では、単純なプロンプトが詳細な多規則プロンプトの結果と 1–3 ポイント以内の差しか生じないことが判明しました。これは、精度が主に複雑なプロンプトエンジニアリングではなく、VLM 固有の視覚能力によって駆動されていることを示しています。
• 観察された限界: 精度はチャートタイプとモデルサイズに依存したままです。軸のスケール読み取りを必要とするチャートは精度が低く、小規模モデルは時折数量を誤解します（例：「230 万」を「2300」と読み取るなど）。積み上げ棒グラフやグループ化された棒グラフは、重なり合う視覚要素を分解する必要があるため、体系的に困難なままです。

意義と主張
本論文は、単純なプロンプトを介してアクセスされ、専門的なトレーニングを必要としない汎用 VLM が、専用チャートから表への変換モデルと比較して、科学図表からのデータ抽出に対する優れた解決策であると主張しています。この優位性は、以下の 3 つの要因に起因します。

1. トレーニングデータの規模: VLM は、専用モデルよりも桁違いに多いデータでトレーニングされており、より広範な視覚的理解を提供します。
2. チャートタイプの網羅性: 主にバーチャートとラインチャートでトレーニングされた専用モデルとは異なり、VLM は特定のトレーニングなしで多様なチャートタイプ（例：ボックスプロット、ヒストグラム）を処理します。
3. ラベル付きデータ: 数値が画像内に直接表示されている場合（≥98% の精度）、抽出精度は最も高くなります。これは、明示的なラベルの存在がモデルサイズやプロンプト設計よりも成功の強力な予測因子であることを示唆しています。

著者らは、PlotPick を生物医学分野におけるシステマティックレビューやメタ分析のためのデータ抽出を加速するツールとして位置づけています。このツールは現在、精神医学研究における継続的なエビデンス合成を支援するため、コペンハーゲン生物・精密精神医学研究センターで使用されています。本ソフトウェアは MIT ライセンスの下でオープンソースとしてリリースされています。