PlotPick: AI-powered batch extraction of numerical data from scientific figures

Resumo Técnico: PlotPick – Extração em Lote de Dados Numéricos de Figuras Científicas Impulsionada por IA

Declaração do Problema
Revisões sistemáticas e meta-análises nas ciências biomédicas frequentemente encontram um gargalo: dados numéricos críticos são frequentemente relatados exclusivamente dentro de figuras científicas, em vez de tabelas legíveis por máquina. Embora ferramentas de software existentes (por exemplo, WebPlotDigitizer) ofereçam melhorias em relação à estimativa manual, elas permanecem ineficientes para estudos em grande escala, pois exigem cliques manuais para cada série de dados e falham em produzir saída estruturada e rotulada adequada para análise estatística subsequente. Além disso, modelos dedicados de gráfico para tabela (como DePlot e TinyChart) exibem baixa generalização para os diversos tipos de gráficos encontrados na literatura biomédica, particularmente aqueles ausentes de suas distribuições de treinamento específicas.

Metodologia
Os autores apresentam o PlotPick, um aplicativo Streamlit de arquivo único e código aberto projetado para automatizar a extração de dados tabulares estruturados de figuras científicas, sem exigir treinamento de modelo ou anotação manual. A arquitetura do software opera da seguinte forma:

1. Análise de PDF: PDFs carregados são processados usando PyMuPDF para extrair blocos de texto e suas caixas delimitadoras.
2. Detecção de Figuras: O sistema identifica legendas de figuras (por exemplo, "Figura 1") usando expressões regulares para ancorar regiões de recorte. Essas regiões são expandidas para abranger imagens rasterizadas e gráficos vetoriais próximos na mesma página.
3. Extração por VLM: Cada imagem de figura recortada é enviada a um Modelo de Linguagem e Visão (VLM) por meio de um prompt mínimo e agnóstico ao backend: "Extraia os dados deste gráfico como uma tabela separada por tabulação."
4. Saída: Os resultados são exibidos como tabelas editáveis com pontuações de confiança por linha e podem ser exportados em múltiplos formatos (Excel, CSV, LaTeX, JSON e scripts R) para facilitar a integração em fluxos de trabalho estatísticos.

O sistema é projetado para ser agnóstico ao backend, padrão para o Claude Haiku, mas suporta qualquer VLM que aceite entrada de imagem. Ele suporta processamento em lote, permitindo que múltiplas figuras sejam tratadas em uma única sessão.

Principais Contribuições

• Desenvolvimento de Ferramenta: A criação do PlotPick, uma ferramenta que combina detecção automática de figuras a partir de PDFs com extração baseada em VLM, eliminando a necessidade de cliques manuais ou engenharia de prompts.
• Avaliação Empírica: Uma avaliação abrangente de seis VLMs de três provedores (Anthropic, Google, OpenAI) contra o modelo dedicado de gráfico para tabela DePlot em duas bases de referência estabelecidas: ChartX e PlotQA.
• Insights de Benchmarking: O estudo demonstra que VLMs de propósito geral superam modelos especializados em todos os tipos de gráficos testados, incluindo aqueles não presentes nos dados de treinamento dos modelos especializados.

Resultados
A avaliação utilizou duas métricas principais: Recall (fração de valores de verdade absoluta recuperados dentro de uma tolerância relativa de 5%) e RMSF1 (Similaridade de Mapeamento Relativo F1, a média harmônica de precisão e recall).

• Benchmark ChartX (n=300): Restrito a gráficos de barras, gráficos de linha, gráficos de caixa e histogramas, todos os seis VLMs superaram o DePlot.
  • Recall: Os VLMs alcançaram 88–96%, comparado a 71% para o DePlot. Mesmo o menor VLM avaliado (Claude Haiku 4.5) superou o DePlot em 18 pontos percentuais.
  • Lacuna de Generalização: A lacuna de desempenho foi mais pronunciada em tipos de gráficos ausentes dos dados de treinamento do DePlot. Em gráficos de caixa, o DePlot alcançou apenas 24% de RMSF1, enquanto os VLMs alcançaram 83–97%.
• Benchmark PlotQA (n=529): Apesar de o DePlot ser especificamente treinado neste conjunto de dados, os VLMs do PlotPick superaram-no.
  • RMSF1: Os VLMs alcançaram 86–99%, comparado a 94% para o DePlot.
• Engenharia de Prompt: O estudo constatou que um prompt simples produziu resultados dentro de 1–3 pontos percentuais de um prompt detalhado com múltiplas regras, indicando que a precisão é impulsionada principalmente pelas capacidades de visão inerentes do VLM, em vez de engenharia de prompts complexa.
• Limitações Observadas: A precisão permanece dependente do tipo de gráfico e do tamanho do modelo. Gráficos que exigem leitura de escala do eixo são menos precisos, com modelos menores ocasionalmente interpretando erroneamente magnitudes (por exemplo, lendo "2,3 milhões" como "2300"). Gráficos de barras empilhados e agrupados permanecem sistematicamente difíceis devido à necessidade de decompor elementos visuais sobrepostos.

Significado e Alegações
O artigo afirma que VLMs de propósito geral, acessados por meio de prompts simples e sem treinamento especializado, representam uma solução superior para extração de dados de figuras científicas em comparação com modelos dedicados de gráfico para tabela. Essa superioridade é atribuída a três fatores:

1. Escala de Dados de Treinamento: VLMs são treinados em ordens de magnitude mais dados do que modelos especializados, proporcionando uma compreensão visual mais ampla.
2. Cobertura de Tipos de Gráficos: Ao contrário de modelos especializados treinados principalmente em gráficos de barras e de linha, os VLMs lidam com diversos tipos de gráficos (por exemplo, gráficos de caixa, histogramas) sem treinamento específico.
3. Dados Rotulados: A precisão da extração é mais alta quando valores numéricos aparecem diretamente na imagem (≥98% de precisão), sugerindo que a presença de rótulos explícitos é um preditor mais forte de sucesso do que o tamanho do modelo ou o design do prompt.

Os autores posicionam o PlotPick como uma ferramenta para acelerar a extração de dados para revisões sistemáticas e meta-análises nas ciências biomédicas. A ferramenta está atualmente em uso no Centro de Pesquisa de Copenhague para Psiquiatria Biológica e de Precisão para apoiar a síntese de evidências em andamento na pesquisa psiquiátrica. O software é lançado como código aberto sob a licença MIT.