PlotPick: AI-powered batch extraction of numerical data from scientific figures

Resumen Técnico: PlotPick – Extracción por Lotes de Datos Numéricos de Figuras Científicas impulsada por IA

Enunciado del Problema
Las revisiones sistemáticas y los metaanálisis en ciencias biomédicas encuentran frecuentemente un cuello de botella: los datos numéricos críticos a menudo se reportan exclusivamente dentro de figuras científicas en lugar de en tablas legibles por máquina. Si bien las herramientas de software existentes (por ejemplo, WebPlotDigitizer) ofrecen mejoras sobre la estimación manual, siguen siendo ineficientes para estudios a gran escala porque requieren hacer clic manualmente en cada punto para cada serie de datos y no producen una salida estructurada y etiquetada adecuada para el análisis estadístico posterior. Además, los modelos dedicados de gráfico a tabla (como DePlot y TinyChart) muestran una generalización deficiente ante la diversidad de tipos de gráficos encontrados en la literatura biomédica, particularmente aquellos ausentes de sus distribuciones de entrenamiento específicas.

Metodología
Los autores presentan PlotPick, una aplicación Streamlit de archivo único y código abierto diseñada para automatizar la extracción de datos tabulares estructurados de figuras científicas sin requerir entrenamiento de modelos ni anotación manual. La arquitectura del software opera de la siguiente manera:

1. Análisis de PDF: Los PDFs cargados se procesan utilizando PyMuPDF para extraer bloques de texto y sus cajas delimitadoras.
2. Detección de Figuras: El sistema identifica las leyendas de las figuras (por ejemplo, "Figura 1") utilizando expresiones regulares para anclar las regiones de recorte. Estas regiones se expanden para abarcar imágenes rasterizadas y gráficos vectoriales cercanos en la misma página.
3. Extracción con LVM: Cada imagen de figura recortada se envía a un Modelo de Lenguaje y Visión (LVM) mediante un prompt mínimo, agnóstico al backend: "Extrae los datos de este gráfico como una tabla separada por tabuladores".
4. Salida: Los resultados se muestran como tablas editables con puntuaciones de confianza por fila y se pueden exportar en múltiples formatos (Excel, CSV, LaTeX, JSON y scripts de R) para facilitar la integración en flujos de trabajo estadísticos.

El sistema está diseñado para ser agnóstico al backend, utilizando Claude Haiku por defecto pero admitiendo cualquier LVM que acepte entrada de imagen. Soporta procesamiento por lotes, permitiendo manejar múltiples figuras en una sola sesión.

Contribuciones Clave

• Desarrollo de Herramientas: La creación de PlotPick, una herramienta que combina la detección automática de figuras a partir de PDFs con la extracción basada en LVM, eliminando la necesidad de hacer clic manualmente en puntos o ingeniería de prompts.
• Evaluación Empírica: Una evaluación exhaustiva de seis LVMs de tres proveedores (Anthropic, Google, OpenAI) frente al modelo dedicado de gráfico a tabla DePlot en dos conjuntos de datos de referencia establecidos: ChartX y PlotQA.
• Perspectivas de Referencia: El estudio demuestra que los LVMs de propósito general superan a los modelos especializados en todos los tipos de gráficos probados, incluidos aquellos no presentes en los datos de entrenamiento de los modelos especializados.

Resultados
La evaluación utilizó dos métricas principales: Recall (fracción de valores de verdad fundamental recuperados dentro de una tolerancia relativa del 5%) y RMSF1 (Similitud de Mapeo Relativo F1, la media armónica de precisión y recall).

• Conjunto de datos de referencia ChartX (n=300): Restringido a gráficos de barras, gráficos de líneas, diagramas de caja e histogramas, los seis LVMs superaron a DePlot.
  • Recall: Los LVMs lograron un 88–96%, en comparación con el 71% de DePlot. Incluso el LVM más pequeño evaluado (Claude Haiku 4.5) superó a DePlot en 18 puntos porcentuales.
  • Brecha de Generalización: La brecha de rendimiento fue más pronunciada en los tipos de gráficos ausentes de los datos de entrenamiento de DePlot. En los diagramas de caja, DePlot logró solo un 24% de RMSF1, mientras que los LVMs lograron un 83–97%.
• Conjunto de datos de referencia PlotQA (n=529): A pesar de que DePlot fue entrenado específicamente en este conjunto de datos, los LVMs de PlotPick lo superaron.
  • RMSF1: Los LVMs lograron un 86–99%, en comparación con el 94% de DePlot.
• Ingeniería de Prompts: El estudio encontró que un prompt simple arrojó resultados dentro de 1–3 puntos porcentuales de un prompt detallado con múltiples reglas, lo que indica que la precisión está impulsada principalmente por las capacidades visuales inherentes del LVM en lugar de una ingeniería de prompts compleja.
• Limitaciones Observadas: La precisión sigue dependiendo del tipo de gráfico y del tamaño del modelo. Los gráficos que requieren lectura de la escala del eje son menos precisos, con modelos más pequeños que ocasionalmente malinterpretan magnitudes (por ejemplo, leer "2,3 millones" como "2300"). Los gráficos de barras apiladas y agrupadas siguen siendo sistemáticamente difíciles debido a la necesidad de descomponer elementos visuales superpuestos.

Significado y Afirmaciones
El artículo afirma que los LVMs de propósito general, accedidos mediante prompts simples y sin entrenamiento especializado, representan una solución superior para extraer datos de figuras científicas en comparación con los modelos dedicados de gráfico a tabla. Esta superioridad se atribuye a tres factores:

1. Escala de Datos de Entrenamiento: Los LVMs se entrenan con órdenes de magnitud más datos que los modelos especializados, proporcionando una comprensión visual más amplia.
2. Cobertura de Tipos de Gráficos: A diferencia de los modelos especializados entrenados principalmente en gráficos de barras y líneas, los LVMs manejan diversos tipos de gráficos (por ejemplo, diagramas de caja, histogramas) sin entrenamiento específico.
3. Datos Etiquetados: La precisión de la extracción es más alta cuando los valores numéricos aparecen directamente en la imagen (≥98% de precisión), lo que sugiere que la presencia de etiquetas explícitas es un predictor más fuerte de éxito que el tamaño del modelo o el diseño del prompt.

Los autores posicionan a PlotPick como una herramienta para acelerar la extracción de datos para revisiones sistemáticas y metaanálisis en ciencias biomédicas. La herramienta está actualmente en uso en el Centro de Investigación de Copenhague para Psiquiatría Biológica y de Precisión para apoyar la síntesis de evidencia en curso en investigación psiquiátrica. El software se publica como código abierto bajo la licencia MIT.