Self-Ensembling Vision-Language Models for Chart Data Extraction

Resumen Técnico: Modelos Visuales-Lingüísticos de Auto-Agregación para la Extracción de Datos de Gráficos

Enunciado del Problema
Los gráficos son un medio principal para comunicar información cuantitativa en contextos científicos y de políticas, sin embargo, los datos subyacentes a menudo están bloqueados en formatos de imagen rasterizados, lo que los hace inaccesibles para búsquedas, uniones o análisis posteriores. Aunque la digitalización manual es posible, es lenta y propensa a errores. La extracción automática de gráficos a tablas ha surgido como una solución, con enfoques recientes que aprovechan los Modelos Visuales-Lingüísticos (VLM) para "leer" directamente los gráficos y emitir representaciones de tablas en texto. Sin embargo, los métodos existentes basados en VLM exhiben fragilidad: una sola pasada hacia adelante a menudo produce resultados inconsistentes, como la omisión de puntos de datos, la alucinación de valores o la lectura incorrecta de los ejes. Además, las evaluaciones actuales (por ejemplo, ChartQA) a menudo presentan gráficos simples con variación estilística limitada y etiquetas de valores impresas, lo que conduce a métricas de rendimiento saturadas que no reflejan la dificultad de figuras complejas del mundo real.

Metodología
Los autores proponen un método de auto-agregación agnóstico al modelo que explota la estocasticidad de los VLM para mejorar la precisión y la fiabilidad de la extracción. El flujo de trabajo principal implica:

1. Muestreo Iterativo: Para una imagen de gráfico dada, el VLM base se consulta repetidamente (a una temperatura de muestreo específica) para generar múltiples salidas tabulares candidatas en formato TSV.
2. Análisis y Normalización: Las salidas en bruto se analizan en TSV, reparando filas/columnas si es necesario. Las celdas se convierten a valores numéricos, eliminando artefactos como símbolos de moneda, mientras que las cadenas no numéricas se tratan como faltantes.
3. Alineación de Filas y Columnas: Dado que la ortografía y el orden de las etiquetas pueden variar entre muestras, el método agrupa las etiquetas de filas y columnas de forma independiente utilizando la Similitud Levenshtein Normalizada Promedio (ANLS). Las etiquetas se agrupan en clústeres canónicos si cumplen un umbral de similitud y no provienen de la misma tabla muestreada (evitando duplicados intra-tabla). Los clústeres espurios que aparecen en menos del 20% de las tablas se podan.
4. Agregación Celda a Celda: Para cada celda alineada (fila, columna), el método recopila todas las predicciones numéricas de las tablas muestreadas. Se calcula un valor de consenso como la mediana de estos valores.
5. Detección de Convergencia: El proceso de muestreo incluye un mecanismo de parada anticipada. El muestreo se detiene si, durante un número fijo de actualizaciones consecutivas, al menos el 95% de los valores de celda agregados cambian en no más de una tolerancia relativa del 1%. Esto equilibra el costo computacional con las ganancias marginales de precisión.
6. Estimación de Incertidumbre: Para evaluar la fiabilidad, el método calcula la Desviación Absoluta Mediana Relativa (MAD) para cada celda. Una alta dispersión entre muestras indica baja confianza en la extracción, proporcionando una señal para que los usuarios verifiquen los resultados o soliciten más muestras.

Contribuciones Clave

1. Marco de Auto-Agregación: Un enfoque agnóstico al modelo que agrega múltiples salidas de VLM a nivel de celda para producir una tabla de consenso más precisa, suprimiendo predicciones atípicas y alucinaciones.
2. Detección de Convergencia: Un mecanismo para identificar cuándo es poco probable que muestras adicionales alteren el resultado agregado, permitiendo una parada anticipada práctica.
3. Cuantificación de la Incertidumbre: Una estimación de incertidumbre basada en la agregación (MAD Relativa) que se correlaciona inversamente con la precisión de extracción, ayudando a los usuarios a evaluar la fiabilidad.
4. Evaluación WB-ChartExtract: Una nueva evaluación construida a partir de datos de series temporales del Banco Mundial, que presenta 1.000 gráficos sintéticos. A diferencia de los conjuntos de datos existentes, incluye:
   • Mayor Complejidad: Los gráficos contienen en promedio 7 veces más puntos de datos que los de ChartQA.
   • Diversidad Estilística: Los gráficos se renderizan utilizando cuatro bibliotecas (Matplotlib, Seaborn, Plotly, Bokeh) en cuatro tipos de gráficos (línea, área, barras agrupadas, barras apiladas) con fuentes, colores y diseños aleatorizados.
   • Sin Etiquetas Impresas: Los valores no se imprimen directamente en el gráfico, obligando a los modelos a inferir datos a partir de los ejes y la geometría en lugar de depender de atajos de OCR.

Resultados
El método se evaluó tanto en la evaluación estándar ChartQA como en la nueva WB-ChartExtract a través de varios modelos base, incluidos extractores de gráficos especializados (OneChart, TinyChart, DePlot) y VLM de propósito general de código abierto y cerrados (Qwen3-VL, Llama 4 Scout, Seed 1.6 Flash, GPT-5.1, Claude Opus 4.6, Gemini 2.5 Pro).

• Mejoras en Precisión: La auto-agregación mejoró consistentemente la precisión de extracción (medida por Similitud de Mapeo Relativo, RMSF1) sobre las líneas base de una sola pasada.
  • En WB-ChartExtract, las mejoras relativas oscilaron entre 2.7% (TinyChart) y 23.1% (Seed 1.6 Flash).
  • En ChartQA, se observaron mejoras para modelos de propósito general (por ejemplo, Qwen3-VL mejoró de 91.43 a 93.21), aunque las ganancias fueron mínimas para TinyChart, que ya estaba saturado en su distribución de entrenamiento dentro del dominio.
• Análisis de Errores: Los modos de fallo principales corregidos por la agregación fueron Errores de Valor (discrepancias numéricas) y puntos de datos Faltantes. Los errores de etiquetas fueron insignificantes. El método fue particularmente efectivo para recuperar la estructura faltante en gráficos complejos (por ejemplo, gráficos de área y de línea).
• Eficiencia de Costos: Aunque la agregación aumenta los costos de API (aproximadamente 4–16 veces dependiendo del modelo), el mecanismo de detección de convergencia mitiga significativamente esto al detenerse temprano para muestras más fáciles. En WB-ChartExtract, la parada anticipada retuvo el 99% del impulso de precisión de la agregación mientras utilizaba 1.24 veces menos muestras en promedio.
• Correlación de Incertidumbre: La métrica de incertidumbre propuesta (MAD Relativa) mostró una correlación negativa significativa con RMSF1 ($\rho$ de Spearman $\approx -0.34$ a $-0.37$), confirmando que un mayor desacuerdo entre la agregación predice de manera fiable una menor precisión de extracción.

Significado y Afirmaciones
El artículo afirma que este enfoque acerca la extracción de gráficos a tablas a la implementación en el mundo real al abordar la fragilidad de la generación de VLM de una sola pasada y las limitaciones de las evaluaciones actuales. Al introducir WB-ChartExtract, los autores proporcionan un campo de pruebas más riguroso que expone diferencias genuinas en las capacidades de razonamiento visual entre modelos, particularmente en lo que respecta a la densidad de datos y la variación estilística. El método de auto-agregación ofrece una estrategia práctica y agnóstica al modelo para desbloquear datos tabulares previamente aislados en imágenes de gráficos, permitiendo análisis posteriores con fiabilidad cuantificada.

Limitaciones
Los autores reconocen que el método está limitado por los modos de fallo del VLM base; los errores sistemáticos pueden reforzarse en lugar de corregirse. El criterio de convergencia se centra en la estabilidad numérica y puede pasar por alto inconsistencias semánticas en la estructura de la tabla. Además, la estimación de incertidumbre es heurística y no una probabilidad calibrada de corrección. Finalmente, aunque WB-ChartExtract es diverso, está renderizado sintéticamente y puede no capturar todos los artefactos del mundo real como escaneos de baja resolución o diseños no estándar.