ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding

Resumen Técnico: ChartNet

1. El Problema

La comprensión de gráficos (charts) es una tarea fundamental en dominios científicos, financieros y empresariales, pero representa un desafío significativo para los Modelos de Lenguaje y Visión (VLMs) actuales. Interpretar un gráfico requiere una integración compleja de:

• Patrones visuales geométricos.
• Datos numéricos estructurados.
• Comprensión del lenguaje natural.

A pesar del avance en modelos VLMs, el progreso se ve limitado por la escasez de datos de entrenamiento de alta calidad. Los conjuntos de datos existentes (como ChartQA, DVQA, etc.) sufren de:

• Escala insuficiente (miles en lugar de millones).
• Cobertura multimodal incompleta (frecuentemente carecen de código de generación, tablas de datos subyacentes o trazas de razonamiento).
• Sesgo hacia tipos de gráficos simples o tareas de preguntas y respuestas básicas.
• Falta de alineación estricta entre la imagen, los datos y el código.

Esto resulta en que los modelos de código abierto se quedan atrás frente a los sistemas propietarios en tareas complejas de razonamiento sobre gráficos.

2. Metodología: Pipeline de Generación Guiada por Código

Para abordar estas limitaciones, los autores presentan ChartNet, un conjunto de datos multimodal a escala de millones, generado mediante un pipeline automatizado y guiado por código. La metodología se basa en la premisa de que los gráficos se generan programáticamente, por lo que el código de trazado (plotting code) sirve como una representación intermedia estructurada ideal.

El pipeline consta de las siguientes etapas clave (ver Figura 1 del artículo):

1. Reconstrucción de Gráfico a Código (Chart-to-Code):
   • Se toma un conjunto semilla de 150,000 imágenes de gráficos reales (de TinyChart).
   • Un VLM (Pixtral-large-instruct-2411) genera código Python ejecutable que reconstruye aproximadamente la imagen original.
2. Aumento Guiado por Código (Code-Guided Augmentation):
   • Un LLM (GPT-OSS-120b) toma el código generado y lo reescribe iterativamente.
   • Se solicitan cambios en el tipo de gráfico, la librería de trazado, los valores de datos y el estilo, manteniendo la coherencia semántica. Esto permite escalar el dataset de manera exponencial.
3. Renderizado y Filtrado de Calidad:
   • Se ejecuta el código generado para producir nuevas imágenes de gráficos.
   • Un VLM evalúa las imágenes resultantes para detectar defectos visuales (texto superpuesto, etiquetas cortadas, datos oscurecidos). Las imágenes con errores y su código asociado se descartan.
4. Generación de Atributos Semánticos:
   • Se extraen las tablas de datos (CSV) y se generan descripciones en lenguaje natural.
   • Se crean pares de preguntas y respuestas (QA) con Razonamiento de Cadena de Pensamiento (Chain-of-Thought, CoT) utilizando un marco basado en Vision-R1. Este proceso incluye la generación de una "pseudo-CoT" (Plan + Descripción) y luego una traza de razonamiento detallada y una respuesta final.
5. Subconjuntos Especializados:
   • Datos Humanos: Una submuestra de 96k gráficos verificados y anotados manualmente por expertos.
   • Datos del Mundo Real: 30k gráficos de fuentes reputadas (Banco Mundial, Pew Research, etc.) con metadatos analíticos.
   • Alineación de Seguridad: 7,000 muestras de entrenamiento y 600 de prueba con preguntas adversarias sobre temas sensibles (salud, finanzas, sesgos) para entrenar modelos a rechazar razonamientos dañinos.

3. Contribuciones Clave

1. Pipeline de Generación Automatizado: Un sistema escalable que integra síntesis de datos estructurados con filtrado de calidad automatizado, garantizando fidelidad visual y diversidad representacional.
2. ChartNet (El Dataset):
   • Escala: 1.5 millones de tuplas multimodales alineadas.
   • Diversidad: Cubre 24 tipos de gráficos y 6 librerías de trazado (Matplotlib, Seaborn, Plotly, etc.).
   • Completitud Multimodal: Cada muestra incluye: Imagen renderizada, Código de trazado, Tabla de datos (CSV), Resumen en lenguaje natural y Pares QA con razonamiento CoT.
   • Subconjuntos: Incluye datos anotados por humanos, gráficos del mundo real, datos de anclaje (grounding) y datos de seguridad.
3. Validación Experimental: Demostración exhaustiva de que el ajuste fino (fine-tuning) con ChartNet mejora consistentemente el rendimiento de modelos de diversos tamaños, superando a sistemas propietarios en tareas específicas.

4. Resultados Experimentales

Los autores evaluaron modelos VLMs de diferentes tamaños (desde 258M hasta 7B parámetros) ajustados con ChartNet frente a modelos base y modelos de referencia (incluyendo GPT-4o).

• Mejoras Consistentes: El ajuste fino con ChartNet produjo ganancias significativas en todas las tareas:
  • Reconstrucción de Gráficos (Chart-to-Code): Mejoras drásticas en la tasa de ejecución del código y la fidelidad de los datos. Modelos pequeños que no podían reconstruir gráficos pasaron a lograr tasas de éxito superiores al 90%.
  • Extracción de Datos (Chart-to-Table): El modelo Granite-Vision-2B ajustado alcanzó un 70.3% de precisión, superando a GPT-4o (46.7%) y a modelos de código abierto mucho más grandes.
  • Resumen (Chart-to-Text) y QA con Razonamiento: Mejoras sustanciales en la capacidad de resumir tendencias y realizar razonamiento multietapa.
• Comparación con el Estado del Arte:
  • Los modelos ajustados con ChartNet (de 2B o 7B parámetros) superaron consistentemente a modelos "off-the-shelf" de 20B a 72B parámetros y a GPT-4o en tareas de reconstrucción y extracción de datos.
  • Esto sugiere que, para dominios donde la información visual, numérica y lingüística están acopladas, la calidad de los datos de supervisión (alineados con código) es más efectiva que simplemente escalar el tamaño del modelo.
• Generalización: Los modelos ajustados también mostraron mejoras en benchmarks públicos reales (ChartCap, ChartMimic-v2), demostrando que el aprendizaje sintético se transfiere eficazmente a datos del mundo real.

5. Significado e Impacto

ChartNet establece un nuevo estándar para la comprensión multimodal de gráficos al unificar escala, diversidad y completitud representacional.

• Cambio de Paradigma: Demuestra que el uso de código como representación intermedia permite una supervisión estructural precisa que los conjuntos de datos anteriores no ofrecían.
• Habilitador de Modelos Fundacionales: Proporciona la base necesaria para desarrollar modelos fundacionales robustos capaces de razonar sobre visualizaciones de datos con alta precisión y generalización.
• Acceso Abierto: Al ser un conjunto de datos de código abierto y de gran escala, democratiza la investigación en razonamiento numérico, inteligencia de documentos y modelado multimodal alineado con código, permitiendo que la comunidad científica supere las limitaciones actuales de los modelos de código abierto.

El dataset está disponible públicamente en Hugging Face bajo el nombre ibm-granite/ChartNet.