ChartNet: A Million-Scale, High-Quality Multimodal Dataset for Robust Chart Understanding

1. O Problema

A compreensão de gráficos (charts) exige que os modelos raciocinem conjuntamente sobre padrões visuais geométricos, dados numéricos estruturados e linguagem natural. Embora os Modelos de Linguagem e Visão (VLMs) tenham avançado, eles ainda apresentam limitações significativas nesta tarefa devido a três fatores principais:

• Escassez de Dados de Alta Qualidade: Os conjuntos de dados existentes são frequentemente pequenos, com escopo limitado (focando em poucos tipos de gráficos) ou incompletos em sua cobertura multimodal.
• Falta de Alinhamento Modal: Muitos datasets carecem de modalidades críticas como código de plotagem executável, tabelas de dados subjacentes, anotações de grounding (localização espacial) e traços de raciocínio.
• Desempenho Insuficiente: Modelos de código aberto ainda ficam atrás de sistemas proprietários em tarefas complexas de raciocínio sobre gráficos, que exigem um acoplamento rigoroso entre percepção visual, extração de dados e interpretação linguística.

2. Metodologia: O Pipeline ChartNet

Os autores introduzem o ChartNet, um conjunto de dados multimodal em escala de milhões, gerado através de um pipeline inovador de síntese guiada por código. A metodologia baseia-se na premissa de que gráficos são gerados programaticamente, utilizando o código de plotagem como uma representação intermediária estruturada.

O pipeline de geração de dados consiste nas seguintes etapas:

1. Reconstrução de Código (Chart-to-Code): Um VLM (Vision-Language Model) é instruído a gerar código Python executável que reconstrói aproximadamente um conjunto de imagens de gráficos "sementes" (inicialmente 150.000 imagens do dataset TinyChart).
2. Aumento Guiado por Código (Code-Guided Augmentation): Um LLM (Large Language Model) reescreve iterativamente o código gerado. Ele altera o tipo de gráfico, a biblioteca de plotagem, os valores dos dados e os rótulos, criando variações visual e semanticamente diversas a partir de uma única semente.
3. Renderização: O código gerado é executado para produzir novas imagens de gráficos. Apenas os scripts que são executados com sucesso são mantidos.
4. Filtragem de Qualidade: Um VLM avalia as imagens renderizadas para detectar defeitos visuais (texto sobreposto, rótulos cortados, recursos obscurecidos). Imagens com erros visuais são descartadas.
5. Geração de Atributos Semânticos: Com base no par (imagem, código), o sistema gera:
   • Tabelas de dados (CSV) extraídas dos valores plotados.
   • Descrições em linguagem natural.
   • Pares de Pergunta e Resposta (QA) com raciocínio Chain-of-Thought (CoT) longo.
6. Subconjuntos Especializados: O dataset inclui dados reais (30k gráficos de fontes como World Bank e Pew Research), dados anotados por humanos, dados de grounding (caixas delimitadoras) e dados de segurança (para mitigar vieses e respostas prejudiciais).

3. Principais Contribuições

• Escala e Diversidade: ChartNet é o maior dataset sintético de gráficos até a data, contendo 1,5 milhão de tuplas multimodais alinhadas. Abrange 24 tipos de gráficos e 6 bibliotecas de plotagem diferentes.
• Alinhamento Multimodal Completo: Cada amostra contém cinco componentes alinhados:
  1. Imagem do gráfico renderizado.
  2. Código de plotagem executável.
  3. Tabela de dados subjacente (CSV).
  4. Resumo em linguagem natural.
  5. Pares de QA com raciocínio detalhado (CoT).
• Qualidade Rigorosa: O pipeline incorpora filtragem automática de qualidade e anotação humana para garantir fidelidade visual e precisão semântica.
• Acesso Aberto: O dataset é disponibilizado publicamente, visando democratizar o treinamento de modelos fundamentais para compreensão de visualização de dados.

4. Resultados Experimentais

Os autores realizaram experimentos abrangentes, ajustando (fine-tuning) VLMs de vários tamanhos (de 256M a 7B de parâmetros) no ChartNet.

• Desempenho Superior: O ajuste fino no ChartNet produziu ganhos consistentes e substanciais em todas as tarefas (Reconstrução de Gráfico, Extração de Dados, Sumarização e QA com Raciocínio).
• Superação de Modelos Maiores: Modelos menores ajustados no ChartNet (ex: Granite-Vision-2B ou LLaVA-7B) superaram consistentemente modelos de código aberto muito maiores (até 72B parâmetros) e até mesmo modelos proprietários de ponta como o GPT-4o em tarefas específicas de gráficos.
  • Exemplo: No ajuste fino, o modelo LLaVA-7B alcançou 70,3% de precisão em QA com CoT, superando o GPT-4o (61,1%) e modelos especializados como ChartGemma.
• Generalização: O desempenho melhorado transferiu-se para benchmarks públicos reais (ChartCap e ChartMimic-v2), demonstrando que o aprendizado supervisionado de alta qualidade e alinhado por código melhora a capacidade de generalização do modelo para dados do mundo real.
• Eficiência de Dados: Os resultados sugerem que, para domínios onde informações visuais, numéricas e linguísticas estão fortemente acopladas, fornecer supervisão multimodal de alta qualidade e alinhada por código é mais eficaz do que simplesmente aumentar o tamanho do modelo.

5. Significado e Impacto

O ChartNet estabelece um novo padrão para a compreensão multimodal de gráficos. Ao unificar escala, diversidade e completude representacional, ele permite que a próxima geração de modelos raciocine sobre visualizações de dados com maior precisão e generalização.

O trabalho demonstra que a síntese de dados guiada por código é uma estratégia viável e poderosa para superar a escassez de dados de treinamento de alta qualidade. Isso move os VLMs de uma capacidade meramente descritiva ("descrever o que vejo") para uma capacidade de compreensão estruturada ("entender os dados codificados"), abrindo caminho para avanços em raciocínio numérico, inteligência de documentos e modelagem multimodal alinhada a código.