Self-Ensembling Vision-Language Models for Chart Data Extraction

Resumo Técnico: Modelos Visão-Linguagem de Auto-Ensemble para Extração de Dados de Gráficos

Declaração do Problema
Gráficos são um meio primário para comunicar informações quantitativas em contextos científicos e de políticas públicas, contudo os dados subjacentes frequentemente estão bloqueados em formatos de imagem rasterizados, tornando-os inacessíveis para busca, junção ou análise a jusante. Embora a digitalização manual seja possível, ela é lenta e propensa a erros. A extração automática de gráficos para tabelas emergiu como uma solução, com abordagens recentes aproveitando Modelos Visão-Linguagem (VLMs) para "ler" diretamente gráficos e emitir representações textuais de tabelas. No entanto, os métodos existentes baseados em VLMs exibem fragilidade: uma única passagem direta frequentemente produz resultados inconsistentes, como omitir pontos de dados, alucinar valores ou ler mal os eixos. Além disso, os benchmarks atuais (por exemplo, ChartQA) frequentemente apresentam gráficos simples com variação estilística limitada e rótulos de valores impressos, levando a métricas de desempenho saturadas que não refletem a dificuldade de figuras complexas do mundo real.

Metodologia
Os autores propõem um método de auto-ensemble agnóstico ao modelo que explora a estocasticidade dos VLMs para melhorar a precisão e a confiabilidade da extração. O fluxo de trabalho central envolve:

1. Amostragem Iterativa: Para uma imagem de gráfico dada, o VLM base é consultado repetidamente (em uma temperatura de amostragem específica) para gerar múltiplas saídas tabulares candidatas no formato TSV.
2. Análise e Normalização: As saídas brutas são analisadas em TSV, com linhas/colunas reparadas se necessário. Células são convertidas para valores numéricos, removendo artefatos como símbolos de moeda, enquanto strings não numéricas são tratadas como ausentes.
3. Alinhamento de Linhas e Colunas: Como a ortografia e a ordenação dos rótulos podem variar entre amostras, o método agrupa rótulos de linhas e colunas independentemente usando a Similaridade Média Normalizada de Levenshtein (ANLS). Rótulos são agrupados em clusters canônicos se atenderem a um limiar de similaridade e não originarem da mesma tabela amostrada (evitando duplicatas intra-tabela). Clusters espúrios que aparecem em menos de 20% das tabelas são podados.
4. Agregação Célula a Célula: Para cada célula alinhada (linha, coluna), o método coleta todas as previsões numéricas das tabelas amostradas. Um valor de consenso é computado como a mediana desses valores.
5. Detecção de Convergência: O processo de amostragem inclui um mecanismo de parada antecipada. A amostragem para se, para um número definido de atualizações consecutivas, pelo menos 95% dos valores de célula agregados mudarem por no máximo uma tolerância relativa de 1%. Isso equilibra o custo computacional com ganhos marginais de precisão.
6. Estimativa de Incerteza: Para avaliar a confiabilidade, o método calcula o Desvio Absoluto Mediano Relativo (MAD) para cada célula. Alta dispersão entre amostras indica baixa confiança na extração, fornecendo um sinal para os usuários verificarem os resultados ou solicitarem mais amostras.

Principais Contribuições

1. Framework de Auto-Ensemble: Uma abordagem agnóstica ao modelo que agrega múltiplas saídas de VLMs ao nível da célula para produzir uma tabela de consenso mais precisa, suprimindo previsões de outliers e alucinações.
2. Detecção de Convergência: Um mecanismo para identificar quando amostras adicionais são improváveis de alterar o resultado agregado, permitindo uma parada antecipada prática.
3. Quantificação de Incerteza: Uma estimativa de incerteza baseada em ensemble (MAD Relativo) que correlaciona inversamente com a precisão da extração, ajudando os usuários a avaliar a confiabilidade.
4. Benchmark WB-ChartExtract: Um novo benchmark construído a partir de dados de séries temporais do Banco Mundial, apresentando 1.000 gráficos sintéticos. Diferentemente de conjuntos de dados existentes, ele inclui:
   • Maior Complexidade: Gráficos contêm em média 7× mais pontos de dados do que aqueles no ChartQA.
   • Diversidade Estilística: Gráficos são renderizados usando quatro bibliotecas (Matplotlib, Seaborn, Plotly, Bokeh) em quatro tipos de gráficos (linha, área, barras agrupadas, barras empilhadas) com fontes, cores e layouts aleatorizados.
   • Sem Rótulos Impressos: Valores não são impressos diretamente no gráfico, forçando os modelos a inferir dados a partir de eixos e geometria em vez de depender de atalhos de OCR.

Resultados
O método foi avaliado tanto no ChartQA padrão quanto no novo benchmark WB-ChartExtract através de vários modelos base, incluindo extratores de gráficos especializados (OneChart, TinyChart, DePlot) e VLMs de propósito geral open-source e closed-source (Qwen3-VL, Llama 4 Scout, Seed 1.6 Flash, GPT-5.1, Claude Opus 4.6, Gemini 2.5 Pro).

• Melhorias de Precisão: O auto-ensemble melhorou consistentemente a precisão da extração (medida pela Similaridade de Mapeamento Relativa, RMSF1) sobre as linhas de base de passagem única.
  • No WB-ChartExtract, as melhorias relativas variaram de 2,7% (TinyChart) a 23,1% (Seed 1.6 Flash).
  • No ChartQA, melhorias foram observadas para modelos de propósito geral (por exemplo, Qwen3-VL melhorou de 91,43 para 93,21), embora os ganhos tenham sido mínimos para o TinyChart, que já estava saturado em sua distribuição de treinamento in-domain.
• Análise de Erros: Os modos de falha primários corrigidos pelo ensemble foram Erros de Valor (mismatches numéricos) e pontos de dados Ausentes. Erros de rótulo foram negligenciáveis. O método foi particularmente eficaz em recuperar estrutura ausente em gráficos complexos (por exemplo, gráficos de área e linha).
• Eficiência de Custos: Embora o ensemble aumente os custos de API (aproximadamente 4–16× dependendo do modelo), o mecanismo de detecção de convergência mitiga significativamente isso ao parar antecipadamente para amostras mais fáceis. No WB-ChartExtract, a parada antecipada reteve 99% do impulso de precisão do ensemble enquanto usou 1,24× menos amostras em média.
• Correlação de Incerteza: A métrica de incerteza proposta (MAD Relativo) mostrou uma correlação negativa significativa com a RMSF1 (Spearman $\rho \approx -0,34$ a $-0,37$), confirmando que maior desacordo do ensemble prevê com confiabilidade menor precisão de extração.

Significado e Alegações
O artigo alega que essa abordagem aproxima a extração de gráficos para tabelas da implantação no mundo real, abordando a fragilidade da geração de VLM de passagem única e as limitações dos benchmarks atuais. Ao introduzir o WB-ChartExtract, os autores fornecem um campo de testes mais rigoroso que expõe diferenças genuínas nas capacidades de raciocínio visual entre modelos, particularmente em relação à densidade de dados e variação estilística. O método de auto-ensemble oferece uma estratégia prática e agnóstica ao modelo para desbloquear dados tabulares anteriormente isolados em imagens de gráficos, permitindo análise a jusante com confiabilidade quantificada.

Limitações
Os autores reconhecem que o método é limitado pelos modos de falha do VLM base; erros sistemáticos podem ser reforçados em vez de corrigidos. O critério de convergência foca na estabilidade numérica e pode perder inconsistências semânticas na estrutura da tabela. Adicionalmente, a estimativa de incerteza é heurística e não uma probabilidade calibrada de correção. Finalmente, embora o WB-ChartExtract seja diversificado, é renderizado sinteticamente e pode não capturar todos os artefatos do mundo real, como scans de baixa resolução ou layouts não padrão.