Assessing Y-Axis Influence: Bias in Multimodal Language Models on Chart-to-Table Translation

1. Declaração do Problema

Os Modelos de Linguagem Multimodal (MLMs) são cada vez mais utilizados para traduzir imagens de gráficos em dados tabulares estruturados (tradução de Gráfico para Tabela). Embora pesquisas anteriores tenham investigado vieses em MLMs relacionados à complexidade do gráfico, esquemas de cores e tamanhos de fonte, existe uma lacuna significativa na compreensão de como informações específicas do eixo y afetam o desempenho do modelo.

Os autores identificam que conjuntos de dados públicos (como PlotQA e ChartQA) sofrem de graves desequilíbrios em relação às características do eixo y, tais como:

• Comprimento dos dígitos: O número de dígitos na parte inteira do valor máximo do eixo y.
• Configurações de marcas (ticks): O número de marcas principais e a faixa de valores.
• Formatos de valor: O uso de abreviações (K, M, B), notação científica ou vírgulas.

Esses desequilíbrios levam a vieses não intencionais, onde os modelos performam bem em configurações específicas de eixo y, mas falham em generalizar para outras. Além disso, as métricas de avaliação existentes (como RMSF1) frequentemente falham em capturar erros visualmente significativos, como desvios maiores que o intervalo de uma marca menor, levando a avaliações pouco confiáveis.

2. Metodologia: O Framework FairChart2Table

Para abordar essas lacunas, os autores propõem o FairChart2Table, um framework controlado por viés consistindo em um novo conjunto de dados de referência e novas métricas de avaliação.

A. Construção do Benchmark

O framework gera um conjunto de dados sintético usando a biblioteca de plotagem Bokeh para garantir controle estrito sobre as variáveis. O conjunto de dados é dividido em quatro subconjuntos (Partes A–D) para isolar vieses específicos:

• Parte A (Comprimento dos Dígitos): Gera 3.060 imagens variando o comprimento dos dígitos dos valores do eixo y (0–16) e o número de entidades (1–6).
• Parte B (Marcas Principais): Compara o desempenho com 3, 6 e 11 marcas principais.
• Parte C (Faixa de Valores): Testa três cenários de faixa:
  • Positivo (Pos): Origem deslocada para cima (todos os valores positivos).
  • Negativo (Neg): Origem deslocada para baixo (todos os valores negativos).
  • Estendido (Ext): Faixa de dados duplicada, empurrando valores para o fundo.
• Parte D (Formatos Numéricos): Testa números simples, vírgulas, abreviações (K, M, B, T) e notação científica.

Todos os outros elementos visuais (títulos, fontes, cores, eixo x) são padronizados para evitar fatores de confusão.

B. Novas Métricas de Avaliação

Os autores criticam a métrica padrão RMSF1 por não penalizar adequadamente erros visualmente perceptíveis. Eles propõem métricas de Erro Baseado em Marcas (TBE):

1. $DTBE$ (Distância Baseada em Marcas): Normaliza o erro absoluto ($|g - p|$) pelo intervalo da marca menor ($t$), em vez do valor real (ground truth).
   $$DTBE(g, p) = \min\left(1, \frac{|g - p|}{t}\right)$$
2. $RMSTBE_{F1}$: Uma variante da pontuação F1 usando $DTBE$ para alinhamento numérico, removendo penalidades de cabeçalho para focar na precisão dos dados.
3. $RMSTBE_{F1}$-Sig: Foca apenas em desvios "significativos" onde o erro excede o intervalo da marca menor.
4. SES (Pontuação de Erro de Troca): Mede erros estruturais onde os valores são extraídos corretamente, mas atribuídos à entidade errada (comum em linhas cruzadas), calculado como a diferença entre uma pontuação de correspondência de custo mínimo e a $RMSTBE_{F1}$ padrão.

3. Configuração Experimental

O framework foi utilizado para avaliar cinco modelos de última geração:

• Código Fechado: GPT-4o, Gemini-2.0-flash.
• Código Aberto: Pixtral-12B.
• Especializado/Supervisionado: DePlot (específico para gráfico para tabela), ChartGemma e TinyChart (compreensão geral de gráficos).

Os experimentos envolveram testes estatísticos emparelhados (teste de postos sinalizados de Wilcoxon) para comparar o desempenho entre diferentes configurações de viés.

4. Resultados e Descobertas Principais

RQ1: Impacto das Informações do Eixo Y

• Comprimento dos Dígitos: O desempenho geralmente degrada à medida que o comprimento dos dígitos aumenta.
  • DePlot e TinyChart mostram quedas significativas em comprimentos de dígitos mais altos (ex: 11, 15, 16).
  • GPT-4o performa o pior no geral e exibe forte viés contra altos comprimentos de dígitos.
  • Gemini é o mais robusto, mas ainda mostra uma tendência de queda.
• Marcas Principais: Todos os modelos performam pior com 3 marcas principais. Modelos de código fechado (Gemini, GPT-4o) melhoram com 11 marcas, enquanto modelos de código aberto não mostram uma tendência uniforme.
• Faixa de Valores:
  • DePlot luta com origens negativas e faixas estendidas.
  • TinyChart se destaca quando o eixo cruza em zero, mas falha com origens deslocadas.
  • Gemini permanece consistente na maioria das faixas, mas cai significativamente com faixas estendidas.
• Formatos Numéricos:
  • Abreviações (K, M, B, T) causam quedas dramáticas no desempenho para quase todos os modelos (ex: TinyChart cai de ~80% para ~26%).
  • Notação Científica também impacta negativamente muitos modelos, embora DePlot e TinyChart lidem melhor com ela do que com abreviações.

RQ2: Outros Fatores (Entidades e Tipos de Gráfico)

• Número de Entidades: À medida que o número de entidades (1–6) aumenta, o desempenho geralmente declina devido ao aumento da probabilidade de cruzamento de linhas.
  • Pontuações SES: Modelos como DePlot e TinyChart mostram altos erros de troca (confundindo entidades) com 5–6 entidades.
  • Gemini e Pixtral são mais robustos contra aumentos na contagem de entidades.
• Tipos de Gráfico: Quando os dados subjacentes são idênticos, as diferenças de desempenho entre gráficos de Linha, Ponto e Barras são estatisticamente significativas, mas menos pronunciadas do que os vieses do eixo y.

RQ3: Impacto da Solicitação com Dicas do Eixo Y

• Fornecer valores explícitos de marcas do eixo y como parte do prompt melhora significativamente o desempenho de alguns modelos.
• Pixtral viu ganhos variando de 0,94% a 26,60%.
• Gemini mostrou uma melhoria dramática (de 46,54% para 61,32%) especificamente ao lidar com formatos abreviados, sugerindo que a dica ajuda a decodificar formatos não padrão.

5. Significado e Contribuições

1. Identificação de Vieses Ocultos: O artigo revela sistematicamente que características do eixo y (comprimento dos dígitos, contagem de marcas, formatos) são fontes principais e previamente não examinadas de viés em MLMs.
2. Framework FairChart2Table: Um benchmark reprodutível e metodologia para gerar conjuntos de dados controlados por viés, permitindo que pesquisadores isolem variáveis específicas.
3. Métricas Aprimoradas: A introdução de métricas baseadas em TBE ($RMSTBE_{F1}$) fornece uma avaliação visualmente mais precisa dos erros de tradução de gráfico para tabela em comparação com métricas baseadas em texto tradicionais.
4. Insights Práticos: O estudo demonstra que a engenharia de prompts (fornecendo dicas do eixo y) pode mitigar vieses específicos, particularmente para lidar com abreviações e comprimentos de dígitos complexos.

6. Limitações

• O conjunto de dados é sintético (gerado via Bokeh) e não inclui imagens de gráficos reais e ruidosos.
• Todo o texto (gráficos e legendas) está em inglês.
• O estudo foca exclusivamente em vieses do eixo y, não em outros elementos do gráfico.

Conclusão

Os autores concluem que os MLMs atuais são altamente sensíveis às configurações do eixo y, frequentemente falhando em dados com altos comprimentos de dígitos ou formatos não padrão. O framework FairChart2Table fornece uma ferramenta necessária para desenvolver modelos mais robustos e imparciais para compreensão de gráficos, e sugere que o contexto explícito do eixo y pode ser uma alavanca poderosa para melhorar a precisão do modelo.