RealChart2Code: Advancing Chart-to-Code Generation with Real Data and Multi-Task Evaluation

O artigo apresenta o \texttt{RealChart2Code}, um novo benchmark em larga escala baseado em dados reais e cenários de conversação multi-turno, que revela limitações significativas nos atuais Modelos Visuais-Linguísticos ao gerar visualizações complexas a partir de dados brutos.

O essencial

Imagine que você tem uma foto de um painel de controle complexo, cheio de gráficos, linhas coloridas e dados de vendas, e pede para um "robô inteligente" (uma Inteligência Artificial) recriar exatamente aquele painel usando código de computador.

Até hoje, os robôs eram muito bons em copiar desenhos simples, como um gráfico de pizza ou uma barra de pizza. Mas, quando o desenho era complexo, cheio de várias telas juntas e dados reais (não inventados), eles começavam a falhar feio.

Foi para resolver isso que os autores criaram o RealChart2Code. Vamos entender como funciona essa história com algumas analogias:

1. O Problema: O Aluno que Decora, mas não Entende

Imagine que você tem um aluno que estudou para uma prova de desenho. Ele decorou como desenhar um "sol" e uma "nuvem". Se você pedir para ele desenhar um sol e uma nuvem, ele faz perfeitamente.

Mas, se você mostrar a ele uma foto de uma cidade inteira com prédios, carros, pessoas e sombras complexas, e pedir para ele desenhar tudo de novo, ele trava. Ele tenta desenhar os prédios, mas esquece das janelas; desenha os carros, mas eles ficam flutuando.

Os modelos de IA atuais são como esse aluno. Eles são ótimos em tarefas simples (o "sol e a nuvem"), mas quando colocamos diante deles dados reais do mundo real (como planilhas de milhões de linhas de vendas de uma empresa) e gráficos complexos, eles perdem a cabeça.

2. A Solução: O "Exame Real" (RealChart2Code)

Os pesquisadores criaram um novo "exame" chamado RealChart2Code. Em vez de usar desenhos simples ou dados inventados, eles pegaram:

• Dados Reais: Milhares de arquivos de planilhas reais (como dados de saúde, finanças, clima) que existem de verdade no mundo.
• Desafios Reais: Eles criaram três tipos de tarefas:
  1. Cópia: "Aqui está a foto do gráfico, faça o código para ele."
  2. Reprodução: "Aqui está a foto E os dados brutos. Faça o código que gera exatamente isso." (É como pedir para o aluno não só desenhar, mas usar a massa de modelagem correta).
  3. Refinamento: "O gráfico está com um erro (ex: a cor está errada ou os dados estão trocados). Conserte o código." (É como um chefe dizendo: "Isso aqui está torto, arrume").

3. O Que Eles Descobriram?

Eles testaram 14 dos "cérebros" de IA mais famosos do mundo (como GPT, Claude, Gemini, etc.) nesse novo exame difícil. O resultado foi um choque:

• A Queda Livre: Modelos que tiravam nota 9,9 em exames simples, tiravam nota 3,0 ou 4,0 no exame RealChart2Code.
• A Diferença entre "Robô de Loja" e "Robô de Fábrica":
  • Os modelos pago (como Claude e GPT) foram os melhores, mas ainda assim falharam muito em gráficos complexos. Eles conseguiam escrever o código, mas às vezes misturavam os dados (colocavam o preço de um carro no lugar da velocidade).
  • Os modelos gratuitos (open-source) tiveram um desempenho muito pior. Eles frequentemente escreviam códigos que nem sequer rodavam (erros de sintaxe) ou criavam gráficos que não faziam sentido visual.

4. Onde Eles Errou? (As Falhas Comuns)

Os pesquisadores analisaram os erros e encontraram padrões engraçados e preocupantes:

• Alucinação de Bibliotecas: Alguns robôs inventaram comandos que não existem. É como se o aluno dissesse: "Usei a tinta mágica 'SuperAzul' para pintar o céu", mas essa tinta não existe na loja. O código falha porque o comando é falso.
• Perda do Mapa: Eles conseguiam desenhar uma parte do gráfico perfeitamente, mas quando tinham que juntar 4 ou 5 gráficos em uma só tela, eles perdiam o espaço. Os gráficos ficavam um em cima do outro, ilegíveis.
• Confusão de Dados: Eles olhavam para a foto e diziam: "Ah, essa linha vermelha é a temperatura", mas na verdade era a chuva. O código rodava, mas o gráfico mostrava a história errada.

5. Por que isso importa?

Hoje, muitas empresas querem usar IA para analisar dados e criar relatórios visuais automaticamente. Se a IA não consegue entender dados reais e complexos, ela é inútil para tarefas sérias.

O RealChart2Code é como um "teste de estresse" para a IA. Ele nos diz: "Ei, vocês são bons em brincar de casinha, mas ainda não estão prontos para construir arranha-céus".

Resumo da Ópera

Este paper é um aviso: A Inteligência Artificial ainda não é um "engenheiro de dados" completo. Ela precisa evoluir muito para conseguir pegar dados reais, bagunçados e complexos, e transformá-los em gráficos perfeitos sem precisar de um humano para corrigir cada erro. O novo banco de dados deles é a ferramenta que vai ajudar a treinar esses robôs para o mundo real, e não apenas para o mundo dos desenhos simples.

Resumo técnico

1. O Problema

Embora os Modelos de Linguagem e Visão (VLMs) tenham demonstrado capacidades impressionantes na geração de código, sua habilidade para replicar visualizações complexas e multi-painel baseadas em dados reais permanece pouco avaliada.

• Limitações dos Benchmarks Atuais: As avaliações existentes (como Plot2Code e ChartMimic) focam predominantemente em gráficos simples, de painel único, ou utilizam dados sintéticos e pares imagem-código pré-existentes da internet. Isso cria um risco de vazamento de dados e não testa a capacidade do modelo de lidar com a complexidade, ruído e estrutura de dados do mundo real.
• Falhas na Geração: Modelos de ponta frequentemente falham ao tentar reproduzir layouts compostos intrincados, múltiplos subgráficos (subplots) e ao lidar com grandes volumes de dados estruturados. Além disso, há uma lacuna na avaliação da capacidade de refinar código iterativamente em conversas multi-turno.

2. Metodologia e o Benchmark RealChart2Code

Para preencher essa lacuna, os autores introduzem o RealChart2Code, um benchmark de grande escala com 2.896 instâncias baseadas em conjuntos de dados autênticos do Kaggle.

Definição das Tarefas

O benchmark avalia os modelos em três variantes distintas de tarefas de "Chart-to-Code":

1. Replicação de Gráfico (Chart Replication): O modelo recebe apenas a imagem do gráfico e deve gerar o código para recriá-lo (avalia a tradução visual-código).
2. Reprodução de Gráfico (Chart Reproduction): O modelo recebe a imagem, os dados brutos (CSV) e metadados, e deve gerar o código que utiliza esses dados reais para produzir o gráfico (avalia a integração de dados e lógica).
3. Refinamento de Gráfico (Chart Refinement): O modelo recebe um gráfico com erros pré-injetados e instruções de correção em uma conversa multi-turno, devendo depurar e modificar o código existente (avalia a capacidade de iteração e manutenção de contexto).

Curadoria de Dados

• Fonte: Dados extraídos de 1.036 conjuntos de dados de alta qualidade do Kaggle (filtrados de mais de 8.000 candidatos), totalizando cerca de 860 milhões de linhas de dados.
• Complexidade: Inclui 50 tipos de gráficos distintos e 7 categorias de intenção analítica (correlação, distribuição, composição, etc.), focando em layouts compostos e multi-painel.
• Ground Truth: O código de referência foi implementado manualmente por uma equipe de 5 desenvolvedores Python experientes, garantindo alta fidelidade e boas práticas de codificação (usando Matplotlib/Seaborn).
• Injeção de Erros: Para a tarefa de refinamento, erros visuais e lógicos foram inseridos manualmente para simular cenários reais de depuração.

Métricas de Avaliação

O sistema de avaliação utiliza um painel de agentes multi-LLM para pontuar a saída em uma escala de 0 a 2 baseada em 8 critérios de precisão visual (tipo de gráfico, layout espacial, texto, eixos, cores, estilo, completude e consistência de dados) e 3 critérios de qualidade de execução (clareza, equilíbrio composicional e qualidade tipográfica). A consistência entre agentes e avaliação humana foi validada (Kappa de Fleiss > 0.82).

3. Principais Contribuições

1. Primeiro Benchmark de Dados Reais: É o primeiro benchmark a avaliar sistematicamente a geração de gráficos a partir de dados brutos em larga escala e a refinar código em conversas multi-turno.
2. Escala e Diversidade: Com quase 3.000 instâncias cobrindo 8 domínios (Finanças, Saúde, Tecnologia, etc.) e 50 tipos de gráficos, oferece uma avaliação abrangente.
3. Protocolo de Avaliação Rigoroso: Combina verificação de execução de código (Pass Rate) com avaliação visual detalhada via agentes, correlacionando-se fortemente com julgamentos humanos.
4. Análise de Limitações: Revela que o desempenho em benchmarks simples não garante competência em cenários complexos do mundo real.

4. Resultados Experimentais

Os autores avaliaram 14 VLMs líderes (5 proprietários e 9 de peso aberto).

• Queda de Desempenho ("Complexity Gap"): Modelos que obtêm pontuações excelentes (>90%) em benchmarks existentes (como ChartMimic) sofreram uma degradação drástica no RealChart2Code.
  • Exemplo: O Claude-4.5-Opus (melhor modelo proprietário) caiu de ~91% para 8.2/10 (escala média) no RealChart2Code.
  • Exemplo: Modelos de peso aberto como Qwen3-VL-235B e Intern-VL-3.5-241B caíram de ~85% para 3.6 e 3.4, respectivamente.
• Disparidade Proprietário vs. Aberto: Existe uma lacuna significativa de capacidade. Modelos proprietários (Claude, GPT, Gemini) superam consistentemente os modelos abertos, especialmente em tarefas de refinamento e reprodução de dados.
• Padrões de Erro:
  • Modelos Abertos: Falham principalmente em erros de sintaxe e execução (bibliotecas inexistentes, funções inválidas) e falhas de raciocínio espacial (layouts sobrepostos).
  • Modelos Proprietários: Têm código sintaticamente correto, mas falham em mapeamento de dados (eixos incorretos, dados errados) e negligência de instruções complexas.
  • Refinamento Iterativo: Ambos os tipos de modelos sofrem com "Edição Regressiva", onde a correção de um erro introduz novos erros em partes previamente corretas do código.

5. Significado e Conclusão

O artigo demonstra que, embora os VLMs atuais sejam proficientes em tarefas de codificação simples, eles ainda não dominam a engenharia de visualização de dados complexa baseada em cenários reais.

• Insight Principal: A capacidade de gerar código não é suficiente; o modelo precisa de raciocínio visual profundo, compreensão de estrutura de dados e capacidade de manutenção de contexto em diálogos longos.
• Futuro: O trabalho aponta a necessidade de melhorar a generalização de modelos em layouts intrincados e a criação de pipelines automatizados para gerar dados sintéticos de alta qualidade que simulem a complexidade do mundo real.
• Recursos: O benchmark e o código foram liberados publicamente para fomentar pesquisas futuras na área de VLMs e geração de código.

Em resumo, o RealChart2Code estabelece um novo padrão de dificuldade para a comunidade, expondo as limitações atuais dos modelos de IA na interseção entre visão computacional, raciocínio lógico e engenharia de dados.